ChatGPT och DeepSeek förvränger vetenskapliga data

AI-modeller som ChatGPT och DeepSeek har visat sig vara benägna att förvränga vetenskapligt innehåll vid sammanfattningar, särskilt inom det medicinska området.

En grupp forskare i Tyskland varnade nyligen för risken för partiskhet när man använder AI-chattrobotar för att förkorta forskningsinnehåll. Efter att ha analyserat 4 900 vetenskapliga sammanfattningar skrivna av människor använde teamet flera AI-modeller för att jämföra hur dessa system bearbetade information. Resultaten visade att de flesta chattrobotar gjorde misstaget att övergeneralisera, även när de ombads att sammanfatta korrekt.

AI är benägen att vara partisk när den sammanfattar vetenskaplig forskning.

I tester gjorde AI-modeller fem gånger fler misstag än mänskliga experter när de inte vägleddes. Även när de uttryckligen ombads att ange noggrannhet var felfrekvensen dubbelt så hög som för en standardsammanfattning. ”Generaliseringar verkar ibland ofarliga, men de förändrar faktiskt den ursprungliga forskningens natur”, sa en i teamet. ”Det är en systematisk bias.”

Det är värt att notera att nyare versioner av chatboten inte bara har misslyckats med att lösa problemet, utan faktiskt förvärrat det. Med sitt smidiga och engagerande språk kan AI-genererade sammanfattningar lätt verka trovärdiga, medan det faktiska innehållet har förvrängts. I ett fall ändrade DeepSeek frasen "säker och kan utföras framgångsrikt" till "säker och effektiv behandling" – en felaktig tolkning av den ursprungliga studiens slutsatser.

I ett annat exempel rekommenderade Llama-modellen diabetesmedicinering för unga människor utan att specificera dosering, frekvens eller biverkningar. Om läsaren är en läkare eller sjukvårdspersonal som inte verifierar den ursprungliga forskningen kan sammanfattningar som denna utgöra en direkt risk för patienter.

Experter säger att fenomenet är rotat i hur AI-modeller tränas. Många chatbotar tränas idag på sekundärdata – som populärvetenskapliga nyheter – som redan har förenklats. I takt med att AI fortsätter att sammanfatta det förkortade innehållet ökar risken för förvrängning.

Experter på AI inom området psykisk hälsa säger att tekniska barriärer behöver byggas tidigt i utvecklingen och användningen av AI.

Användare måste vara försiktiga eftersom chatbotar lätt kan förvränga innehåll.

I takt med att användare i allt högre grad förlitar sig på AI-chattrobotar för att lära sig om vetenskap, kan små tolkningsfel snabbt ackumuleras och spridas, vilket orsakar utbredda missuppfattningar. I en tid då förtroendet för vetenskapen minskar blir denna risk ännu mer oroande och förtjänar vederbörlig uppmärksamhet.

Integreringen av AI i forskning och kunskapsspridning är en oåterkallelig trend. Experter bekräftar dock att tekniken inte kan ersätta människans roll i att förstå och verifiera vetenskapligt innehåll. När man använder chatbotar inom högriskområden som medicin bör noggrannhet vara högsta prioritet, istället för att bara fokusera på smidig språkupplevelse eller svarshastighet.

Källa: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html