ChatGPT et DeepSeek déforment les données scientifiques

Il a été constaté que les modèles d'IA comme ChatGPT et DeepSeek ont ​​tendance à déformer le contenu scientifique lors de la synthèse, notamment dans le domaine médical.

Une équipe de chercheurs allemands a récemment mis en garde contre le risque de biais lié à l'utilisation de chatbots d'IA pour résumer des contenus scientifiques. Après avoir analysé 4 900 résumés scientifiques rédigés par des humains, l'équipe a utilisé plusieurs modèles d'IA pour comparer le traitement de l'information par ces systèmes. Les résultats ont montré que la plupart des chatbots commettaient l'erreur de généraliser à outrance, même lorsqu'ils étaient invités à résumer avec précision.

L'IA est sujette aux biais lorsqu'elle résume des recherches scientifiques.

Lors de tests, les modèles d'IA ont commis cinq fois plus d'erreurs que les experts humains lorsqu'ils n'étaient pas guidés. Même lorsqu'on leur demandait explicitement d'être précis, leur taux d'erreur était deux fois supérieur à celui d'un résumé standard. « Les généralisations peuvent parfois paraître anodines, mais elles modifient en réalité la nature même de la recherche initiale », a déclaré un membre de l'équipe. « Il s'agit d'un biais systématique. »

Il est à noter que les versions plus récentes du chatbot n'ont pas seulement échoué à résoudre le problème, mais l'ont en réalité aggravé. Grâce à leur langage fluide et engageant, les résumés générés par l'IA peuvent facilement paraître crédibles, alors que le contenu réel est déformé. Dans un cas précis, DeepSeek a remplacé l'expression « sûr et réalisable avec succès » par « traitement sûr et efficace », une interprétation erronée des conclusions de l'étude originale.

Dans un autre exemple, le modèle Llama recommandait des médicaments contre le diabète pour les jeunes sans préciser la posologie, la fréquence d'administration ni les effets secondaires. Si le lecteur est un médecin ou un professionnel de santé qui ne vérifie pas les recherches originales, de tels résumés peuvent présenter un risque direct pour les patients.

Les experts affirment que ce phénomène trouve son origine dans la manière dont les modèles d'IA sont entraînés. De nombreux chatbots sont aujourd'hui entraînés sur des données secondaires, comme des articles de vulgarisation scientifique, déjà simplifiées. À mesure que l'IA résume ces contenus abrégés, le risque de distorsion s'accroît.

Les experts en intelligence artificielle dans le domaine de la santé mentale affirment que des barrières techniques doivent être mises en place dès le début du développement et de l'utilisation de l'IA.

Les utilisateurs doivent être prudents car les chatbots peuvent facilement déformer le contenu.

Alors que les utilisateurs s'appuient de plus en plus sur les chatbots d'IA pour s'informer sur les sciences, de petites erreurs d'interprétation peuvent rapidement s'accumuler et se propager, engendrant des idées fausses généralisées. À l'heure où la confiance envers la science est en déclin, ce risque est d'autant plus préoccupant qu'il mérite toute notre attention.

L'intégration de l'IA dans la recherche et la diffusion des connaissances est une tendance irréversible. Cependant, les experts affirment que la technologie ne peut remplacer l'humain dans la compréhension et la validation des contenus scientifiques. Lors de l'utilisation de chatbots dans des domaines à haut risque comme la médecine, la précision doit être la priorité absolue, plutôt que de se concentrer uniquement sur la fluidité de l'interaction ou la rapidité de réponse.

Source : https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html