Une équipe de chercheurs allemands a récemment mis en garde contre les risques de biais liés à l'utilisation de chatbots d'IA pour résumer des articles scientifiques. Après avoir analysé 4 900 résumés scientifiques rédigés par des humains, l'équipe a utilisé différents modèles d'IA pour comparer le traitement de l'information par ces systèmes. Les résultats ont montré que la plupart des chatbots commettaient l'erreur de la sur-généralisation, même lorsqu'ils étaient invités à résumer avec précision.
ChatGPT et DeepSeek déforment les données scientifiques.
Il a été constaté que des modèles d'IA comme ChatGPT et DeepSeek étaient capables de déformer le contenu scientifique lors de sa synthèse, notamment dans le domaine médical.
L'IA peut facilement déformer le contenu lorsqu'elle résume des recherches scientifiques.
Lors des expériences, les modèles d'IA ont commis cinq fois plus d'erreurs que les chercheurs humains lorsqu'ils n'étaient pas guidés. Même avec des exigences claires en matière de précision, le taux d'erreur restait deux fois plus élevé qu'avec un résumé standard. Un membre de l'équipe de recherche a commenté : « La généralisation peut parfois sembler anodine, mais elle modifie en réalité la nature même de la recherche initiale. Il s'agit d'un biais systémique. »
Il est à noter que les versions récentes de chatbots non seulement ne résolvent pas le problème, mais l'aggravent. Grâce à leur présentation fluide et attrayante, les résumés générés par l'IA donnent facilement une impression de fiabilité, alors que le contenu réel est déformé. Dans un cas précis, DeepSeek a remplacé l'expression « sûr et applicable avec succès » par « traitement sûr et efficace », une interprétation qui s'écarte des conclusions initiales de l'étude.
Dans un autre exemple, le modèle Llama a appliqué des recommandations concernant les médicaments contre le diabète à de jeunes sujets sans préciser la posologie, la fréquence ni les effets secondaires. Si le lecteur, médecin ou professionnel de santé , ne vérifie pas ces informations auprès de l'étude originale, ce type de résumé pourrait présenter un danger direct pour les patients.
Les experts estiment que ce phénomène est lié à la méthode d'entraînement des modèles d'IA. De nombreux chatbots actuels sont entraînés à l'aide de données secondaires – comme des articles scientifiques produits en masse – déjà simplifiés. Plus l'IA synthétise ces contenus simplifiés, plus le risque de distorsion augmente.
Les experts en IA dans le domaine de la santé mentale affirment que des barrières techniques au développement et à l'utilisation de l'IA doivent être établies rapidement.
Les utilisateurs doivent être prudents car les chatbots peuvent facilement déformer le contenu.
Alors que les utilisateurs s'appuient de plus en plus sur les chatbots d'IA pour s'informer sur les sciences, de petites erreurs d'interprétation peuvent rapidement s'accumuler et se propager, engendrant des idées fausses généralisées. À l'heure où la confiance dans la science est en déclin, ce risque est particulièrement préoccupant et mérite toute notre attention.
L'intégration de l'IA dans la recherche et la diffusion des connaissances est une tendance irréversible. Cependant, les experts affirment que la technologie ne peut remplacer le rôle humain dans la compréhension et la validation des contenus scientifiques. Lors de l'utilisation de chatbots dans des domaines à haut risque comme la santé, la précision doit être privilégiée, plutôt que de se concentrer uniquement sur la fluidité de l'interaction ou la rapidité de réponse.
Source : https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html
Tendances par catégorie
Les plus lus
Google Trends
Même auteur


Saison de pêche au hareng dans la commune de Tien Dien

Vieux Dong








