Les chatbots IA deviennent « fous »

Une nouvelle génération de systèmes d’« inférence » développés par des entreprises comme OpenAI contribue à la multiplication des fausses informations. Le danger réside dans le fait que ces entreprises ignorent pourquoi.

En avril, un robot d'intelligence artificielle assurant le support technique de Cursor, un outil émergent pour les programmeurs, a informé certains clients d'un changement de politique de l'entreprise, précisant qu'ils n'étaient plus autorisés à utiliser Cursor sur plus d'un ordinateur.

Les clients ont exprimé leur colère sur les forums et les réseaux sociaux. Certains ont même résilié leur compte Cursor. Mais d'autres étaient encore plus furieux en réalisant ce qui s'était passé : le robot d'intelligence artificielle avait signalé un changement de politique qui n'existait pas.

« Nous n’avons pas une telle politique. Vous pouvez bien sûr utiliser Cursor sur plusieurs machines. Malheureusement, il s’agissait d’une réponse incorrecte d’un bot basé sur l’IA », a écrit Michael Truell, PDG et cofondateur de l’entreprise, dans un message publié sur Reddit.

La désinformation est hors de contrôle.

Plus de deux ans après le lancement de ChatGPT, les entreprises technologiques, les employés de bureau et les consommateurs utilisent de plus en plus fréquemment les bots d'IA pour diverses tâches.

Pourtant, il est impossible de garantir l'exactitude des informations produites par ces systèmes. Paradoxalement, les technologies les plus performantes, connues sous le nom de systèmes d'« inférence » développés par des entreprises comme OpenAI, Google et DeepSeek, commettent davantage d'erreurs.

Conversation absurde sur ChatGPT où un utilisateur demande si les chiens devraient manger des céréales. Photo : Reddit.

Si les compétences en mathématiques se sont considérablement améliorées, la capacité des grands modèles de langage (GML) à saisir la vérité est devenue plus fragile. Étonnamment, même les ingénieurs eux-mêmes ignorent totalement pourquoi.

D'après le New York Times , les chatbots d'IA actuels s'appuient sur des systèmes mathématiques complexes pour acquérir des compétences en analysant d'énormes quantités de données numériques. Cependant, ils ne peuvent pas déterminer ce qui est juste et ce qui est faux.

Dès lors, apparaît un état d’« hallucination » ou d’auto-fabrication de l’information. De fait, selon les recherches, la dernière génération de LLM « hallucine » encore davantage que certains modèles plus anciens.

Plus précisément, dans son dernier rapport, OpenAI a découvert que le modèle o3 avait « halluciné » lorsqu'il répondait à 33 % des questions sur PersonQA, la norme interne de l'entreprise pour mesurer la précision des connaissances du modèle sur les humains.

À titre de comparaison, ce taux d’« hallucinations » est le double de celui des précédents modèles de raisonnement d’OpenAI, o1 et o3-mini, qui affichaient respectivement 16 % et 14,8 %. Le modèle o4-mini a quant à lui obtenu des résultats encore moins bons sur PersonQA, avec 48 % d’« hallucinations ».

Plus inquiétant encore, le « père de ChatGPT » ignore lui-même la cause de ce phénomène. Dans son rapport technique sur o3 et o4-mini, OpenAI indique notamment que des recherches supplémentaires sont nécessaires pour comprendre pourquoi cette « illusion » s’accentue à mesure que les modèles de raisonnement gagnent en complexité.

Les modèles o3 et o4-mini ont obtenu de meilleurs résultats dans certains domaines, notamment en programmation et en mathématiques. Cependant, comme ils devaient formuler davantage d'énoncés que de généraliser, les deux modèles ont produit davantage d'énoncés corrects, mais aussi davantage d'énoncés incorrects.

« Cela ne disparaîtra jamais. »

Au lieu d'un ensemble strict de règles définies par des ingénieurs, les systèmes LLM utilisent les probabilités mathématiques pour deviner la meilleure réponse. Ils commettent donc toujours une certaine marge d'erreur.

« Malgré tous nos efforts, les modèles d'IA seront toujours sujets à des illusions. Cela ne disparaîtra jamais », a déclaré Amr Awadallah, un ancien cadre de Google.

Selon IBM, les hallucinations sont un phénomène où les grands modèles de langage (GML) – généralement des chatbots ou des outils de vision par ordinateur – reçoivent des modèles de données inexistants ou méconnaissables pour les humains, produisant ainsi des résultats incohérents ou trompeurs. Photo : iStock.

Dans un document détaillé sur les expériences, OpenAI a déclaré avoir besoin de davantage de recherches pour comprendre les raisons de ces résultats.

Les systèmes d'IA apprenant à partir de quantités de données bien plus importantes que celles que les humains peuvent comprendre, il peut être difficile de déterminer pourquoi ils se comportent de telles manières, expliquent les experts.

« Les illusions sont intrinsèquement plus fréquentes dans les modèles d'inférence, même si nous travaillons activement à réduire leur incidence observée dans o3 et o4-mini. Nous poursuivrons nos efforts pour corriger les illusions dans tous les modèles afin d'améliorer leur précision et leur fiabilité », a déclaré Gaby Raila, porte-parole d'OpenAI.

Des tests menés par plusieurs entreprises et chercheurs indépendants montrent que le taux d'hallucinations augmente également pour les modèles d'inférence de sociétés comme Google ou DeepSeek.

Depuis fin 2023, Vectara, la société d'Awadallah, surveille la fréquence à laquelle les chatbots déforment l'information. L'entreprise a demandé à ces systèmes d'effectuer une tâche simple et facilement vérifiable : résumer des articles de presse. Malgré cela, les chatbots ont persisté à falsifier des informations.

Plus précisément, les recherches initiales de Vectara estimaient que, dans ce scénario, les chatbots fabriquaient des informations au moins 3 % du temps, et parfois jusqu'à 27 %.

Au cours des dix-huit derniers mois, des entreprises comme OpenAI et Google ont ramené ces chiffres à environ 1 ou 2 %. D'autres, comme la start-up Anthropic basée à San Francisco, se situent autour de 4 %.

Cependant, le taux d'hallucinations a continué d'augmenter pour les systèmes d'inférence lors de ce test. La fréquence des hallucinations a augmenté de 14,3 % pour le système d'inférence R1 de DeepSeek, et de 6,8 % pour le système o3 d'OpenAI.

Un autre problème réside dans le fait que les modèles d'inférence sont conçus pour passer du temps à « réfléchir » à des problèmes complexes avant de parvenir à une réponse finale.

Apple a inséré une invite visant à empêcher l'IA de falsifier des informations dans la première version test de macOS 15.1. Photo : Reddit/devanxd2000.

L'inconvénient, cependant, est que, à mesure que le modèle d'IA tente de résoudre le problème étape par étape, il devient plus susceptible de produire des hallucinations à chaque étape. Plus important encore, les erreurs peuvent s'accumuler à mesure que le modèle passe plus de temps à réfléchir.

Les chatbots les plus récents affichent chaque étape aux utilisateurs, ce qui leur permet également de voir chaque erreur. Les chercheurs ont aussi constaté que, dans de nombreux cas, le raisonnement affiché par un chatbot est en réalité sans rapport avec la réponse finale qu'il fournit.

« Ce que le système prétend déduire n'est pas nécessairement ce qu'il pense réellement », explique Aryo Pradipta Gema, chercheur en intelligence artificielle à l'Université d'Édimbourg et collaborateur chez Anthropic.

Source : https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html