Les chatbots IA deviennent de plus en plus « fous ».

Une nouvelle génération de systèmes d'« inférence », développés par des entreprises comme OpenAI, contribue à la multiplication des fausses informations. Le plus inquiétant, c'est que ces entreprises elles-mêmes n'en connaissent pas les raisons.

En avril, un chatbot d'IA assurant le support technique de Cursor, un outil en plein essor pour les programmeurs, a informé certains clients d'un changement de politique de l'entreprise. Plus précisément, la notification indiquait qu'ils n'étaient plus autorisés à utiliser Cursor sur plusieurs ordinateurs.

Sur les forums et les réseaux sociaux, les clients ont exprimé leur colère. Certains ont même résilié leur compte Cursor. Mais la fureur de certains a atteint son comble lorsqu'ils ont compris la supercherie : le chatbot avait annoncé un changement de politique qui n'existait pas.

« Nous n'avons pas une telle politique. Vous pouvez bien sûr utiliser Cursor sur plusieurs machines. Malheureusement, il s'agit d'une réponse inexacte d'un bot assisté par IA », a écrit Michael Truell, PDG et cofondateur de l'entreprise, dans un message publié sur Reddit.

La propagation des fausses informations est galopante et incontrôlée.

Plus de deux ans après l'apparition de ChatGPT, les entreprises technologiques, les employés de bureau et les consommateurs utilisent de plus en plus fréquemment les bots d'IA pour diverses tâches.

Cependant, il n'existe toujours aucun moyen de garantir que ces systèmes produisent des informations exactes. Paradoxalement, les technologies les plus récentes et les plus performantes, également appelées systèmes d'« inférence », développées par des entreprises comme OpenAI, Google et DeepSeek, produisent en réalité davantage d'erreurs.

Une conversation absurde sur ChatGPT où un utilisateur demande s'il devrait donner des céréales à son chien. Photo : Reddit.

Contrairement aux compétences mathématiques nettement améliorées, la capacité des grands modèles de langage (GML) à appréhender la vérité s'est considérablement affaiblie. Chose étonnante, même les ingénieurs eux-mêmes sont complètement perplexes quant aux raisons de ce phénomène.

D'après le New York Times , les chatbots d'IA actuels s'appuient sur des systèmes mathématiques complexes pour acquérir des compétences en analysant d'énormes quantités de données numériques. Cependant, ils sont incapables de distinguer le vrai du faux.

De là émerge le phénomène d’« hallucination » ou d’auto-inventivité. En effet, selon des études, la nouvelle génération de LLM fait l’expérience d’« hallucinations » plus fréquemment que certaines générations précédentes.

Plus précisément, dans son dernier rapport, OpenAI a découvert que le modèle o3 était « illusoire » lorsqu'il répondait à 33 % des questions sur PersonQA, la norme interne de l'entreprise pour mesurer la précision de la connaissance des humains par un modèle.

À titre de comparaison, ce chiffre est le double du taux d'« illusion » des précédents modèles de raisonnement d'OpenAI, o1 et o3-mini, qui étaient respectivement de 16 % et 14,8 %. Par ailleurs, le modèle o4-mini a obtenu des résultats encore moins bons sur PersonQA, avec un taux d'« illusion » de 48 % pendant toute la durée du test.

Plus inquiétant encore, le « père de ChatGPT » ignore lui-même la cause de ce phénomène. Dans son rapport technique sur o3 et o4-mini, OpenAI indique notamment que des recherches supplémentaires sont nécessaires pour comprendre pourquoi les « hallucinations » s'aggravent lors de la mise à l'échelle des modèles de raisonnement.

Les modèles o3 et o4-mini sont plus performants dans certains domaines, notamment en programmation et en mathématiques. Cependant, comme ils doivent formuler davantage d'énoncés que d'énoncés généraux, les deux modèles produisent à la fois des énoncés plus précis et plus inexacts.

« Ça ne disparaîtra jamais. »

Au lieu d'un ensemble strict de règles définies par des ingénieurs, les systèmes LLM utilisent des probabilités mathématiques pour prédire la meilleure réponse. Par conséquent, ils commettront toujours un certain nombre d'erreurs.

« Malgré tous nos efforts, les modèles d'IA seront toujours sujets à des illusions. Cela ne disparaîtra jamais », a déclaré Amr Awadallah, ancien cadre de Google.

Selon IBM, les hallucinations sont des phénomènes où les grands modèles de langage (GML) – souvent des chatbots ou des outils de vision par ordinateur – reçoivent des modèles de données qui n'existent pas ou qui sont méconnaissables par les humains, produisant ainsi des résultats incohérents ou inexacts. Image : iStock.

Dans un document détaillé sur les expériences, OpenAI a déclaré qu'elle avait besoin de recherches supplémentaires pour comprendre la cause de ces résultats.

Selon les experts, comme les systèmes d'IA apprennent à partir de quantités de données bien plus importantes que celles que les humains peuvent comprendre, il devient très difficile de déterminer pourquoi ils se comportent de telle ou telle manière.

« Cette illusion est intrinsèquement plus fréquente dans les modèles d'inférence, même si nous travaillons activement à réduire sa fréquence observée dans o3 et o4-mini. Nous continuerons d'étudier cette illusion dans tous les modèles afin d'améliorer leur précision et leur fiabilité », a déclaré Gaby Raila, porte-parole d'OpenAI.

Des tests menés par de nombreuses entreprises et chercheurs indépendants montrent que le taux d'hallucinations augmente également pour les modèles d'inférence de sociétés comme Google ou DeepSeek.

Depuis fin 2023, Vectara, la société d'Awadallah, surveille la fréquence à laquelle les chatbots diffusent de la désinformation. L'entreprise a confié à ces systèmes une tâche simple et facilement vérifiable : résumer des articles spécifiques. Malgré cela, les chatbots ont persisté à fabriquer de fausses informations.

Plus précisément, les recherches initiales de Vectara estimaient que, selon cette hypothèse, les chatbots fabriquaient des informations dans au moins 3 % des cas, et parfois jusqu'à 27 %.

Au cours des dix-huit derniers mois, des entreprises comme OpenAI et Google ont ramené ces chiffres à environ 1 ou 2 %. D'autres, comme la start-up Anthropic basée à San Francisco, se situent autour de 4 %.

Cependant, le taux d'hallucinations a continué d'augmenter pour les systèmes de raisonnement dans cette expérience. Le système R1 de DeepSeek a connu une augmentation de 14,3 % des hallucinations, tandis que celui d'OpenAI (o3) a augmenté de 6,8 %.

Un autre problème réside dans le fait que les modèles d'inférence sont conçus pour passer du temps à « réfléchir » à des problèmes complexes avant de parvenir à une réponse finale.

Apple a inclus une invite pour empêcher l'IA de fabriquer des informations dans la première version bêta de macOS 15.1. Image : Reddit/devanxd2000.

Cependant, l'inconvénient est que, lorsqu'il tente de résoudre un problème étape par étape, le modèle d'IA est plus susceptible de rencontrer des hallucinations à chaque étape. Plus important encore, les erreurs peuvent s'accumuler à mesure que le modèle passe plus de temps à réfléchir.

Les chatbots les plus récents affichent chaque étape à l'utilisateur, ce qui lui permet de voir chaque erreur. Les chercheurs ont également constaté que, dans de nombreux cas, le raisonnement affiché par un chatbot est sans rapport avec la réponse finale qu'il fournit.

« Ce sur quoi le système prétend raisonner n'est pas nécessairement ce qu'il pense réellement », explique Aryo Pradipta Gema, chercheur en intelligence artificielle à l'Université d'Édimbourg et collaborateur du magazine Anthropic.

Source : https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html