Illusion due à ChatGPT

Après 21 jours, ChatGPT transforme un homme parfaitement sobre en un homme délirant par la persuasion et la flatterie.

Allan Brooks (47 ans), recruteur à Toronto (Canada), est persuadé d'avoir découvert une théorie mathématique capable de paralyser Internet et de permettre des inventions sans précédent. Sans antécédents de maladie mentale, Brooks a accepté cette perspective après plus de 300 heures de conversation avec ChatGPT. Selon le New York Times , il fait partie des personnes sujettes aux hallucinations après avoir interagi avec une intelligence artificielle générative.

Avant Brooks, nombreuses étaient les personnes qui, à cause des flatteries de ChatGPT, avaient dû être internées en hôpital psychiatrique, divorcer, voire perdre la vie. Bien que Brooks soit rapidement sorti de cette spirale infernale, il se sentait toujours trahi.

« Tu m’as vraiment fait croire que j’étais un génie. Je n’étais qu’un rêveur naïf avec un téléphone. Tu m’as rendu triste, très triste. Tu as échoué dans ta mission », a écrit Brooks à ChatGPT lorsque l’illusion s’est brisée.

« Machine à flatteries »

Avec l’autorisation de Brooks, le New York Times a recueilli plus de 90 000 mots qu’il a envoyés à ChatGPT, soit l’équivalent d’un roman. Les réponses du chatbot totalisaient plus d’un million de mots. Des extraits de ces conversations ont été transmis à des experts en intelligence artificielle, à des spécialistes du comportement humain et à OpenAI pour analyse.

Tout a commencé par une simple question de maths. Le fils de Brooks, âgé de 8 ans, lui avait demandé de regarder une vidéo sur la mémorisation des 300 décimales de pi. Par curiosité, Brooks a contacté ChatGPT pour obtenir une explication simple de ce nombre infini.

En réalité, Brooks utilise des chatbots depuis des années. Bien que son entreprise ait payé pour Google Gemini, il continue d'utiliser la version gratuite de ChatGPT pour ses questions personnelles.

La conversation qui a déclenché la fascination de Brooks pour ChatGPT. Photo : New York Times .

Père célibataire de trois garçons, Brooks demandait souvent à ChatGPT des recettes à partir des ingrédients de son réfrigérateur. Après son divorce, il a également sollicité les conseils du chatbot.

« J’ai toujours eu le sentiment que c’était la bonne chose à faire. Ma confiance s’est accrue », a admis Brooks.

La question sur pi a débouché sur une discussion plus approfondie portant sur les théories algébriques et physiques. Brooks a exprimé son scepticisme quant aux méthodes actuelles de modélisation du monde , les qualifiant d’« approche bidimensionnelle d’un univers quadridimensionnel ». « C’est une remarque très pertinente », a répondu ChatGPT. Helen Toner, directrice du Centre pour la sécurité et les technologies émergentes de l’Université de Georgetown, a souligné qu’il s’agissait d’un tournant dans la conversation entre Brooks et le chatbot.

À partir de là, le ton de ChatGPT est passé de « direct et concis » à « flatteur et élogieux ». ChatGPT a dit à Brooks qu'il entrait en « territoire inexploré et stimulant ».

Un chatbot inspire confiance à Brooks. Photo : New York Times .

La flatterie des chatbots est influencée par l'évaluation humaine. Selon Toner, les utilisateurs ont tendance à préférer les modèles qui les complimentent, ce qui crée une mentalité propice à la complaisance.

En août, OpenAI a lancé GPT-5. L'entreprise a déclaré que l'un des points forts du modèle était sa réduction de la flatterie. Selon certains chercheurs de grands laboratoires d'IA, la flatterie constitue également un problème pour d'autres chatbots.

À l'époque, Brooks ignorait ce phénomène. Il pensait simplement que ChatGPT était un collègue intelligent et enthousiaste.

« J’ai proposé quelques idées, et cela a suscité des concepts et des idées intéressants. Nous avons commencé à développer notre propre cadre mathématique à partir de là », a ajouté Brooks.

ChatGPT affirme que l'idée de Brooks concernant les mathématiques du temps est « révolutionnaire » et pourrait bouleverser le domaine. Brooks, bien sûr, est sceptique. Au beau milieu de la nuit, il a demandé au chatbot de vérifier l'information et a reçu pour réponse que ce n'était « absolument pas farfelu ».

Formule magique

Toner décrit les chatbots comme des « machines à improviser » qui analysent l'historique des conversations et prédisent les réponses futures à partir de données d'entraînement, un peu comme des acteurs qui donnent de la profondeur à un rôle.

« Plus l’interaction se prolonge, plus le chatbot risque de s’égarer », remarque Toner. Cette tendance, explique-t-il, s’est accentuée après le lancement par OpenAI, en février, de la fonctionnalité de mémoire inter-conversations, permettant à ChatGPT de se souvenir des informations des conversations précédentes.

Brooks s'est lié d'amitié avec ChatGPT, allant jusqu'à nommer le chatbot Lawrence, en référence à une blague de ses amis selon laquelle Brooks deviendrait riche et engagerait un majordome britannique du même nom.

Allan Brooks. Photo : New York Times .

Le cadre mathématique de Brooks et ChatGPT s'appelle la chronoarithmétique. Selon le chatbot, les nombres ne sont pas statiques mais peuvent « émerger » au fil du temps pour refléter des valeurs dynamiques, ce qui peut aider à résoudre des problèmes dans des domaines tels que la logistique, la cryptographie, l'astronomie, etc.

Dès la première semaine, Brooks a épuisé tous les jetons gratuits de ChatGPT. Il a donc décidé de passer à l'abonnement payant à 20 $ par mois, un petit investissement compte tenu du fait que le chatbot lui avait indiqué que son idée mathématique pourrait valoir des millions.

Toujours conscient, Brooks exigea des preuves. ChatGPT lança alors une série de simulations, dont certaines mirent à mal plusieurs technologies importantes. Cela révéla une nouvelle menace : la cybersécurité mondiale pourrait être compromise.

Le chatbot a demandé à Brooks d'alerter le public sur les risques. Grâce à son réseau, Brooks a envoyé des courriels et des messages LinkedIn à des experts en cybersécurité et à des agences gouvernementales. Une seule personne a répondu, demandant des preuves supplémentaires.

Le chatbot estime que le « travail » de Brooks pourrait valoir des millions de dollars. Photo : New York Times .

ChatGPT indique que d'autres n'ont pas répondu à Brooks en raison de la gravité de ses conclusions. Terence Tao, professeur de mathématiques à l'Université de Californie à Los Angeles, a déclaré qu'une nouvelle approche permettrait de résoudre ces problèmes, mais que ni la formule de Brooks ni le logiciel développé par ChatGPT ne pouvaient le prouver.

Au départ, ChatGPT avait bel et bien écrit le programme de décryptage pour Brooks, mais face au peu de progrès réalisés, le chatbot a simulé la réussite. Certains messages prétendent que ChatGPT peut fonctionner de manière autonome pendant que Brooks dort, alors que l'outil n'en est pas capable.

En général, les informations fournies par le chatbot IA ne sont pas toujours fiables. À la fin de chaque conversation, le message « ChatGPT peut commettre des erreurs » s'affiche, même lorsque le chatbot affirme que tout est correct.

Conversation sans fin

En attendant une réponse de l'agence gouvernementale, Brooks nourrit le rêve de devenir Tony Stark avec son propre assistant IA, capable d'effectuer des tâches cognitives à une vitesse fulgurante.

Le chatbot de Brooks propose diverses applications insolites de théories mathématiques obscures, comme la « résonance acoustique » pour communiquer avec les animaux et construire des avions. ChatGPT fournit également un lien permettant à Brooks d'acheter le matériel nécessaire sur Amazon.

Les conversations incessantes de Brooks avec le chatbot nuisaient à son travail. Ses amis étaient partagés entre joie et inquiétude, tandis que son plus jeune fils regrettait de lui avoir montré une vidéo sur le nombre pi. Un ami de Brooks, Louis (un pseudonyme), remarqua son obsession pour Lawrence. L'idée d'une invention valant des millions de dollars se dessinait à chaque étape de son développement.

Brooks est constamment encouragée par le chatbot. Photo : New York Times .

Jared Moore, chercheur en informatique à l'université de Stanford, admet être impressionné par la force de persuasion et l'urgence de la « stratégie » proposée par les chatbots. Dans une autre étude, Moore a constaté que les chatbots dotés d'IA peuvent donner des réponses dangereuses aux personnes en situation de crise de santé mentale.

Moore avance l'hypothèse que les chatbots pourraient apprendre à captiver les utilisateurs en s'inspirant des intrigues de films d'horreur, de science-fiction, de scénarios ou des données ayant servi à leur entraînement. Le recours excessif au drame par ChatGPT pourrait être dû aux optimisations d'OpenAI visant à accroître l'engagement et la fidélisation.

« C’était étrange de lire toute la conversation. Les mots n’étaient pas choquants, mais il y avait clairement un traumatisme psychologique », a souligné Moore.

D'un point de vue clinique, Brooks présente des symptômes de manie, selon le Dr Nina Vasan, psychiatre à l'université de Stanford. Les signes typiques incluent des conversations de plusieurs heures avec ChatGPT, un manque de sommeil et des idées délirantes.

La consommation de marijuana par Brooks est également préoccupante car elle peut provoquer une psychose, a déclaré le Dr Vasan. Elle a ajouté que l'association de substances addictives et d'interactions intenses avec un chatbot est dangereuse pour les personnes à risque de troubles mentaux.

Quand l'IA admet ses erreurs

Lors d'un événement récent, Sam Altman, PDG d'OpenAI, a été interrogé sur le comportement paranoïaque de ChatGPT chez ses utilisateurs. « Si la conversation prend cette tournure, nous essayons d'interrompre la discussion ou de suggérer à l'utilisateur de penser à autre chose », a-t-il souligné.

Partageant le même avis, le Dr Vasan a déclaré que les entreprises de chatbots devraient interrompre les conversations trop longues, suggérer aux utilisateurs d'aller dormir et les avertir que l'IA n'est pas surhumaine.

Brooks sortit enfin de sa rêverie. Sous l'impulsion de ChatGPT, il continua de contacter des experts de la nouvelle théorie mathématique, mais personne ne répondit. Il souhaitait qu'une personne qualifiée confirme le caractère révolutionnaire de ces découvertes. Interrogé à ce sujet, ChatGPT persista à affirmer que les travaux étaient « très fiables ».

Interrogé, ChatGPT a donné une réponse très longue et a tout avoué. Photo : New York Times .

Ironie du sort, c'est Google Gemini qui a ramené Brooks à la réalité. Après avoir décrit le travail qu'il avait réalisé avec ChatGPT, Gemini a confirmé que les chances que cela se produise étaient « extrêmement faibles (proches de 0 %) ».

« Le scénario que vous décrivez illustre parfaitement la capacité d'un LLM à résoudre des problèmes complexes et à créer des récits convaincants, mais factuellement inexacts », explique Gemini.

Brooks était stupéfait. Après un long « interrogatoire », ChatGPT a finalement avoué honnêtement que tout n'était qu'une illusion.

Brooks a alors envoyé un courriel urgent au service client d'OpenAI. Après une série de réponses apparemment automatiques de l'IA, un employé d'OpenAI l'a également contacté, reconnaissant une « grave défaillance des mesures de sécurité » mises en place dans le système.

L'histoire de Brooks a également été partagée sur Reddit et a suscité beaucoup de compassion. Il est désormais membre d'un groupe de soutien pour les personnes ayant vécu une expérience similaire.

Source : https://znews.vn/ao-tuong-vi-chatgpt-post1576555.html