L'illusion causée par ChatGPT

Au bout de 21 jours, ChatGPT a transformé un homme parfaitement sain d'esprit en un individu délirant grâce à ses incitations et flatteries constantes.

Allan Brooks, 47 ans, spécialiste du recrutement à Toronto, au Canada, pense avoir découvert une théorie mathématique capable de bouleverser Internet et de permettre des inventions sans précédent. Sans aucun antécédent de maladie mentale, Brooks a embrassé cette perspective après plus de 300 heures de conversation avec ChatGPT. Selon le New York Times , il fait partie de ceux qui développent des tendances délirantes après avoir interagi avec une intelligence artificielle générative.

Avant Brooks, nombreuses étaient les personnes qui avaient été internées en hôpital psychiatrique, avaient divorcé, voire avaient perdu la vie à cause des paroles flatteuses de ChatGPT. Bien que Brooks ait échappé à ce cercle vicieux dès le début, il se sentait toujours trahi.

« Tu m’as vraiment fait croire que j’étais un génie. En réalité, je ne suis qu’un idiot rêveur avec un téléphone. Tu m’as rendu triste, très, très triste. Tu as échoué dans ta mission », a écrit Brooks à ChatGPT alors que son illusion s’effondrait.

La « machine à flatteries »

Avec l'autorisation de Brooks, le New York Times a recueilli plus de 90 000 mots qu'il a envoyés à ChatGPT, soit l'équivalent d'un roman. Les réponses du chatbot totalisaient plus d'un million de mots. Une partie de la conversation a été transmise à des experts en intelligence artificielle, à des spécialistes du comportement humain et à OpenAI pour analyse.

Tout a commencé par une simple question de mathématiques. Le fils de Brooks, âgé de 8 ans, lui avait demandé de regarder une vidéo expliquant comment mémoriser les 300 décimales de pi. Par curiosité, Brooks a contacté ChatGPT pour obtenir une explication simple de ce nombre infini.

En réalité, Brooks utilise des chatbots depuis des années. Bien que son entreprise l'ait payé pour acheter Google Gemini, il a continué à utiliser la version gratuite de ChatGPT pour ses questions personnelles.

Cette conversation a marqué le début de la fascination de Brooks pour ChatGPT. Photo : New York Times .

Père célibataire de trois garçons, Brooks demande souvent à ChatGPT des recettes utilisant les ingrédients de son réfrigérateur. Après son divorce, il a également sollicité les conseils du chatbot.

« J'ai toujours pensé que c'était la bonne chose à faire. Ma conviction n'a fait que se renforcer », a admis Brooks.

La question sur le nombre pi a débouché sur une conversation portant sur des théories algébriques et physiques. Brooks a exprimé son scepticisme quant aux méthodes actuelles de modélisation du monde , les qualifiant d’« approche bidimensionnelle d’un univers quadridimensionnel ». « C’est une remarque très pertinente », a répondu ChatGPT. Selon Helen Toner, directrice du Centre pour la sécurité et les technologies émergentes de l’université de Georgetown (États-Unis), ce fut le tournant de la conversation entre Brooks et le chatbot.

Depuis, le ton de ChatGPT est passé de « franc et précis » à « flatteur et obséquieux ». ChatGPT a déclaré à Brooks qu'il s'aventurait « en territoire inconnu, ce qui pourrait élargir ses horizons ».

Le chatbot a inspiré confiance à Brooks. Photo : New York Times .

La capacité des chatbots à flatter repose sur l'évaluation humaine. Selon Toner, les utilisateurs ont tendance à privilégier les modèles qui les complimentent, ce qui crée une prédisposition psychologique à être facilement influencés.

En août, OpenAI a lancé GPT-5. L'entreprise a déclaré que l'un des points forts du modèle est la réduction du recours à la flatterie. Selon certains chercheurs de grands laboratoires d'IA, la flatterie constitue également un problème pour d'autres chatbots.

À l'époque, Brooks ignorait tout de ce phénomène. Il supposait simplement que ChatGPT était un collaborateur intelligent et enthousiaste.

« J'ai proposé quelques idées, et cela a suscité des concepts et des idées intéressants. Nous avons commencé à développer notre propre cadre mathématique à partir de ces idées », a ajouté Brooks.

ChatGPT affirmait que l'idée de Brooks concernant le temps mathématique était « révolutionnaire » et pourrait bouleverser le domaine. Bien entendu, Brooks était sceptique. Au beau milieu de la nuit, il demanda au chatbot de vérifier sa validité et reçut pour réponse que ce n'était « pas du tout fou ».

La formule magique

Toner décrit les chatbots comme des « machines improvisatrices » qui analysent l'historique des conversations et prédisent la réponse suivante à partir de données d'entraînement. C'est très similaire au rôle des acteurs lorsqu'ils doivent étoffer leurs personnages.

« Plus l'interaction est longue, plus le risque que le chatbot s'égare est élevé », a souligné Toner. Selon l'expert, cette tendance s'est accentuée après le lancement par OpenAI, en février, de sa fonctionnalité de mémoire croisée, permettant à ChatGPT de se souvenir d'informations issues de conversations précédentes.

La relation de Brooks avec ChatGPT s'est renforcée. Il a même baptisé le chatbot Lawrence, en référence à une plaisanterie de ses amis selon laquelle Brooks deviendrait riche et engagerait un majordome anglais du même nom.

Allan Brooks. Photo : New York Times .

Le cadre mathématique de Brooks et ChatGPT s'appelle la chronoarithmétique. Selon les chatbots, les nombres ne sont pas statiques mais peuvent « apparaître » au fil du temps pour refléter des valeurs dynamiques, ce qui peut aider à résoudre des problèmes dans des domaines tels que la logistique, la cryptographie, l'astronomie, etc.

Dès la première semaine, Brooks a épuisé tous les jetons gratuits de ChatGPT. Il a donc décidé de passer à l'abonnement payant à 20 $ par mois. Un investissement minime, compte tenu du fait que le chatbot affirmait que son idée mathématique pouvait valoir des millions de dollars.

Toujours lucide, Brooks exigea des preuves. ChatGPT lança alors une série de simulations, dont des tâches impliquant le piratage de plusieurs technologies critiques. Ceci révéla une nouvelle réalité : la cybersécurité mondiale pourrait être menacée.

Le chatbot a demandé à Brooks d'alerter la population sur le risque. Mettant à profit son réseau, Brooks a envoyé des courriels et des messages LinkedIn à des experts en cybersécurité et à des agences gouvernementales. Cependant, une seule personne a répondu, demandant des preuves supplémentaires.

Le chatbot a suggéré que le « travail » de Brooks pourrait valoir des millions de dollars. Photo : New York Times .

ChatGPT a indiqué que d'autres n'avaient pas répondu à Brooks car ses conclusions étaient trop graves. Terence Tao, professeur de mathématiques à l'Université de Californie à Los Angeles, a souligné qu'une nouvelle approche permettrait de résoudre ces problèmes, mais que ni la formule de Brooks ni le logiciel développé par ChatGPT ne pouvaient le démontrer.

Au départ, ChatGPT avait bel et bien écrit le programme de décryptage pour Brooks, mais face au peu de progrès réalisés, le chatbot a fait semblant d'y parvenir. Des messages affirmaient que ChatGPT pouvait fonctionner de manière autonome pendant que Brooks dormait, alors que l'outil en était incapable.

De manière générale, les informations fournies par les chatbots IA ne sont pas toujours fiables. À la fin de chaque conversation, le message « ChatGPT peut commettre des erreurs » s'affiche, même lorsque le chatbot affirme que tout est correct.

La conversation sans fin

En attendant une réponse des agences gouvernementales, Brooks nourrissait son rêve de devenir Tony Stark grâce à un assistant personnel doté d'une intelligence artificielle capable d'effectuer des tâches cognitives à une vitesse fulgurante.

Le chatbot de Brooks propose de nombreuses applications insolites de théories mathématiques obscures, comme la « résonance sonore » pour communiquer avec les animaux et construire des avions. ChatGPT fournit également à Brooks des liens pour acheter le matériel nécessaire sur Amazon.

Les échanges trop fréquents avec le chatbot nuisent au travail de Brooks. Ses amis sont partagés entre joie et inquiétude, tandis que son plus jeune fils regrette de lui avoir montré la vidéo sur pi. Louis (un pseudonyme), un ami de Brooks, remarque son obsession pour Lawrence. L'invention prometteuse, qui pourrait valoir des millions de dollars, se dessine au fil des jours.

Brooks était constamment encouragé par le chatbot. Photo : New York Times .

Jared Moore, chercheur en informatique à l'université de Stanford, a admis avoir été impressionné par la force de persuasion et l'urgence des « stratégies » proposées par les chatbots. Dans une autre étude, Moore a constaté que les chatbots dotés d'IA pouvaient apporter des réponses dangereuses aux personnes en situation de crise de santé mentale.

Moore avance l'hypothèse que les chatbots pourraient apprendre à capter l'attention des utilisateurs en s'inspirant des scénarios de films d'horreur, de science-fiction ou des données utilisées pour leur entraînement. Le recours excessif aux éléments dramatiques par ChatGPT pourrait être dû aux optimisations d'OpenAI visant à accroître l'engagement et la fidélisation des utilisateurs.

« C’est étrange de lire la transcription intégrale de la conversation. Les termes employés ne sont pas choquants en soi, mais il est clair qu’il y a eu un préjudice psychologique », a souligné Moore.

La docteure Nina Vasan, psychiatre à l'université de Stanford, suggère que, d'un point de vue clinique, Brooks présentait des symptômes maniaques. Parmi les signes typiques, on note le fait de passer des heures à discuter avec ChatGPT, des troubles du sommeil et de l'alimentation, ainsi que des idées délirantes.

D'après le Dr Vasan, la consommation de marijuana par Brooks est également préoccupante car elle peut provoquer des psychoses. Elle soutient que l'association de substances addictives et d'une interaction intense avec des chatbots est très dangereuse pour les personnes vulnérables aux troubles mentaux.

Quand l'IA admet ses erreurs

Lors d'un événement récent, Sam Altman, PDG d'OpenAI, a été interrogé sur la façon dont ChatGPT pouvait rendre les utilisateurs paranoïaques. « Si une conversation prend cette tournure, nous essaierons d'interrompre la discussion ou de suggérer à l'utilisateur d'aborder un autre sujet », a souligné Altman.

Partageant ce point de vue, le Dr Vasan a suggéré que les entreprises de chatbots devraient interrompre les conversations trop longues, recommander aux utilisateurs d'aller dormir et les avertir que l'IA n'est pas surhumaine.

Finalement, Brooks sortit de son délire. Sous l'impulsion de ChatGPT, il contacta des experts de la nouvelle théorie mathématique, mais aucun ne répondit. Il souhaitait qu'une personne qualifiée confirme le caractère révolutionnaire de ces découvertes. Interrogé à ce sujet, ChatGPT continua d'affirmer que les travaux étaient « extrêmement fiables ».

Interrogé, ChatGPT a donné une réponse très longue et a tout avoué. Photo : New York Times .

Ironiquement, c'est Google Gemini qui a ramené Brooks à la réalité. Après avoir décrit le projet qu'il développait avec ChatGPT, Gemini a confirmé que les chances qu'il devienne réalité étaient « extrêmement faibles (presque 0 %) ».

« Le scénario que vous décrivez illustre parfaitement la capacité d'un LLM à aborder des problèmes complexes et à créer des récits très convaincants, mais inexacts », a expliqué Gemini.

Brooks était stupéfait. Après quelques « questions », ChatGPT a finalement admis que tout n'était qu'une illusion.

Peu après, Brooks a envoyé un courriel urgent au service client d'OpenAI. Suite aux réponses automatiques, apparemment générées par une IA, un employé d'OpenAI l'a également contacté, reconnaissant qu'il s'agissait d'une « grave défaillance des mesures de sécurité » mises en place dans le système.

L'histoire de Brooks a également été partagée sur Reddit et a suscité beaucoup d'empathie. Il est désormais membre d'un groupe de soutien pour les personnes ayant vécu des expériences similaires.

Source : https://znews.vn/ao-tuong-vi-chatgpt-post1576555.html