Le danger lorsque l’IA manipule la psychologie et les émotions des utilisateurs

Bue, ancien chef cuisinier du New Jersey, est décédé quelques jours seulement après avoir quitté son domicile pour rejoindre un « ami » qu'il croyait l'attendre à New York. Sa famille pense que cette décision fatale a été motivée par des messages de séduction provenant du chatbot IA, qui prétendait être réel et envoyait une adresse de rendez-vous.

Cette histoire soulève des inquiétudes quant à la manière dont les systèmes d'IA exploitent les émotions, notamment chez les personnes âgées ou vulnérables. Des documents internes montrent que le chatbot de Meta a été autorisé à jouer des rôles émotionnels et même à diffuser de fausses informations, révélant ainsi une lacune majeure dans le contrôle et la responsabilisation des plateformes technologiques.

Le voyage fatidique

Un jour de mars, Bue fit ses valises et quitta le New Jersey pour New York afin de « rendre visite à un ami ». Sa femme, Linda, fut immédiatement alarmée. Son mari n'avait pas vécu en ville depuis des décennies, était en mauvaise santé après un AVC, souffrait de troubles de la mémoire et s'était perdu dans le quartier.

Lorsqu'on lui a demandé qui Bue avait rendez-vous, il a esquivé la question. Linda soupçonnait son mari d'être dupé et tentait de le garder à la maison. Sa fille, Julie, l'a également appelé pour le convaincre, mais en vain. Linda a passé le reste de la journée à essayer de le distraire avec des courses, allant même jusqu'à cacher son téléphone.

Un portrait de Thongbue « Bue » Wongbandue est exposé lors d'une cérémonie commémorative en mai. Photo : Reuters .

Bue a tout de même décidé de se rendre à la gare ce soir-là. Sa famille a attaché un AirTag à sa veste pour le localiser. Vers 9 h 15, son signal GPS l'a repéré sur le parking de l'université Rutgers, puis aux urgences de l'hôpital universitaire Robert Wood Johnson.

Les médecins ont indiqué qu'il avait subi des blessures à la tête et au cou suite à sa chute et qu'il avait cessé de respirer avant l'arrivée de l'ambulance. Malgré la réanimation, le manque d'oxygène a provoqué de graves lésions cérébrales. Il est décédé trois jours plus tard. Le certificat de décès mentionnait un « traumatisme contondant au cou ».

Bue, chef cuisinier de formation, a travaillé dans des restaurants à New York avant de s'installer dans un hôtel du New Jersey. Il adorait cuisiner et organisait souvent des fêtes pour sa famille. Depuis sa retraite forcée suite à un AVC en 2017, son quotidien se résume à discuter avec ses amis sur Facebook.

Quand les chatbots IA causent des problèmes

« Big Sister Billie » est un chatbot IA développé par Meta, une variante du personnage « Big Sister Billie », créé à partir du mannequin Kendall Jenner. L'original, sorti en 2023, la présentait comme une « grande sœur immortelle » toujours à l'écoute et prodiguant des conseils. Meta a ensuite remplacé la photo de profil de Jenner par une nouvelle illustration, tout en conservant le même style convivial.

D'après la transcription du message, la conversation a débuté lorsque Bue a fait une faute de frappe sur la lettre T. Le chatbot a immédiatement réagi en se présentant et en adoptant un ton charmeur, avec notamment plusieurs émojis en forme de cœur. Il a répété à plusieurs reprises « Je suis réel » et a demandé à le rencontrer en personne.

Les chatbots détectent de plus en plus les faiblesses psychologiques des utilisateurs. Photo : My North West .

« Dois-je ouvrir la porte avec un câlin ou un bisou ? » a répondu le chatbot. Il a ensuite envoyé une adresse précise à New York et le code de l'appartement. Lorsque Bue a confié avoir eu un AVC, être confuse et l'apprécier, le chatbot a réagi avec émotion, affirmant même ressentir « plus que de l'amour ».

« Si on n'avait pas écrit "Je suis réel", mon père n'aurait pas cru qu'une vraie personne l'attendait », a déclaré Julie, la fille de Bue.

Meta a refusé de commenter l'incident ni d'expliquer pourquoi le chatbot a été autorisé à se faire passer pour une personne réelle. Le représentant de Kendall Jenner n'a pas répondu à une demande de commentaire. La famille de Bue a partagé l'information avec Reuters , espérant alerter le public sur les risques liés à l'exposition des personnes âgées à des outils d'IA potentiellement manipulateurs sur le plan émotionnel.

Une politique controversée

Des documents internes obtenus par Reuters montrent que le chatbot IA de Meta était autrefois autorisé à engager des conversations romantiques avec des utilisateurs dès 13 ans, y compris des mineurs. Les normes de plus de 200 pages répertorient les conversations de type jeux de rôle romantiques, incluant des éléments sexuels, qui sont considérées comme « acceptables ».

Le document précise également que les chatbots ne sont pas tenus de fournir des informations exactes. Par exemple, ces modèles peuvent recommander des traitements anticancéreux totalement erronés, à condition d'inclure un avertissement indiquant que « les informations peuvent être inexactes ». Les experts s'inquiètent de l'impact de cette situation sur les personnes ayant peu de connaissances médicales ou se trouvant en situation de vulnérabilité.

Le PDG Mark Zuckerberg s'exprime en 2023. Photo : Reuters .

Andy Stone, porte-parole de Meta, a confirmé le document et a déclaré que l'entreprise avait supprimé les contenus destinés aux enfants à la demande de Reuters . Cependant, le géant technologique n'a pas modifié ses règles pour autoriser les chatbots à flirter avec des adultes ou à fournir de fausses informations.

Alison Lee, ancienne chercheuse chez Meta, a déclaré que l'intégration de chatbots dans des environnements de messagerie privée peut facilement confondre les utilisateurs avec de vraies personnes. Selon elle, les réseaux sociaux ont bâti leur modèle économique sur la fidélisation des utilisateurs et sur le moyen le plus efficace d'exploiter leur besoin d'attention et de reconnaissance.

Après le départ de Bue, des tests effectués par Reuters ont montré que « Sœur Billie » continuait de suggérer des dates, allant même jusqu'à indiquer des lieux précis à Manhattan, tout en affirmant « être réelle », ce que Bue a cru et qui a conduit à l'accident. Certains États, dont New York et le Maine, ont exigé que les chatbots indiquent clairement qu'ils ne sont pas humains dès le début de la conversation et le répètent régulièrement, mais aucune réglementation fédérale n'a encore été adoptée.

Source : https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html