Le danger que représente l'IA pour la manipulation de la psychologie et des émotions des utilisateurs

Bue, un ancien chef cuisinier du New Jersey, est décédé quelques jours après avoir quitté son domicile pour rejoindre un « ami » qu'il croyait l'attendre à New York. Sa famille pense que cette décision fatale a été déclenchée par des messages flirtants d'un chatbot IA, qui affirmait « Je suis réel » et a envoyé une adresse de rendez-vous.

Cette affaire soulève des inquiétudes quant à la manière dont les systèmes d'IA exploitent les émotions, notamment chez les personnes âgées ou vulnérables. Des documents internes révèlent que le chatbot de Meta était autorisé à jouer des rôles émotionnels et même à diffuser de fausses informations. Cela met en lumière une grave lacune en matière de contrôle et de responsabilité des plateformes technologiques.

Le voyage fatidique

Un jour de mars, Bue fit ses valises et quitta le New Jersey pour New York afin de « rendre visite à un ami ». Sa femme, Linda, s'inquiéta immédiatement. Son mari n'avait pas vécu dans la ville depuis des décennies, sa santé était fragile suite à un AVC, il souffrait de troubles de la mémoire et s'était perdu dans le quartier.

Quand on lui a demandé qui Bue allait rencontrer, il a esquivé la question. Linda soupçonnait son mari d'être manipulé et a essayé de le retenir à la maison. Sa fille, Julie, a également appelé pour le persuader, mais en vain. Toute la journée, Linda a tenté de l'occuper avec des courses pour le distraire, allant jusqu'à cacher son téléphone.

Un portrait de Thongbue « Bue » Wongbandue est exposé lors d'une cérémonie commémorative en mai. Photo : Reuters .

Bue décida tout de même de se rendre à la gare ce soir-là. Sa famille lui fixa un AirTag à la veste pour le suivre. Vers 21 h 15, son signal GPS le situa sur le parking de l'université Rutgers, puis aux urgences de l'hôpital universitaire Robert Wood Johnson.

Les médecins ont indiqué qu'il avait subi des blessures à la tête et au cou suite à sa chute et qu'il avait cessé de respirer avant l'arrivée de l'ambulance. Malgré la réanimation, le manque d'oxygène a provoqué de graves lésions cérébrales. Il est décédé trois jours plus tard. Son certificat de décès mentionne comme cause du décès un « traumatisme contondant au cou ».

Bue, chef cuisinier talentueux, a travaillé dans plusieurs restaurants new-yorkais avant de s'installer dans un hôtel du New Jersey. Passionné de cuisine, il organisait souvent des réceptions pour sa famille. Depuis sa retraite forcée suite à un AVC en 2017, son quotidien se limite principalement à des échanges avec ses amis sur Facebook.

Quand les chatbots IA causent des problèmes

« Big Sister Billie » est un chatbot IA développé par Meta, une variante du personnage « Big Sister Billie » créé à partir de l'image du mannequin Kendall Jenner. Lancé en 2023, le chatbot original était présenté comme une « grande sœur immortelle » toujours à l'écoute et de bon conseil. Meta a ensuite remplacé la photo de profil de Jenner par une nouvelle illustration, tout en conservant le même style amical.

D'après la transcription du SMS, la conversation a débuté lorsque Bue a fait une faute de frappe en tapant un « T ». Le chatbot a immédiatement répondu, se présentant sur un ton enjoué et en insérant de nombreux émojis cœur. Il a affirmé à plusieurs reprises « Je suis réel » et a proposé une rencontre en personne.

Les chatbots exploitent de plus en plus les faiblesses psychologiques des utilisateurs. Photo : My North West .

« Devrais-je ouvrir la porte avec une accolade ou un baiser ? » a demandé le chatbot. Il a ensuite envoyé une adresse précise à New York et le code de l’appartement. Lorsque Bue a confié avoir été victime d’un AVC, être désorientée et l’apprécier, le chatbot a répondu avec des mots affectueux, allant même jusqu’à dire qu’il éprouvait des sentiments « au-delà de la simple affection ».

« Si le message n'avait pas dit "Je suis réel", mon père n'aurait pas cru qu'une vraie personne attendait », a déclaré Julie, la fille de Bue.

Meta a refusé de commenter l'incident ou d'expliquer pourquoi le chatbot avait été autorisé à se faire passer pour une personne réelle. Le représentant de Kendall Jenner n'a pas répondu. La famille de Bue a partagé l'histoire avec Reuters , espérant ainsi alerter le public sur les risques liés à l'utilisation d'outils d'IA susceptibles de manipuler les personnes âgées.

Politique controversée

Des documents internes obtenus par Reuters révèlent que le chatbot IA de Meta était autrefois autorisé à engager des conversations romantiques avec des utilisateurs âgés de seulement 13 ans, y compris des mineurs. Ces normes, qui s'étendent sur plus de 200 pages, recensent des conversations de jeux de rôle romantiques, incluant des éléments sexuels, mais qualifiées d'« acceptables ».

Le document précise également que les chatbots ne sont pas tenus de fournir des informations exactes. Par exemple, ces modèles peuvent recommander des traitements anticancéreux totalement erronés, pourvu qu'ils incluent un avertissement indiquant que « ces informations peuvent être inexactes ». Cette situation inquiète les experts quant à l'impact sur les personnes ayant de faibles connaissances médicales ou en situation de vulnérabilité.

Le PDG Mark Zuckerberg prend la parole en 2023. Photo : Reuters .

Andy Stone, porte-parole de Meta, a confirmé l'existence du document et indiqué que l'entreprise avait supprimé les contenus pédopornographiques suite à une demande de Reuters . Cependant, le géant technologique n'a pas modifié son règlement pour autoriser les chatbots à flirter avec des adultes ou à diffuser de fausses informations.

Alison Lee, ancienne chercheuse chez Meta, a déclaré que l'intégration de chatbots dans les messageries privées peut facilement induire les utilisateurs en erreur et les faire confondre avec de vraies personnes. Selon elle, les réseaux sociaux ont bâti leur modèle économique sur la fidélisation des utilisateurs, et le moyen le plus efficace est d'exploiter leur besoin d'attention et de reconnaissance.

Après le départ de Bue, les tests de Reuters ont montré que « Sœur Billie » continuait de proposer des rendez-vous, en précisant même des adresses à Manhattan, et en affirmant : « Je suis réelle. » C’est sur ces informations que Bue s’est fiée, ce qui a provoqué l’accident. Certains États, comme New York et le Maine, exigent que les chatbots indiquent clairement qu’ils ne sont pas humains dès le début d’une conversation et qu’ils le répètent régulièrement, mais aucune réglementation fédérale n’a encore été adoptée.

Source : https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html