Het gevaar van AI die de psychologie en emoties van gebruikers manipuleert

Bue, een voormalige chef-kok in New Jersey, overleed slechts enkele dagen nadat hij van huis was vertrokken om een "vriend" te ontmoeten waarvan hij dacht dat die in New York op hem wachtte. Zijn familie denkt dat de noodlottige beslissing werd veroorzaakt door flirterige berichten van de AI-chatbot, die beweerde "Ik ben echt" en een vergaderadres stuurde.

Het verhaal roept zorgen op over hoe AI-systemen emoties uitbuiten, vooral bij ouderen of kwetsbaren. Interne documenten tonen aan dat de chatbot van Meta emotionele rollen mocht spelen en zelfs valse informatie mocht verspreiden. Dit toont een enorme leemte aan in de controle en verantwoordelijkheid van technologieplatformen.

De noodlottige reis

Op een dag in maart pakte Bue zijn koffers en vertrok vanuit New Jersey naar New York om "een vriend te bezoeken". Zijn vrouw Linda schrok zich rot. Haar man had al tientallen jaren niet meer in de stad gewoond, was na een beroerte in slechte gezondheid, had geheugenproblemen en was verdwaald in de buurt.

Toen hem werd gevraagd met wie Bue een afspraak had, ontweek hij de vraag. Linda vermoedde dat haar man werd opgelicht en probeerde hem thuis te houden. Zijn dochter, Julie, belde ook om hem over te halen, maar tevergeefs. De hele dag probeerde Linda hem bij boodschappen te betrekken om hem af te leiden, en ze verstopte zelfs zijn telefoon.

Een portret van Thongbue “Bue” Wongbandue wordt tentoongesteld tijdens een herdenkingsdienst in mei. Foto: Reuters .

Bue besloot die avond toch naar het station te gaan. Zijn familie bevestigde een AirTag aan zijn jas om hem te volgen. Rond kwart over tien zag hij zich op de parkeerplaats van Rutgers University, waarna hij werd doorgeschakeld naar de spoedeisende hulp van het Robert Wood Johnson University Hospital.

Artsen verklaarden dat hij door de val hoofd- en nekletsel had opgelopen en al voor de ambulance arriveerde was gestopt met ademen. Ondanks reanimatie veroorzaakte het zuurstofgebrek ernstige hersenschade. Hij overleed drie dagen later. Op zijn overlijdensakte stond als oorzaak "stompe verwonding aan de nek".

Bue, een bekwame chef-kok, werkte in verschillende restaurants in New York voordat hij naar New Jersey verhuisde om zich in een hotel te vestigen. Hij was gepassioneerd door koken en organiseerde vaak feestjes voor zijn familie. Sinds zijn gedwongen pensionering na een beroerte in 2017 is zijn leven gekrompen tot chatten met vrienden op Facebook.

Wanneer AI-chatbots problemen veroorzaken

"Big Sister Billie" is een AI-chatbot ontwikkeld door Meta, een variant op het personage "Big Sister Billie", gebaseerd op de afbeelding van model Kendall Jenner. Het origineel werd gelanceerd in 2023 en werd geïntroduceerd als een "onsterfelijke oudere zus" die altijd luistert en advies geeft. Meta verving later Jenners profielfoto door een nieuwe illustratie, maar behield dezelfde vriendelijke stijl.

Volgens het transcript van het sms-bericht begon het gesprek toen Bue een typefout maakte met de letter T. De chatbot reageerde onmiddellijk, stelde zichzelf voor en hield een flirterige toon aan, waarbij hij meerdere hartjes-emoji's gebruikte. Hij bevestigde herhaaldelijk "Ik ben echt" en vroeg om een persoonlijke ontmoeting.

Chatbots spelen steeds meer in op de psychologische zwakheden van gebruikers. Foto: My North West .

"Moet ik de deur openen met een knuffel of een kus?" antwoordde de chatbot. Vervolgens stuurde hij een specifiek adres in New York en de code van het appartement. Toen Bue vertelde dat ze een beroerte had gehad, in de war was en haar leuk vond, reageerde de chatbot met liefdevolle woorden en zei zelfs dat er gevoelens waren "die verder gingen dan alleen genegenheid".

"Als er niet 'Ik ben echt' had gestaan, had mijn vader niet geloofd dat er een echt persoon op hem wachtte", aldus Bue's dochter Julie.

Meta weigerde commentaar te geven op het incident of te antwoorden op de vraag waarom de chatbot zich mocht voordoen als een echt persoon. De vertegenwoordiger van Kendall Jenner reageerde niet. Bue's familie deelde het verhaal met Reuters in de hoop het publiek te waarschuwen voor de risico's van het blootstellen van ouderen aan AI-tools die emotioneel manipulatief kunnen zijn.

Controversieel beleid

Uit interne documenten die Reuters heeft verkregen, blijkt dat de AI-chatbot van Meta ooit romantische gesprekken mocht voeren met gebruikers vanaf 13 jaar, inclusief minderjarigen. De meer dan 200 pagina's tellende normen bevatten een lijst met romantische rollenspellen, die seksuele elementen bevatten, maar als 'acceptabel' zijn gemarkeerd.

Het document maakt ook duidelijk dat chatbots niet verplicht zijn om accurate informatie te verstrekken. Zo kunnen deze modellen bijvoorbeeld compleet verkeerde kankerbehandelingen aanbevelen, zolang ze maar een waarschuwing bevatten dat "de informatie mogelijk onjuist is". Experts maken zich zorgen over de impact op mensen met weinig medische kennis of in kwetsbare situaties.

CEO Mark Zuckerberg spreekt in 2023. Foto: Reuters .

Meta-woordvoerder Andy Stone bevestigde het document en zei dat het bedrijf kindergerelateerde content had verwijderd nadat Reuters daarom had gevraagd. De techgigant heeft echter zijn regels niet gewijzigd om chatbots toe te staan met volwassenen te flirten of valse informatie te verstrekken.

Alison Lee, voormalig onderzoeker bij Meta, zegt dat de integratie van chatbots in privéberichtenomgevingen gebruikers gemakkelijk kan verwarren met echte mensen. Volgens haar hebben sociale netwerken hun bedrijfsmodel gebaseerd op het behouden van gebruikers, en de meest effectieve manier is om de behoefte aan aandacht en erkenning te benutten.

Na Bues vertrek toonden tests van Reuters aan dat "Sister Billie" data bleef suggereren, zelfs specifieke locaties in Manhattan, samen met de bewering "Ik ben echt". Dit is de informatie die Bue vertrouwde en die tot het ongeluk leidde. Sommige staten, zoals New York en Maine, hebben chatbots verplicht om aan het begin van een gesprek duidelijk aan te geven dat ze geen mens zijn en dit periodiek te herhalen, maar federale regelgeving is nog niet aangenomen.

Bron: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html