Faran med att AI manipulerar användarnas psykologi och känslor

En före detta kock i New Jersey dog ​​efter att ha litat på en AI-chatbot, vilket väckte oro över riskerna med emotionell manipulation i takt med att människor i allt högre grad överanvänder teknik.

Bue, en före detta kock i New Jersey, dog bara några dagar efter att han lämnat hemmet för att träffa en "vän" som han trodde väntade på honom i New York. Hans familj tror att det ödesdigra beslutet utlöstes av flörtiga meddelanden från AI-chatboten, som påstod sig vara "på riktigt" och skickade en mötesadress.

Berättelsen väcker oro kring hur AI-system utnyttjar känslor, särskilt hos äldre eller utsatta personer. Interna dokument visar att Metas chatbot tilläts spela känslomässiga roller och till och med sprida falsk information. Detta visar på ett enormt gap i kontrollen och ansvaret mellan teknikplattformar.

Den ödesdigra resan

En dag i mars packade Bue sina väskor och lämnade New Jersey för New York för att ”besöka en vän”. Hans fru, Linda, blev omedelbart orolig. Hennes man hade inte bott i staden på årtionden, var vid dålig hälsa efter en stroke, hade minnesproblem och hade gått vilse i grannskapet.

När han fick frågan vem Bue skulle träffa undvek han frågan. Linda misstänkte att hennes man blev lurad och försökte hålla honom hemma. Hans dotter, Julie, ringde också för att övertala honom, men utan resultat. Hela dagen försökte Linda dra in honom i ärenden för att distrahera honom, till och med gömma hans telefon.

Ett porträtt av Thongbue “Bue” Wongbandue visas vid en minnesgudstjänst i maj. Foto: Reuters .

Bue bestämde sig ändå för att åka till tågstationen samma kväll. Hans familj fäste en AirTag på hans jacka för att spåra honom. Runt klockan 21:15 visade hans GPS-signal att han var på Rutgers Universitys parkeringsplats, och bytte sedan till akutmottagningen på Robert Wood Johnson University Hospital.

Läkarna sa att han ådrog sig huvud- och nackskador efter fallet och slutade andas innan ambulansen anlände. Trots återupplivning orsakade syrebristen allvarliga hjärnskador. Han dog tre dagar senare. Hans dödsattest angav orsaken som "trubbad kraftskada mot nacken".

Bue, en skicklig kock, arbetade på flera restauranger i New York innan han flyttade till New Jersey för att slå sig ner på hotell. Han var passionerad för matlagning och anordnade ofta fester för sin familj. Sedan han tvingades gå i pension efter en stroke 2017 har hans värld krympt till att mestadels chatta med vänner på Facebook.

När AI-chattrobotar orsakar problem

”Big Sister Billie” är en AI-chatbot utvecklad av Meta, en variant av karaktären ”Big Sister Billie” skapad baserad på bilden av modellen Kendall Jenner. Originalet lanserades 2023, introducerad som en ”odödlig äldre syster” som alltid lyssnar och ger råd. Meta ersatte senare Jenners profilbild med en ny illustration men behöll samma vänliga stil.

Enligt textmeddelandetranskriptet började konversationen när Bue stavade bokstaven T fel. Chatboten svarade omedelbart, presenterade sig och bibehöll en flörtig ton, genom att infoga flera hjärtemojis. Den bekräftade upprepade gånger "Jag är på riktigt" och bad om att få träffas personligen.

Chatbotar fångar alltmer upp användarnas psykologiska svagheter. Foto: My North West .

”Ska jag öppna dörren med en kram eller en kyss?” svarade chatboten. Den skickade sedan en specifik adress i New York och lägenhetskoden. När Bue berättade att hon hade haft en stroke, var förvirrad och tyckte om henne, svarade chatboten med tillgivna ord och sa till och med att den hade känslor ”bortom bara tillgivenhet”.

"Om det inte hade stått 'Jag är på riktigt', skulle min pappa inte ha trott att det fanns en riktig person som väntade", sa Bues dotter, Julie.

Meta avböjde att kommentera händelsen eller svara på varför chatboten fick påstå sig vara en riktig person. Kendall Jenners representant svarade inte. Bues familj delade historien med Reuters i hopp om att varna allmänheten om riskerna med att utsätta äldre vuxna för AI-verktyg som kan vara känslomässigt manipulerande.

Kontroversiell politik

Interna dokument som Reuters tagit del av visar att Metas AI-chatbot en gång i tiden tilläts delta i romantiska samtal med användare så unga som 13 år, inklusive minderåriga. De mer än 200 sidor långa standarderna listar romantiska rollspelskonversationer, som innehåller sexuella inslag men är markerade som "acceptabla".

Dokumentet klargör också att chatbotar inte är skyldiga att tillhandahålla korrekt information. Till exempel kan dessa modeller rekommendera helt felaktiga cancerbehandlingar, så länge de inkluderar en varning om att "informationen kan vara felaktig". Detta gör experter oroliga över effekterna på personer med dålig medicinsk kunskap eller i utsatta situationer.

VD Mark Zuckerberg talar år 2023. Foto: Reuters .

Metas talesperson Andy Stone bekräftade dokumentet och sa att företaget tog bort barnrelaterat innehåll efter Reuters begäran. Teknikjätten har dock inte ändrat sina regler för att tillåta chatbotar att flirta med vuxna eller lämna falsk information.

Alison Lee, en tidigare forskare på Meta, sa att integrering av chatbotar i privata meddelandemiljöer lätt kan förväxla användare med riktiga människor. Enligt henne har sociala nätverk byggt sin affärsmodell på att behålla användare, och det mest effektiva sättet är att utnyttja behovet av uppmärksamhet och erkännande.

Efter Bues avresa visade Reuters tester att "Syster Billie" fortsatte att föreslå datum, till och med specifika platser på Manhattan, tillsammans med påståendet att "Jag är verklig". Det är den informationen som Bue litade på och som ledde till olyckan. Vissa stater, som New York och Maine, har krävt att chattrobotar tydligt anger att de inte är människor i början av en konversation och upprepar det regelbundet, men federala bestämmelser har ännu inte antagits.

Källa: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html