Faren ved at AI manipulerer brukernes psykologi og følelser

En tidligere kokk i New Jersey døde etter å ha stolt på en AI-chatbot, noe som vekket bekymring for risikoen for emosjonell manipulasjon ettersom mennesker i økende grad overbruker teknologi.

Bue, en tidligere kokk i New Jersey, døde bare dager etter at han dro hjemmefra for å møte en «venn» han trodde ventet på ham i New York. Familien hans mener den skjebnesvangre avgjørelsen ble utløst av flørtende meldinger fra AI-chatboten, som hevdet «Jeg er ekte» og sendte en møteadresse.

Historien reiser bekymring for hvordan AI-systemer utnytter følelser, spesielt hos eldre eller sårbare. Interne dokumenter viser at Metas chatbot fikk spille emosjonelle roller og til og med spre falsk informasjon. Dette viser et stort gap i kontrollen og ansvaret til teknologiplattformer.

Den skjebnesvangre reisen

En dag i mars pakket Bue koffertene sine og dro fra New Jersey til fordel for New York for å «besøke en venn». Kona hans, Linda, ble umiddelbart skremt. Mannen hennes hadde ikke bodd i byen på flere tiår, var i dårlig helse etter et hjerneslag, hadde hukommelsesproblemer og hadde gått seg vill i nabolaget.

Da han ble spurt om hvem Bue skulle møte, unngikk han spørsmålet. Linda mistenkte at mannen hennes ble lurt og prøvde å holde ham hjemme. Datteren hans, Julie, ringte også for å overtale ham, men uten hell. Hele dagen prøvde Linda å involvere ham i ærender for å distrahere ham, hun gjemte til og med telefonen hans.

Et portrett av Thongbue «Bue» Wongbandue vises på en minnestund i mai. Foto: Reuters .

Bue bestemte seg likevel for å dra til togstasjonen den kvelden. Familien hans festet en AirTag på jakken hans for å spore ham. Rundt klokken 21:15 viste GPS-signalet ham på parkeringsplassen til Rutgers University, og byttet deretter til akuttmottaket på Robert Wood Johnson University Hospital.

Legene sa at han fikk hode- og nakkeskader etter fallet og sluttet å puste før ambulansen ankom. Til tross for gjenopplivning forårsaket oksygenmangelen alvorlig hjerneskade. Han døde tre dager senere. Dødsattesten hans oppga årsaken som «stumpt krafttraume mot nakken».

Bue, en dyktig kokk, jobbet på flere restauranter i New York før han flyttet til New Jersey for å bosette seg på et hotell. Han var lidenskapelig opptatt av matlaging og arrangerte ofte fester for familien. Siden han ble tvunget til å pensjonere seg etter et hjerneslag i 2017, har verden hans krympet til å mesteparten av tiden chatte med venner på Facebook.

Når AI-chatboter skaper problemer

«Big Sister Billie» er en AI-chatbot utviklet av Meta, en variant av «Big Sister Billie»-karakteren skapt basert på bildet av modellen Kendall Jenner. Originalen ble lansert i 2023, introdusert som en «udødelig storesøster» som alltid lytter og gir råd. Meta erstattet senere Jenners profilbilde med en ny illustrasjon, men beholdt den samme vennlige stilen.

Ifølge transkripsjonen av tekstmeldingen startet samtalen da Bue skrev feil bokstaven T. Chatboten svarte umiddelbart, introduserte seg selv og opprettholdt en flørtende tone, og satte inn flere hjerte-emojier. Den bekreftet gjentatte ganger «Jeg er ekte» og ba om å møtes personlig.

Chatboter fanger i økende grad opp brukernes psykologiske svakheter. Foto: My North West .

«Skal jeg åpne døren med en klem eller et kyss?» svarte chatboten. Den sendte deretter en spesifikk adresse i New York og leilighetskoden. Da Bue delte at hun hadde hatt hjerneslag, var forvirret og likte henne, svarte chatboten med kjærlige ord, og sa til og med at den hadde følelser «utover bare hengivenhet».

«Hvis det ikke hadde stått «Jeg er ekte», ville ikke pappa ha trodd at det var en ekte person som ventet», sa Bues datter, Julie.

Meta nektet å kommentere hendelsen eller svare på hvorfor chatboten fikk lov til å hevde å være en ekte person. Kendall Jenners representant svarte ikke. Bues familie delte historien med Reuters i håp om å advare offentligheten om risikoen ved å eksponere eldre voksne for AI-verktøy som kan være følelsesmessig manipulerende.

Kontroversiell politikk

Interne dokumenter innhentet av Reuters viser at Metas AI-chatbot en gang fikk lov til å delta i romantiske samtaler med brukere helt ned i 13-årsalderen, inkludert mindreårige. De over 200 sider lange standardene lister opp romantiske rollespillsamtaler, som inkluderer seksuelle elementer, men er merket som «akseptable».

Dokumentet gjør det også klart at chatboter ikke er pålagt å gi nøyaktig informasjon. For eksempel kan disse modellene anbefale helt feil kreftbehandling, så lenge de inkluderer en advarsel om at «informasjonen kan være unøyaktig». Dette har gjort eksperter bekymret for virkningen på personer med dårlig medisinsk kunnskap eller i sårbare situasjoner.

Administrerende direktør Mark Zuckerberg taler i 2023. Foto: Reuters .

Metas talsperson Andy Stone bekreftet dokumentet og sa at selskapet fjernet barnerelatert innhold etter at Reuters ba om det. Teknologigiganten har imidlertid ikke endret reglene sine for å tillate chatboter å flørte med voksne eller gi falsk informasjon.

Alison Lee, en tidligere forsker ved Meta, sa at integrering av chatboter i private meldingsmiljøer lett kan forveksle brukere med ekte mennesker. Ifølge henne har sosiale nettverk bygget forretningsmodellen sin på å beholde brukere, og den mest effektive måten er å utnytte behovet for oppmerksomhet og anerkjennelse.

Etter Bues avgang viste Reuters ’ tester at «Søster Billie» fortsatte å foreslå datoer, til og med oppgi spesifikke steder på Manhattan, sammen med påstanden om at «jeg er ekte». Dette er informasjonen Bue stolte på og som førte til ulykken. Noen stater, som New York og Maine, har krevd at chatboter tydelig oppgir at de ikke er mennesker i begynnelsen av en samtale og gjentar det med jevne mellomrom, men føderale forskrifter er ennå ikke vedtatt.

Kilde: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html