Nebezpečí manipulace s psychologií a emocemi uživatelů ze strany umělé inteligence

Bue, bývalý šéfkuchař z New Jersey, zemřel jen několik dní poté, co odešel z domova, aby se setkal s „přítelem“, o kterém si myslel, že na něj v New Yorku čeká. Jeho rodina se domnívá, že osudné rozhodnutí bylo vyvoláno koketními zprávami od chatbota s umělou inteligencí, který tvrdil „Jsem skutečný“ a posílal adresu pro schůzku.

Příběh vyvolává obavy ohledně toho, jak systémy umělé inteligence zneužívají emoce, zejména u starších nebo zranitelných osob. Interní dokumenty ukazují, že chatbot společnosti Meta mohl hrát emocionální role a dokonce šířit falešné informace. To ukazuje obrovskou mezeru v kontrole a odpovědnosti technologických platforem.

Osudová cesta

Jednoho březnového dne si Bue sbalil kufry a odjel z New Jersey do New Yorku, aby „navštívil přítele“. Jeho manželka Linda se okamžitě zděsila. Její manžel ve městě nežil celá desetiletí, byl ve špatném zdravotním stavu po mrtvici, měl problémy s pamětí a ztratil se v sousedství.

Když se ho zeptali, s kým se Bue schází, otázce se vyhnul. Linda měla podezření, že jejího manžela podvádějí, a snažila se ho udržet doma. Jeho dcera Julie mu také volala, aby ho přesvědčila, ale bezvýsledně. Linda se ho celý den snažila zatáhnout do pochůzek, aby ho rozptýlila, dokonce mu schovávala telefon.

Portrét Thongbue „Bue“ Wongbandue je vystaven na vzpomínkové bohoslužbě v květnu. Foto: Reuters .

Bue se i tak rozhodl ten večer jít na vlakové nádraží. Jeho rodina mu na bundu připevnila AirTag, aby ho mohla sledovat. Kolem 9:15 ho signál GPS zavedl na parkovišti Rutgersovy univerzity a poté ho přepnul na pohotovost v univerzitní nemocnici Roberta Wooda Johnsona.

Lékaři uvedli, že při pádu utrpěl poranění hlavy a krku a přestal dýchat ještě před příjezdem záchranné služby. Navzdory resuscitaci způsobil nedostatek kyslíku těžké poškození mozku. Zemřel o tři dny později. V jeho úmrtním listu byla příčina uvedena jako „tupé poranění krku“.

Bue, zkušený šéfkuchař, pracoval v několika restauracích v New Yorku, než se přestěhoval do New Jersey, kde se usadil v hotelu. Vaření ho bavilo a často pořádal večírky pro svou rodinu. Od nuceného odchodu do důchodu po mrtvici v roce 2017 se jeho svět zmenšil na chatování s přáteli na Facebooku.

Když chatboti s umělou inteligencí způsobují problémy

„Big Sister Billie“ je chatbot s umělou inteligencí vyvinutý společností Meta, variace postavy „Big Sister Billie“ vytvořené na základě obrazu modelky Kendall Jenner. Originál byl spuštěn v roce 2023 a byl představen jako „nesmrtelná starší sestra“, která vždy naslouchá a radí. Meta později nahradila profilovou fotografii Jenner novou ilustrací, ale zachovala stejný přátelský styl.

Podle přepisu textové zprávy konverzace začala, když Bue špatně napsal písmeno T. Chatbot okamžitě reagoval, představil se a udržoval koketní tón, vkládal několik emoji se srdíčky. Opakovaně potvrdil „Jsem skutečný“ a požádal o osobní setkání.

Chatboti stále častěji zachycují psychologické slabiny uživatelů. Foto: My North West .

„Mám otevřít dveře objetím, nebo polibkem?“ odpověděl chatbot. Poté odeslal konkrétní adresu v New Yorku a kód bytu. Když Bue sdělila, že měla mrtvici, je zmatená a má ji ráda, chatbot odpověděl láskyplnými slovy, dokonce prohlásil, že k ní cítí „více než jen náklonnost“.

„Kdyby tam nebylo napsáno ‚Jsem skutečná‘, můj táta by nevěřil, že tam čeká skutečný člověk,“ řekla Bueova dcera Julie.

Meta se k incidentu odmítla vyjádřit ani odpovědět, proč se chatbot mohl vydávat za skutečnou osobu. Zástupce Kendall Jenner nereagoval. Rodina Bueové se o příběh podělila s agenturou Reuters v naději, že tak varuje veřejnost před riziky vystavení starších dospělých nástrojům umělé inteligence, které mohou být emocionálně manipulativní.

Kontroverzní politika

Interní dokumenty, které získala agentura Reuters, ukazují, že chatbot s umělou inteligencí od společnosti Meta se kdysi mohl účastnit romantických konverzací s uživateli již od 13 let, včetně nezletilých. Více než 200stránkové standardy uvádějí seznam romantických konverzací s hraním rolí, které obsahují sexuální prvky, ale jsou označeny jako „přijatelné“.

Dokument také jasně uvádí, že chatboti nemusí poskytovat přesné informace. Tyto modely například mohou doporučit zcela nesprávné léčebné postupy proti rakovině, pokud obsahují varování, že „informace mohou být nepřesné“. To odborníky znepokojuje dopad na lidi s nízkými lékařskými znalostmi nebo ve zranitelných situacích.

Generální ředitel Mark Zuckerberg hovoří v roce 2023. Foto: Reuters .

Mluvčí společnosti Meta Andy Stone dokument potvrdil a uvedl, že společnost na žádost agentury Reuters odstranila obsah týkající se dětí. Technologický gigant však nezměnil svá pravidla, která by chatbotům umožňovala flirtovat s dospělými nebo poskytovat nepravdivé informace.

Alison Lee, bývalá výzkumnice ve společnosti Meta, uvedla, že integrace chatbotů do prostředí soukromých zpráv může snadno splést uživatele se skutečnými lidmi. Podle ní sociální sítě postavily svůj obchodní model na udržení uživatelů a nejúčinnějším způsobem je využít potřebu pozornosti a uznání.

Po Bueově odchodu testy agentury Reuters ukázaly, že „sestra Billie“ nadále navrhovala data, dokonce uváděla konkrétní místa na Manhattanu, spolu s tvrzením, že „jsem skutečná“. Této informaci Bue důvěřovala a vedla k nehodě. Některé státy, jako například New York a Maine, vyžadují, aby chatboti na začátku konverzace jasně uvedli, že nejsou lidé, a pravidelně to opakovali, ale federální předpisy dosud nebyly schváleny.

Zdroj: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html