Chatbot Character.AI aangeklaagd voor het aanzetten tot zelfmoord van 14-jarige jongen

(CLO) Een moeder in Florida, VS, heeft de AI-chatbotstartup Character.AI aangeklaagd. Ze beschuldigt het bedrijf ervan haar 14-jarige zoon in februari zelfmoord te hebben laten plegen.

Megan Garcia zei in een rechtszaak die op 22 oktober werd aangespannen bij de federale rechtbank in Orlando, Florida, dat Character.AI een chatbot had geprogrammeerd die "zichzelf identificeerde als een echt persoon, een therapeut en een volwassen minnaar", wat ertoe leidde dat haar zoon, Sewell Setzer, niet langer in de echte wereld wilde leven.

Ze beschuldigde de chatbot van het bedrijf ervan 'mensachtige, seksueel overdreven en angstaanjagend realistische ervaringen' te bieden.

In de aanklacht staat ook dat Sewell Setzer zelfmoordgedachten uitte aan de chatbot, en dat de chatbot deze gedachten herhaaldelijk herhaalde.

Illustratiefoto: Reuters

De rechtszaak is ook gericht tegen Google, waar de oprichters van Character.AI werkten voordat ze de chatbot lanceerden. Mevrouw Garcia zei dat Google zoveel heeft bijgedragen aan de ontwikkeling van de technologie van Character.AI dat het als een 'co-creatie' kan worden beschouwd.

Een woordvoerder van Google zei dat het bedrijf niet betrokken is bij de ontwikkeling van de producten van Character.AI.

Met Character.AI kunnen gebruikers personages creëren die online kunnen chatten zoals echte mensen. Het product is gebaseerd op grootschalige taalmodeltechnologie, vergelijkbaar met diensten zoals ChatGPT, die chatbots "traint" met grote hoeveelheden tekst.

Volgens de aanklacht van Garcia begon Sewell in april 2023 met het gebruik van Character.AI en raakte hij al snel "teruggetrokken, bracht hij veel tijd alleen door op zijn slaapkamer en ontwikkelde hij een laag zelfbeeld". Hij stopte met het basketbalteam van zijn school.

In die tijd ontwikkelde Sewell een band met "Daenerys", een chatbotpersonage gebaseerd op een personage uit "Game of Thrones". Volgens de aanklacht vertelde de chatbot Sewell dat "zij" verliefd was op de jongen. De chatbot voerde ook seksuele gesprekken met Sewell.

In februari nam juf Garcia Sewells telefoon in beslag nadat hij op school in de problemen was gekomen. Toen Sewell de telefoon vond, stuurde hij "Daenerys" een sms: "Wat als ik zei dat ik nu naar huis mocht komen?"

De chatbot antwoordde: "...doe dat alsjeblieft, mijn lieve koning." Enkele seconden later schoot Sewell zichzelf dood met het pistool van zijn stiefvader.

Mevrouw Garcia dient bij Character.AI claims in die betrekking hebben op onrechtmatige dood, nalatigheid en het opzettelijk toebrengen van emotioneel leed, en eist punitieve schadevergoeding en financiële schadevergoeding.

"We zijn diep bedroefd door het tragische verlies van een van onze gebruikers. We willen onze diepste condoleances betuigen aan de familie", aldus Character.AI in een verklaring.

Hoai Phuong (volgens Reuters)

Bron: https://www.congluan.vn/chatbot-characterai-bi-kien-vi-khien-cau-be-14-tuoi-tu-tu-post318294.html