Video av misstänkt AI som utger sig för att vara en funktionshindrad person för att sälja varor väcker upprördhet

Konto som använder AI för att utge sig för att vara säljare. Foto: TikTok .

Med framväxten av en rad avancerade AI-verktyg på senare tid har det blivit mycket enklare att skapa foton och videor med bara några få kommandon. Internetanvändares förmåga att skilja mellan äkta och falskt har dock inte hållit jämna steg med den utvecklingen och har utnyttjats av vissa personer för vinst.

Nyligen har ett TikTok-konto spridits på sociala medier och publicerat en serie videor om en kvinna med båda armarna amputerade och som måste sälja varor för att försörja sina små barn. I klippen bär personen enkla kläder, talar sympatiskt för att introducera produkter som pappershanddukar och tvättmedel.

Enligt protokollet berättade kvinnan om sin mans situation, där han dog i förtid på grund av en olycka och var tvungen att uppfostra ett litet barn ensam, men berättelsen var inte konsekvent genom videorna. Kontot fick mer än miljoner visningar och interaktioner, och ökade med 100 000 följare på tre dagar efter att kanalen skapats. Många uttryckte sympati, bad om stöd och beställde till och med produkter för att hjälpa till.

Användare fortsätter att upptäcka konton med liknande innehåll. Det som dessa kanaler har gemensamt är att de är nyskapade personliga sidor, saknar någon riktig interaktionshistorik och ofta delar alltför känslosamt innehåll.

Dessa kanaler är ofta nya och har ingen tydlig profil.

Men efter ett tag lade nätanvändare märke till något ovanligt och osammanhängande i varje video. Till exempel såg kvinnans amputerade arm väldigt slät ut, husets väggfärg var annorlunda, eller så låg barnet ovanligt stilla. Anledningen var att alla klipp skapades av AI för att lura andra.

Det är värt att notera att varningen eller de exponerande kommentarerna doldes eller raderades av kontoinnehavaren. Många kände sig kränkta över att ha blivit lurade, såväl som indignerade över beteendet att dra nytta av människors sympati.

Dessutom påverkar dessa falska videor även ägarna och andra funktionshindrade personer som försörjer sig på samma plattform. Tran Thi Nga (36 år) i Phu Tho , ägare till Nga Tich Cuc-kanalen, var tvungen att ständigt säga att hon verkligen hade en amputerad arm.

I slutet av 2024 drabbades denna person av akut viral myokardit och tvingades amputera alla sina lemmar, vilket ledde till att hon började ett nytt liv med sin familjs kärlek. I en nyligen genomförd livesändning uttryckte hon sin sorg över att ha blivit ifrågasatt och fått ta emot hårda ord.

Dessa nyskapade kanaler fick också snabbt ett stort antal följare, vilket gjorde det svårare att urskilja sig. Ett annat konto med liknande innehåll vid namn NLS ökade med nästan 50 000 följare efter bara en video.

Användare uttryckte indignation och förlorat förtroende när de blev lurade.

Därför går det inte att klandra onlinegemenskapen för att de gradvis förlorar tron på vad de ser, och därmed inte längre bryr sig om dem som verkligen behöver hjälp. En kommentar sa att de som använder AI-teknik för att utnyttja gemenskapens känslor bör fördömas.

Cyberbedrägerier blir alltmer sofistikerade och riktar sig mot personer med begränsad kontakt eller äldre. De flesta kontoinnehavare använder bilder av personer som lider av trauma, såsom sjukhusvistelse eller funktionsnedsättning, och kopplar sedan till kundvagnar eller lämnar kontonummer för att ringa efter stöd.

Tidigare upptäckte CNBC fler än 30 Instagram-, YouTube- och TikTok-konton som använde AI för att utge sig för att vara personer med Downs syndrom. Dessa individer använde hjärtskärande berättelser för att locka följare och uppmana till insamlingar i samhället, men i verkligheten tog de över kontona själva.

Händelsen varnar för möjligheten att AI:s förmåga att reproducera realistiskt innehåll kan utnyttjas av ondskefulla aktörer. I takt med att tekniken utvecklas snabbt måste användare popularisera den, samt hjälpa sina nära och kära att undvika att bli offer för onlinebedrägerier.

Kommentar (0)