Antropisch: Slechts een kleine hoeveelheid data is voldoende om gigantische AI-modellen te 'vergiftigen'

Nieuw onderzoek van chatbot-ontwikkelaar Claude toont aan dat zelfs grote taalmodellen met tientallen miljarden parameters 'vergiftigd' kunnen worden met slechts een kleine hoeveelheid data.

Anthropic waarschuwt dat het invoegen van kwaadaardige gegevens om AI-reacties te verstoren veel gemakkelijker is dan gedacht - Foto: FREEPIK

Het bedrijf voor kunstmatige intelligentie Anthropic, de ontwikkelaar van de chatbot Claude, heeft onlangs onderzoek gepubliceerd waaruit blijkt dat het 'vergiftigen' van grote taalmodellen (LLM's), dat wil zeggen het invoegen van schadelijke gegevens om AI-reacties te verstoren, veel eenvoudiger is dan gedacht.

Volgens Cyber ​​News zijn slechts 250 speciaal vervaardigde documenten voldoende om een ​​generatief AI-model (GenAI) volledig onjuiste antwoorden te laten geven bij het tegenkomen van een bepaalde triggerzin.

Zorgelijk genoeg vermindert de omvang van het model dit risico niet. Eerder dachten onderzoekers dat hoe groter het model, hoe meer kwaadaardige data er nodig zouden zijn om een ​​'achterdeurtje' te installeren.

Maar Anthropic beweert dat zowel het model met 13 miljard parameters – getraind op meer dan 20 keer zoveel data – als het model met 600 miljoen parameters gecompromitteerd kunnen worden met net zo'n klein aantal 'vergiftigde' documenten.

"Deze bevinding zet vraagtekens bij de aanname dat een aanvaller een bepaald percentage trainingsdata moet beheren. Sterker nog, ze hebben mogelijk maar een zeer kleine vaste hoeveelheid nodig", benadrukte Anthropic.

Het bedrijf waarschuwt dat deze kwetsbaarheden ernstige risico's kunnen vormen voor de beveiliging van AI-systemen en een bedreiging kunnen vormen voor de toepassing van de technologie in gevoelige gebieden.

Terug naar het onderwerp

KHANH QUYNH

Bron: https://tuoitre.vn/anthropic-chi-luong-tai-lieu-nho-cung-du-dau-doc-mo-hinh-ai-khong-lo-20251013091401716.htm