Hackare använder AI för att attackera Googles Gemini

Enligt BGR har en ny forskningsrapport precis publicerat en alarmerande teknik som kallas "Fun-Tuning", som använder AI (artificiell intelligens) för att automatiskt skapa extremt effektiva snabba injektionsattacker riktade mot andra avancerade AI-modeller, inklusive Googles Gemini.

Metoden gör det snabbare, billigare och enklare än någonsin att ”knäcka” AI, vilket markerar en ny eskalering i det AI-relaterade cybersäkerhetskriget.

Faran när skurkar använder AI för att bryta AI

Prompt injection är en teknik där en motståndare smyger in skadliga instruktioner i indata för en AI-modell (t.ex. genom kommentarer i källkod, dold text på webben). Målet är att "lura" AI:n och tvinga den att kringgå förprogrammerade säkerhetsregler, vilket leder till allvarliga konsekvenser som att läcka känsliga data, tillhandahålla falsk information eller utföra andra farliga beteenden.

Hackare använder AI för att attackera AI

FOTO: LINKEDIN SKÄRMBILD

Tidigare krävdes ofta mycket komplex och tidskrävande manuell testning för att framgångsrikt utföra dessa attacker, särskilt på "slutna" modeller som Gemini eller GPT-4.

Men Fun-Tuning har förändrat spelet helt. Metoden, utvecklad av ett team av forskare från flera universitet, utnyttjar på ett skickligt sätt det mycket finjusterande applikationsprogrammeringsgränssnittet (API) som Google tillhandahåller gratis för Gemini-användare.

Genom att analysera Gemini-modellens subtila reaktioner under finjusteringen (t.ex. hur den reagerar på datafel) kan Fun-Tuning automatiskt bestämma de mest effektiva "prefixen" och "suffixen" för att maskera ett skadligt kommando. Detta ökar avsevärt sannolikheten för att AI:n kommer att följa en angripares skadliga avsikter.

Testresultat visar att Fun-Tuning uppnår en framgångsgrad på upp till 82 % på vissa versioner av Gemini, en siffra som överstiger de mindre än 30 % av traditionella attackmetoder.

Det som gör Fun-Tuning ännu farligare är dess låga kostnad. Eftersom Googles tuning-API är fritt tillgängligt kan beräkningskostnaden för att skapa en effektiv attack vara så låg som 10 dollar. Dessutom fann forskarna att en attack designad för en version av Gemini enkelt kunde tillämpas framgångsrikt på andra versioner, vilket öppnar upp möjligheten till utbredda attacker.

Google har bekräftat att de är medvetna om hotet från Fun-Tuning, men har ännu inte kommenterat huruvida de kommer att ändra hur tuning-API:et fungerar. Teamet påpekar också det defensiva dilemmat: att ta bort informationen som Fun-Tuning utnyttjar från tuningprocessen skulle göra API:et mindre användbart för legitima utvecklare. Omvänt skulle det fortsätta att vara en språngbräda för skurkar att utnyttja, om de lämnades som de var.

Framväxten av Fun-Tuning är en tydlig varning om att konfrontationen i cyberrymden har gått in i en ny, mer komplex fas. AI är nu inte bara ett mål utan också ett verktyg och vapen i händerna på illvilliga aktörer.

Källa: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm