Hackare använder AI för att attackera Googles Gemini

Enligt BGR har en ny forskningsrapport precis publicerat en alarmerande teknik som kallas "Fun-Tuning", där AI (artificiell intelligens) används för att automatiskt skapa extremt effektiva prompt injection-attacker riktade mot andra avancerade AI-modeller, inklusive Googles Gemini.

Metoden gör det snabbare, billigare och enklare än någonsin att ”knäcka” AI, vilket markerar en ny eskalering i cybersäkerhetsstriden som involverar AI.

Faran när skurkar använder AI för att bryta AI

Prompt injection är en teknik där en motståndare smyger in skadliga instruktioner i indata för en AI-modell (t.ex. via kommentarer i källkod, dold text på webben). Målet är att "lura" AI:n att kringgå förprogrammerade säkerhetsregler, vilket leder till allvarliga konsekvenser som att läcka känslig data, tillhandahålla falsk information eller utföra andra skadliga handlingar.

Hackare använder AI för att attackera AI

FOTO: LINKEDIN SKÄRMBILD

Tidigare krävdes ofta mycket komplex och tidskrävande manuell testning för att framgångsrikt genomföra dessa attacker, särskilt på "slutna" modeller som Gemini eller GPT-4.

Men Fun-Tuning har förändrat spelet helt. Metoden, som utvecklats av ett team av forskare från flera universitet, utnyttjar på ett skickligt sätt just Tuning-applikationsprogrammeringsgränssnittet (API) som Google tillhandahåller gratis för Gemini-användare.

Genom att analysera Gemini-modellens subtila reaktioner under finjusteringen (t.ex. hur den reagerar på fel i data) kan Fun-Tuning automatiskt bestämma de mest effektiva "prefixen" och "suffixen" för att dölja ett skadligt kommando. Detta ökar avsevärt sannolikheten för att AI:n kommer att följa angriparens illvilliga avsikter.

Testresultat visar att Fun-Tuning uppnår en framgångsgrad på upp till 82 % på vissa versioner av Gemini, en siffra som överstiger de mindre än 30 % av traditionella attackmetoder.

Det som ytterligare ökar faran med Fun-Tuning är dess låga kostnad. Eftersom Googles tuning-API är fritt tillgängligt kan beräkningskostnaden för att skapa en effektiv attack vara så låg som 10 dollar. Dessutom fann forskarna att en attack designad för en version av Gemini enkelt kunde tillämpas på andra versioner, vilket öppnar upp möjligheten till utbredda attacker.

Google har bekräftat att de är medvetna om hotet från Fun-Tuning, men har ännu inte kommenterat huruvida det kommer att ändra hur tuning-API:et fungerar. Forskarna pekar också på det defensiva dilemmat: att ta bort informationen som Fun-Tuning utnyttjar från tuningprocessen skulle göra API:et mindre användbart för legitima utvecklare. Omvänt skulle det fortsätta att vara en språngbräda för skurkar att utnyttja, om man lämnar det som det är.

Framväxten av Fun-Tuning är en tydlig varning om att konfrontationen i cyberrymden har gått in i en ny, mer komplex fas. AI är nu inte bara ett mål utan också ett verktyg och vapen i händerna på illvilliga aktörer.

Källa: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm