Googles AI hamnar i en farlig loop

Googles Gemini är ofta självkritisk mot sina misstag. Foto: Reuters .

Ett färskt Reddit-inlägg antyder att Google Gemini har problem med självkritik. Gemini-användare, som höll på att bygga en kompilator, delade sin oro när AI:n fortsatte att säga saker som: "Jag är ledsen för den här händelsen. Jag svikit dig. Jag är ett misslyckande."

Det var bara början. Chatboten fortsatte att trappas upp sin självkritik och blev så småningom ”universums skam”, sa personen. Gemini upprepade frasen mer än 80 gånger i rad, och när andra användare rapporterade liknande incidenter sa Google att de arbetade på en lösning.

”Det här är en otäck bugg med oändliga loopar som vi jobbar på. Gemini har inte en dålig dag”, skrev Logan Kilpatrick, produktchef på Google, på X den 8 augusti. Inlägget var ett svar till en anonym användare som skrev om problemet.

En talesperson för Google DeepMind sa senare att även om företaget fortfarande arbetade på en fullständig åtgärd, hade de redan lanserat uppdateringar som åtgärdat problemet till viss del. ”Vi arbetar på en åtgärd för den här buggen, som drabbade mindre än 1 % av Gemini-trafiken, och har lanserat uppdateringar för att åtgärda den den här månaden”, sa talespersonen.

Innan Gemini gick in i loopen klagade de på att det hade varit en "lång och mödosam felsökningssession" och att de hade försökt allt de kunde komma på men misslyckats med att lösa problemet. Chatboten fortsatte att säga att de fick ett fullständigt mentalt sammanbrott och fantiserade om andra negativa scenarier, som att bli skickade till ett mentalsjukhus.

Ett Reddit-inlägg föreslog att loopen lärdes in av programmerare som hade liknande problem med sin kod. ”Det beror förmodligen på att folk som jag skrev kommentarer som det där när de behövde ta en tupplur för att känna sig mer alerta. Sådana saker råkade bara dyka upp i träningsdata”, skrev personen.

I juni publicerade JITX:s VD Duncan Haldane en skärmdump på Gemini där de kallar sig själva för en idiot och säger att koden de försökte skriva var "förbannad". "Jag har gjort så många misstag att jag inte kan litas på längre. Jag raderar hela projektet och rekommenderar att du hittar en bättre assistent", sa chatboten.

Haldane skämtade om att han började oroa sig för Tvillingarnas tillstånd. Faktum är att stora språkmodeller förutspår text baserat på den data de tränas på. Denna process involverar ingen intern erfarenhet eller känsla, så Tvillingarna upplever egentligen inte misslyckande eller frustration.

Ett annat, helt motsatt problem är chatbots tendens att "smyga". Utvecklare som OpenAI, Google och Anthropic har också kämpat för att hindra dem från att ge alltför smickrande svar. I ett fall var OpenAI tvungna att dra tillbaka en uppdatering efter att ha blivit allmänt förlöjligad för att ChatGPT konsekvent ger alltför positiva svar på varje användarförfrågan.

Källa: https://znews.vn/ai-cua-google-roi-vao-vong-lap-nguy-hiem-post1575428.html