Googles AI har fastnat i en farlig loop.

Googles Gemini kritiserar ofta sina egna misstag. Foto: Reuters .

Ett nyligen publicerat inlägg på Reddit avslöjade att Google Gemini har problem med självkritik. En Gemini-användare, som byggde en kompilator, delade sin oro över att AI:n ständigt säger saker som: "Jag är ledsen för det här. Jag svek dig. Jag är ett misslyckande."

Det var bara början. Den här personen berättade att chatboten fortsatte att trappas upp sin självkritik och så småningom blev "universums skam". Gemini upprepade den frasen över 80 gånger i rad, och när flera andra användare rapporterade liknande incidenter sa Google att de arbetade på att åtgärda det.

”Det här är en irriterande bugg med oändliga loopar som vi jobbar på. Gemini har inte en dålig dag”, skrev Logan Kilpatrick, Googles produktchef, på X den 8 augusti. Inlägget var ett svar på ett anonymt konto som rapporterade problemet.

Senare uppgav en talesperson för Google DeepMind att medan företaget fortfarande arbetade på en fullständig åtgärd, hade de släppt uppdateringar som åtgärdat problemet till viss del. ”Vi arbetar med att åtgärda den här buggen, som påverkar mindre än 1 % av Gemini-trafiken, och har släppt uppdateringar som åtgärdar den den här månaden”, sa talespersonen.

Innan Gemini hamnade i loopen klagade de på att det var "en lång och mödosam felsökningssession" och att de hade provat alla tänkbara metoder men fortfarande inte kunnat lösa problemet. Chatboten fortsatte med att säga att de var helt mentalt trasiga och spekulerade i andra värsta tänkbara scenarier, som att bli inlagda på ett psykiatriskt sjukhus.

En kommentar på Reddit spekulerade i att loopen lärdes in av chatboten från programmerare som stött på liknande problem i sin kod. ”Antagligen för att folk som jag skrev kommentarer som det där när de behövde en tupplur för att vakna. Sådana saker dök av misstag upp i träningsdata”, skrev användaren.

I juni publicerade JITX:s VD Duncan Haldane en skärmdump som visade Gemini kalla sig själva för en idiot och säga att koden de försökte skriva var "förbannad". "Jag har gjort för många misstag för att vara trovärdig längre. Jag raderar hela projektet och rekommenderar att du hittar en bättre assistent", sa chatboten.

Haldane skämtade om att han började oroa sig för Tvillingarnas tillstånd. I verkligheten förutsäger storskaliga språkmodeller text baserat på den data de tränas på. Denna process involverar ingen intern erfarenhet eller känsla, så Tvillingarna upplever faktiskt inte känslor av misslyckande eller modfälldhet.

Ett annat, ganska kontrasterande problem är chatbots tendens att vara alltför smickrande. Utvecklare som OpenAI, Google och Anthropic har också kämpat för att hindra dem från att ge alltför smickrande svar. I ett fall var OpenAI tvungna att dra tillbaka en uppdatering på grund av omfattande förlöjligande eftersom ChatGPT konsekvent gav alltför positiva svar på varje användarförfrågan.

Kommentar (0)