AI-chatboter blir «gale»

I april varslet en AI-bot som håndterer teknisk støtte for Cursor, et nytt verktøy for programmerere, noen kunder om en endring i selskapets policy, og sa spesifikt at de ikke lenger hadde lov til å bruke Cursor på mer enn én datamaskin.

Kunder la ut sin sinne på forum og sosiale medier. Noen kansellerte til og med Cursor-kontoene sine. Men noen ble enda sintere da de innså hva som hadde skjedd: AI-boten hadde rapportert en endring i retningslinjene som ikke eksisterte.

«Vi har ikke en slik policy. Du kan selvfølgelig bruke Cursor på flere maskiner. Dessverre var dette et feil svar fra en AI-drevet bot», skrev Michael Truell, selskapets administrerende direktør og medgründer, i et Reddit-innlegg.

Falsk informasjon er ute av kontroll.

Mer enn to år etter lanseringen av ChatGPT bruker teknologiselskaper, kontorarbeidere og vanlige forbrukere AI-roboter til en rekke oppgaver med økende hyppighet.

Likevel finnes det ingen måte å sikre at disse systemene produserer nøyaktig informasjon. Paradoksalt nok gjør de kraftigste nye teknologiene, kjent som «inferenssystemer» fra selskaper som OpenAI, Google og DeepSeek, flere feil.

Meningsløs ChatGPT-samtale der brukeren spør om hunder bør spise frokostblanding. Foto: Reddit.

Mens matematiske ferdigheter har blitt dramatisk forbedret, har store språkmodellers (LLM-ers) evne til å fange sannheten blitt mer usikker. Overraskende nok er selv ingeniørene selv fullstendig usikre på hvorfor.

Ifølge New York Times er dagens AI-chatboter avhengige av komplekse matematiske systemer for å lære ferdigheter ved å analysere enorme mengder digitale data. De kan imidlertid ikke bestemme hva som er riktig og hva som er galt.

Derfra oppstår tilstanden av «hallusinasjon» eller selvfabrikasjon av informasjon. Faktisk, ifølge forskning, «hallusinerer» den nyeste generasjonen av LLM-er til og med mer enn noen eldre modeller.

I den siste rapporten oppdaget OpenAI spesifikt at o3-modellen «hallusinerte» da den svarte på 33 % av spørsmålene på PersonQA, selskapets interne standard for å måle nøyaktigheten av modellens kunnskap om mennesker.

Til sammenligning er dette dobbelt så høy «hallusinasjons»-rate som OpenAIs tidligere resonneringsmodeller, o1 og o3-mini, som hadde henholdsvis 16 % og 14,8 %. Samtidig presterte o4-mini-modellen enda dårligere på PersonQA, med «hallusinasjoner» i 48 % av tilfellene.

Enda mer bekymringsfullt er det at «ChatGPTs far» faktisk ikke vet hvorfor dette skjer. I den tekniske rapporten om o3 og o4-mini skriver OpenAI at «ytterligere forskning er nødvendig for å forstå hvorfor «illusjonen» blir verre» etter hvert som resonnementsmodellene skaleres.

o3 og o4-mini presterte bedre på noen områder, inkludert programmering og matte-relaterte oppgaver. Men fordi de trengte å «komme med flere utsagn enn generalisere», led begge modellene av å produsere «flere korrekte utsagn, men også flere feilaktige».

"Det vil aldri forsvinne"

I stedet for et strengt sett med regler bestemt av menneskelige ingeniører, bruker LLM-systemer matematisk sannsynlighet for å gjette det beste svaret. Så de gjør alltid en viss grad av feil.

«Til tross for vår beste innsats, vil AI-modeller alltid være vrangforestillinger. Det vil aldri forsvinne», sa Amr Awadallah, en tidligere Google-sjef.

Ifølge IBM er hallusinasjoner et fenomen der store språkmodeller (LLM-er) – vanligvis chatboter eller datasynsverktøy – mottar datamønstre som ikke eksisterer eller er ugjenkjennelige for mennesker, og dermed produserer meningsløse eller misvisende resultater. Foto: iStock.

I en detaljert artikkel om eksperimentene sa OpenAI at de trenger mer forskning for å forstå årsakene til disse resultatene.

Fordi AI-systemer lærer av mye større mengder data enn mennesker kan forstå, kan det være vanskelig å finne ut hvorfor de oppfører seg på slike måter, sier eksperter.

«Illusjoner er iboende vanligere i inferensmodeller, selv om vi aktivt jobber med å redusere forekomsten som sees i o3 og o4-mini. Vi vil fortsette å jobbe med illusjoner på tvers av alle modeller for å forbedre nøyaktighet og pålitelighet», sa Gaby Raila, en talsperson for OpenAI.

Tester fra flere uavhengige selskaper og forskere viser at hallusinasjonsraten også øker for slutningsmodeller fra selskaper som Google eller DeepSeek.

Siden slutten av 2023 har Awadallahs selskap, Vectara, sporet hvor ofte chatboter har gitt feilaktig informasjon. Selskapet ba systemene om å utføre en enkel, lett verifiserbar oppgave med å oppsummere spesifikke nyhetsartikler. Selv da fortsatte chatbotene å fabrikkere informasjon.

Mer spesifikt anslo Vectaras innledende forskning at chatboter i dette scenariet fabrikkerte informasjon i minst 3 % av tilfellene, og noen ganger så mye som 27 %.

I løpet av det siste halvannet året har selskaper som OpenAI og Google redusert disse tallene til rundt 1 eller 2 %. Andre, som San Francisco-oppstartsbedriften Anthropic, ligger på rundt 4 %.

Hallusinasjonsraten i denne testen fortsatte imidlertid å øke for slutningssystemene. Frekvensen av hallusinasjoner økte med 14,3 % for DeepSeeks R1-slutningssystem, mens OpenAIs o3 økte med 6,8 %.

Et annet problem er at inferensmodeller er utformet for å bruke tid på å «tenke» på komplekse problemer, før de kommer opp med et endelig svar.

En melding om å forhindre at AI fabrikkerer informasjon ble satt inn av Apple i den første testversjonen av macOS 15.1. Foto: Reddit/devanxd2000.

Ulempen er imidlertid at etter hvert som AI-modellen prøver å løse problemet steg for steg, blir den mer utsatt for hallusinasjoner i hvert trinn. Enda viktigere er det at feil kan hope seg opp etter hvert som modellen bruker mer tid på å tenke.

De nyeste robotene viser brukerne hvert trinn, noe som betyr at brukerne også kan se hver feil. Forskere fant også ut at tankeprosessen som en chatbot viser i mange tilfeller faktisk ikke er relatert til det endelige svaret den gir.

«Det systemet sier det antyder er ikke nødvendigvis det det faktisk tenker», sier Aryo Pradipta Gema, en AI-forsker ved University of Edinburgh og en medarbeider ved Anthropic.

Falsk informasjon er ute av kontroll.

"Det vil aldri forsvinne"

Kommentar (0)