OpenAIs tale-til-tekst AI-verktøy tatt i å fabrikere historier

Teknologigiganten OpenAI omtalte tale-til-tekst-verktøyet Whisper som en AI med «menneskelig nøyaktighet og robusthet». Men Whisper hadde én stor svakhet: Den genererte tekst og setninger som var fullstendig falske.

Noe av den AI-genererte teksten – kalt «hallusinasjoner» – kan inneholde rasistiske kommentarer, voldelig språk og til og med imaginære medisinske behandlinger – Foto: AP

Noe av den AI-genererte teksten er såkalt «hallusinatorisk», sier eksperter, ifølge AP, inkludert rasistiske kommentarer, voldelig språk og til og med imaginære medisinske behandlinger.

Høy andel av «illusjoner» i AI-genererte tekster

Eksperter er spesielt bekymret fordi Whisper er mye brukt i mange bransjer rundt om i verden for å oversette og transkribere intervjuer, generere tekst i populære forbrukerteknologier og lage undertekster for videoer.

Enda mer bekymringsfullt er det at mange medisinske sentre bruker Whisper til å overføre konsultasjoner mellom leger og pasienter, selv om OpenAI har advart om at verktøyet ikke bør brukes i «høyrisiko»-områder.

Det fulle omfanget av problemet er vanskelig å fastslå, men forskere og ingeniører sier at de jevnlig støter på Whisper-"hallusinasjoner" i arbeidet sitt.

En forsker ved University of Michigan sa at han fant «hallusinasjoner» i åtte av ti lydtranskripsjoner han undersøkte. En dataingeniør fant «hallusinasjoner» i omtrent halvparten av transkripsjonene av mer enn 100 timer med lyd han analyserte. En annen utvikler sa at han fant «hallusinasjoner» i nesten alle de 26 000 opptakene han laget med Whisper.

Problemet vedvarer selv med korte, tydelig innspilte lydklipp. En fersk studie utført av informatikere fant 187 «illusjoner» i mer enn 13 000 klare lydklipp de undersøkte. Denne tendensen ville føre til titusenvis av falske transkripsjoner i millioner av innspillinger, sa forskerne.

Slike feil kan ha «svært alvorlige konsekvenser», spesielt på sykehus, ifølge Alondra Nelson, som ledet Det hvite hus' kontor for vitenskap og teknologi under Biden-administrasjonen frem til i fjor.

«Ingen ønsker en feildiagnose», sa Nelson, nå professor ved Institute for Advanced Study i Princeton, New Jersey. «Det må være en høyere standard.»

Hvisking brukes også til å lage teksting for døve og tunghørte – en befolkningsgruppe som er spesielt utsatt for feiloversettelser. Dette er fordi døve og tunghørte personer ikke har noen måte å identifisere fabrikkerte passasjer «skjult i all den andre teksten», sier Christian Vogler, som er døv og direktør for Technology Accessibility Program ved Gallaudet University.

OpenAI er kalt inn for å løse problemet

Utbredelsen av slike «hallusinasjoner» har ført til at eksperter, forkjempere og tidligere OpenAI-ansatte har oppfordret den føderale regjeringen til å vurdere AI-forskrifter. Som et minimum må OpenAI ta tak i denne feilen.

«Dette problemet er løsbart hvis selskapet er villig til å prioritere det», sa William Saunders, en forskningsingeniør i San Francisco som forlot OpenAI i februar på grunn av bekymringer om selskapets retning.

«Det ville være et problem hvis du la det ut der, og folk ble så sikre på hva det kan gjøre at de integrerer det i alle disse andre systemene.» En talsperson for OpenAI sa at selskapet kontinuerlig jobber med måter å redusere «illusjonene» på, og setter pris på forskernes funn, og la til at OpenAI innlemmer tilbakemeldinger i modelloppdateringer.

Mens de fleste utviklere antar at tekst-til-tale-verktøy kan gjøre skrivefeil eller andre feil, sier ingeniører og forskere at de aldri har sett et AI-drevet tekst-til-tale-verktøy som «hallusinerer» så mye som Whisper.

Kilde: https://tuoitre.vn/cong-cu-ai-chuyen-loi-noi-thanh-van-ban-cua-openai-bi-phat-hien-bia-chuyen-20241031144507089.htm