AI-tal-till-text-verktyg "förvränger" också

(CLO) OpenAIs tal-till-text-verktyg Whisper marknadsförs som "näst intill robust och korrekt på mänsklig nivå", men har en stor nackdel: Det är benäget att fabricera textsnuttar eller till och med hela meningar!

En del av texterna den fabricerar, kända i branschen som hallucinatoriska, kan innehålla rasistiska kommentarer, våld och till och med imaginära medicinska behandlingar, säger experter.

Experter menar att sådana påhitt är allvarliga eftersom Whisper används i många branscher runt om i världen för att översätta och transkribera intervjuer, generera text och texta videor.

Ännu mer oroande är att vårdcentraler använder Whisper-baserade verktyg för att spela in patient-läkarkonsultationer, trots OpenAI:s varning om att verktyget inte bör användas i "högriskområden".

Meningar som börjar med "#Groundtruth" är vad som faktiskt sades, meningar som börjar med "#text" är vad Whisper transkriberade. Foto: AP

Forskare och ingenjörer säger att Whisper ofta framkallar hallucinationer under användning. Till exempel sa en forskare vid University of Michigan att han hittade hallucinationer i åtta av tio inspelningar han undersökte.

En tidig maskininlärningsingenjör fann manipulation i ungefär hälften av de mer än 100 timmar Whisper-transkript han analyserade. En tredje utvecklare sa att han hittade hallucinationer i nästan varenda en av de 26 000 transkript som skapats med Whisper.

Illusionen kvarstår även i korta, välinspelade ljudklipp. En nyligen genomförd studie av datavetare fann 187 distorsioner i mer än 13 000 tydliga ljudklipp som de undersökte.

Den trenden skulle leda till tiotusentals fel över miljontals inspelningar, sa forskarna.

Sådana misstag kan få ”verkligen allvarliga konsekvenser”, särskilt i en sjukhusmiljö, säger Alondra Nelson, professor vid School of Social Sciences vid Institute for Advanced Study.

"Ingen vill få en feldiagnos. Det måste finnas en högre barriär", sa Nelson.

Professorerna Allison Koenecke vid Cornell University och Mona Sloane vid University of Virginia undersökte tusentals korta utdrag som de hämtat från TalkBank, ett forskningsarkiv som finns vid Carnegie Mellon University. De konstaterade att nästan 40 % av hallucinationerna var skadliga eller störande eftersom talaren kunde missförstås eller framställas felaktigt.

En talare i en inspelning beskrev "två andra flickor och en kvinna", men Whisper fabricerade ytterligare rasistiska kommentarer och tillade "två andra flickor och en kvinna, eh, som var svart".

I en annan transkription uppfann Whisper ett icke-existerande läkemedel som kallas "antibiotika med ökad aktivitet".

Medan de flesta utvecklare erkänner att transkriptionsverktyg kan göra felstavningar eller andra fel, säger ingenjörer och forskare att de aldrig har sett ett AI-drivet transkriptionsverktyg så hallucinogent som Whisper.

Verktyget är integrerat i flera versioner av OpenAI:s flaggskeppschattbot, ChatGPT, och är en integrerad tjänst i Oracles och Microsofts molntjänstplattform, som betjänar tusentals företag världen över. Det används också för att transkribera och översätta text till många språk.

Ngoc Anh (enligt AP)

Källa: https://www.congluan.vn/cong-cu-chuyen-giong-noi-thanh-van-ban-ai-cung-co-the-xuyen-tac-post319008.html