OpenAIs tal-till-text AI-verktyg ertappat med att fabricera historier

Teknikjätten OpenAI marknadsförde sitt tal-till-text-verktyg Whisper som en AI med "mänsklig noggrannhet och robusthet". Men Whisper hade en stor brist: Den genererade text och meningar som var helt falska.

En del av den AI-genererade texten – kallad ”hallucinationer” – kan innehålla rasistiska kommentarer, våldsamt språk och till och med påhittade medicinska behandlingar – Foto: AP

En del av den AI-genererade texten är så kallad "hallucinatorisk", säger experter, enligt AP, inklusive rasistiska kommentarer, våldsamt språk och till och med imaginära medicinska behandlingar.

Hög andel "illusioner" i AI-genererade texter

Experter är särskilt oroade eftersom Whisper används flitigt i många branscher runt om i världen för att översätta och transkribera intervjuer, generera text i populära konsumenttekniker och skapa undertexter för videor.

Ännu mer oroande är att många vårdcentraler använder Whisper för att överföra konsultationer mellan läkare och patienter, även om OpenAI har varnat för att verktyget inte bör användas i "högriskområden".

Problemets fulla omfattning är svår att fastställa, men forskare och ingenjörer säger att de regelbundet stöter på Whisper-"hallucinationer" i sitt arbete.

En forskare vid University of Michigan sa att han hittade ”hallucinationer” i åtta av tio ljudtranskriptioner han undersökte. En dataingenjör hittade ”hallucinationer” i ungefär hälften av transkriptionerna av mer än 100 timmar ljud han analyserade. En annan utvecklare sa att han hittade ”hallucinationer” i nästan alla de 26 000 inspelningar han skapade med Whisper.

Problemet kvarstår även med korta, tydligt inspelade ljudklipp. En nyligen genomförd studie av datavetare fann 187 "illusioner" i mer än 13 000 tydliga ljudklipp som de undersökte. Denna tendens skulle leda till tiotusentals falska transkriptioner i miljontals inspelningar, sa forskarna.

Sådana fel kan få ”mycket allvarliga konsekvenser”, särskilt på sjukhus, enligt Alondra Nelson, som ledde Vita husets kontor för vetenskap och teknologi under Biden-administrationen fram till förra året.

”Ingen vill ha en feldiagnos”, sa Nelson, numera professor vid Institute for Advanced Study i Princeton, New Jersey. ”Det måste finnas en högre standard.”

Whisper används också för att skapa textning för döva och hörselskadade – en befolkningsgrupp som är särskilt utsatt för felöversättningar. Detta beror på att döva och hörselskadade personer inte har något sätt att identifiera påhittade avsnitt "dolda i all annan text", säger Christian Vogler, som är döv och chef för Technology Accessibility Program vid Gallaudet University.

OpenAI används för att lösa problemet

Förekomsten av sådana "hallucinationer" har lett till att experter, förespråkare och tidigare OpenAI-anställda har uppmanat den federala regeringen att överväga AI-regleringar. Som ett minimum måste OpenAI åtgärda denna brist.

"Det här problemet är lösbart om företaget är villigt att prioritera det", säger William Saunders, en forskningsingenjör i San Francisco som lämnade OpenAI i februari på grund av oro över företagets inriktning.

”Det skulle vara ett problem om man publicerade det och folk blev så säkra på vad det kan göra att de integrerade det i alla dessa andra system.” En talesperson för OpenAI sa att företaget ständigt arbetar med sätt att mildra ”illusionerna” och uppskattar forskarnas resultat, och tillade att OpenAI införlivar feedback i modelluppdateringar.

Medan de flesta utvecklare antar att text-till-tal-verktyg kan göra stavfel eller andra misstag, säger ingenjörer och forskare att de aldrig har sett ett AI-drivet text-till-tal-verktyg som "hallucinerar" så mycket som Whisper.

Källa: https://tuoitre.vn/cong-cu-ai-chuyen-loi-noi-thanh-van-ban-cua-openai-bi-phat-hien-bia-chuyen-20241031144507089.htm