La herramienta de inteligencia artificial de OpenAI para convertir voz en texto fue descubierta inventando historias

El gigante tecnológico OpenAI ha promocionado su herramienta de voz a texto Whisper como una IA con "precisión y robustez similares a las humanas". Sin embargo, Whisper tiene un defecto importante: genera textos y frases completamente falsos.

Algunos de los textos generados por IA, llamados "alucinaciones", pueden incluir comentarios raciales, lenguaje violento e incluso tratamientos médicos imaginarios. - Foto: AP

Parte del texto generado por IA es irreal, llamado “alucinatorio”, según AP, e incluye comentarios raciales, lenguaje violento e incluso tratamientos médicos imaginarios.

Alta tasa de "ilusión" en textos generados por IA

Los expertos están especialmente preocupados porque Whisper se utiliza ampliamente en muchas industrias alrededor del mundo para traducir y transcribir entrevistas, generar textos en tecnologías de consumo populares y crear subtítulos para videos.

Lo que es más preocupante es que muchos centros médicos están utilizando Whisper para transferir consultas entre médicos y pacientes, aunque OpenAI ha advertido que la herramienta no debe utilizarse en zonas de “alto riesgo”.

Es difícil determinar la magnitud real del problema, pero los investigadores e ingenieros dicen que regularmente encuentran "alucinaciones" de Whisper en su trabajo.

Un investigador de la Universidad de Michigan afirmó haber encontrado alucinaciones en ocho de cada diez transcripciones de audio que examinó. Un ingeniero informático también las encontró en aproximadamente la mitad de las transcripciones de más de 100 horas de audio que analizó. Otro desarrollador afirmó haber encontrado alucinaciones en casi la totalidad de las 26.000 grabaciones que creó con Whisper.

El problema persiste incluso con muestras de audio cortas y grabadas con claridad. Un estudio reciente realizado por informáticos detectó 187 "ilusiones" en más de 13 000 clips de audio nítidos examinados. Esta tendencia daría lugar a decenas de miles de transcripciones falsas en millones de grabaciones, según los investigadores.

Estos errores pueden tener “consecuencias muy graves”, especialmente en entornos hospitalarios, según Alondra Nelson, quien dirigió la Oficina de Ciencia y Tecnología de la Casa Blanca en la administración Biden hasta el año pasado.

“Nadie quiere un diagnóstico erróneo”, dijo Nelson, ahora profesor del Instituto de Estudios Avanzados de Princeton, Nueva Jersey. “Es necesario un estándar más alto”.

El susurro también se utiliza para crear subtítulos para personas sordas o con dificultades auditivas, una población con un riesgo especial de errores de traducción. Esto se debe a que las personas sordas o con dificultades auditivas no tienen forma de identificar los pasajes inventados "ocultos entre el resto del texto", afirma Christian Vogler, sordo y director del Programa de Accesibilidad Tecnológica de la Universidad Gallaudet.

Se recurre a OpenAI para resolver el problema

La prevalencia de estas "alucinaciones" ha llevado a expertos, defensores y exempleados de OpenAI a instar al gobierno federal a considerar la regulación de la IA. Como mínimo, OpenAI debe abordar esta deficiencia.

"Este problema tiene solución si la empresa está dispuesta a priorizarlo", dijo William Saunders, un ingeniero de investigación en San Francisco que dejó OpenAI en febrero por preocupaciones sobre la dirección de la empresa.

"Es un problema si se lanza y la gente confía tanto en sus capacidades que lo integra en todos los demás sistemas", declaró un portavoz de OpenAI. La empresa trabaja constantemente para mitigar estas ilusiones y valora los hallazgos de los investigadores, añadiendo que OpenAI incorpora la retroalimentación en las actualizaciones de los modelos.

Si bien la mayoría de los desarrolladores asumen que los motores de texto a voz pueden cometer errores tipográficos u otros errores, los ingenieros e investigadores dicen que nunca han visto un motor de texto a voz impulsado por IA que "alucine" tanto como Whisper.

Fuente: https://tuoitre.vn/cong-cu-ai-chuyen-loi-noi-thanh-van-ban-cua-openai-bi-phat-hien-bia-chuyen-20241031144507089.htm