Los chatbots de IA se están volviendo cada vez más "locos".

Una nueva ola de sistemas de "inferencia" de empresas como OpenAI está haciendo que la desinformación sea más frecuente. Lo peligroso es que estas empresas tampoco saben por qué.

En abril, un bot de IA encargado del soporte técnico de Cursor, una herramienta en auge para programadores, notificó a algunos clientes sobre un cambio en la política de la empresa. En concreto, la notificación indicaba que ya no se les permitía usar Cursor en más de un ordenador.

En foros y redes sociales, los clientes expresaron su enojo. Algunos incluso cancelaron sus cuentas de Cursor. Sin embargo, otros se enfurecieron aún más al darse cuenta de lo sucedido: el bot de IA había anunciado un cambio de política inexistente.

"No tenemos esa política. Por supuesto, puedes usar Cursor en varias máquinas. Lamentablemente, esta es una respuesta incorrecta de un bot asistido por IA", escribió Michael Truell, director ejecutivo y cofundador de la empresa, en una publicación de Reddit.

La difusión de noticias falsas es desenfrenada y descontrolada.

Más de dos años después del surgimiento de ChatGPT, las empresas de tecnología, los trabajadores de oficina y los consumidores comunes están utilizando bots de IA para una variedad de tareas con una frecuencia cada vez mayor.

Sin embargo, aún no hay forma de garantizar que estos sistemas generen información precisa. Paradójicamente, las tecnologías más nuevas y potentes, también conocidas como sistemas de "inferencia", de empresas como OpenAI, Google y DeepSeek, están produciendo más errores.

Una conversación absurda en ChatGPT donde un usuario pregunta si debería darle cereal a su perro. Foto: Reddit.

En contraste con la significativa mejora en las habilidades matemáticas, la capacidad de los grandes modelos de lenguaje (LLM) para comprender la verdad se ha vuelto más precaria. Sorprendentemente, incluso los propios ingenieros están completamente desconcertados por el motivo.

Según el New York Times , los chatbots de IA actuales se basan en sistemas matemáticos complejos para aprender habilidades mediante el análisis de cantidades masivas de datos numéricos. Sin embargo, no pueden determinar qué está bien y qué está mal.

De ahí surge el fenómeno de la alucinación o la autoinventiva. De hecho, según estudios, la generación más reciente de LLM experimenta alucinaciones con mayor frecuencia que algunos modelos más antiguos.

En concreto, en su último informe, OpenAI descubrió que el modelo o3 era "ilusorio" al responder al 33% de las preguntas de PersonQA, el estándar interno de la compañía para medir la precisión del conocimiento que un modelo tiene de los humanos.

A modo de comparación, esta cifra duplica la tasa de "ilusión" de los modelos de razonamiento anteriores de OpenAI, o1 y o3-mini, que fueron del 16 % y el 14,8 %, respectivamente. Por otro lado, el modelo o4-mini obtuvo un rendimiento aún peor en PersonQA, experimentando "ilusión" durante el 48 % de la prueba.

Lo que es más preocupante, el "padre de ChatGPT" desconoce la causa de esto. En concreto, en su informe técnico sobre o3 y o4-mini, OpenAI afirma que se necesita más investigación para comprender por qué las 'alucinaciones' empeoran al escalar los modelos de razonamiento.

o3 y o4-mini tienen un mejor rendimiento en algunas áreas, como programación y tareas matemáticas. Sin embargo, dado que necesitan formular más afirmaciones que las generales, ambos modelos han dado como resultado afirmaciones más precisas, pero también más imprecisas.

"Eso nunca desaparecerá."

En lugar de un conjunto estricto de reglas definidas por ingenieros humanos, los sistemas LLM utilizan probabilidades matemáticas para predecir la mejor respuesta. Por lo tanto, siempre cometerán un cierto número de errores.

"A pesar de nuestros mejores esfuerzos, los modelos de IA siempre estarán sujetos a ilusiones. Eso nunca desaparecerá", dijo Amr Awadallah, ex ejecutivo de Google.

Según IBM, las alucinaciones son fenómenos en los que los grandes modelos de lenguaje (LLM), a menudo chatbots o herramientas de visión artificial, reciben patrones de datos inexistentes o irreconocibles para los humanos, lo que produce resultados sin sentido o inexactos. Imagen: iStock.

En un artículo detallado sobre los experimentos, OpenAI afirmó que necesita más investigación para comprender la causa de estos resultados.

Según los expertos, debido a que los sistemas de IA aprenden de cantidades de datos mucho mayores que las que los humanos pueden comprender, se vuelve muy difícil determinar por qué se comportan como lo hacen.

"La ilusión es inherentemente más común en los modelos de inferencia, aunque estamos trabajando activamente para reducir la tasa observada en o3 y o4-mini. Continuaremos estudiando la ilusión en todos los modelos para mejorar la precisión y la confiabilidad", afirmó Gaby Raila, portavoz de OpenAI.

Pruebas realizadas por numerosas empresas e investigadores independientes muestran que la tasa de alucinaciones también está aumentando en los modelos de inferencia de empresas como Google o DeepSeek.

Desde finales de 2023, la empresa de Awadallah, Vectara, ha estado monitoreando la frecuencia con la que los chatbots difunden desinformación. La empresa encargó a estos sistemas una tarea sencilla y fácilmente verificable: resumir artículos específicos. Aun así, los chatbots falsificaron información de forma persistente.

En concreto, la investigación inicial de Vectara estimó que, bajo esta hipótesis, los chatbots fabricaban información en al menos el 3% de los casos, y a veces hasta en el 27%.

En el último año y medio, empresas como OpenAI y Google han reducido esas cifras a alrededor del 1% o 2%. Otras, como la startup Anthropic de San Francisco, rondan el 4%.

Sin embargo, la tasa de alucinaciones en este experimento continuó aumentando en los sistemas de razonamiento. El sistema de razonamiento R1 de DeepSeek experimentó un 14,3 % de alucinaciones, mientras que el o3 de OpenAI aumentó un 6,8 %.

Otro problema es que los modelos de inferencia están diseñados para dedicar tiempo a "pensar" en problemas complejos antes de llegar a una respuesta final.

Apple incluyó un aviso para evitar que la IA fabrique información en la primera versión beta de macOS 15.1. Imagen: Reddit/devanxd2000.

Sin embargo, la desventaja es que, al intentar resolver un problema paso a paso, el modelo de IA es más propenso a experimentar alucinaciones en cada paso. Y lo que es más importante, los errores pueden acumularse a medida que el modelo dedica más tiempo a pensar.

Los bots más recientes muestran cada paso al usuario, lo que significa que también pueden ver cada error. Los investigadores también descubrieron que, en muchos casos, el proceso de pensamiento que muestra un chatbot no está relacionado con la respuesta final que proporciona.

"Lo que el sistema dice que está razonando no es necesariamente lo que realmente está pensando", afirma Aryo Pradipta Gema, investigador de IA en la Universidad de Edimburgo y colaborador de Anthropic.

Fuente: https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html