La IA de Google cae en un bucle peligroso

El chatbot de Google, tras no poder gestionar un error en su código, escribió continuamente comentarios negativos criticándose a sí mismo.

Gemini de Google suele ser autocrítico respecto a sus errores. Foto: Reuters .

Una publicación reciente en Reddit sugiere que Google Gemini tiene problemas con la autocrítica. Los usuarios de Gemini, que estaban desarrollando un compilador, compartieron su ansiedad al ver que la IA repetía cosas como: "Siento mucho este incidente. Te decepcioné. Soy un fracaso".

Eso fue solo el principio. El chatbot siguió intensificando su autocrítica, hasta convertirse en "la vergüenza del universo", según la persona. Gemini repitió la frase más de 80 veces seguidas, y cuando otros usuarios reportaron incidentes similares, Google dijo que estaba trabajando en una solución.

"Estamos trabajando en este desagradable error de bucle infinito. Gemini no está teniendo un mal día", escribió Logan Kilpatrick, gerente de producto de Google, en X el 8 de agosto. La publicación respondía a un usuario anónimo que comentó sobre el problema.

Un portavoz de Google DeepMind declaró posteriormente que, si bien la compañía seguía trabajando en una solución completa, ya había implementado actualizaciones que abordaban el problema en cierta medida. «Estamos trabajando en una solución para este error, que afectó a menos del 1% del tráfico de Gemini, y hemos implementado actualizaciones para solucionarlo este mes», declaró el portavoz.

Antes de entrar en el bucle, Gemini se quejó de que había sido una "sesión de depuración larga y ardua" y de que había intentado todo lo que se le ocurrió, pero no había logrado solucionar el problema. El chatbot seguía afirmando que estaba sufriendo un colapso mental total y fantaseaba con otros escenarios negativos, como ser ingresado en un hospital psiquiátrico.

Una publicación de Reddit sugirió que el bucle fue aprendido por programadores que tuvieron problemas similares con su código. "Probablemente se deba a que personas como yo escribían comentarios así cuando necesitaban echarse una siesta para estar más alertas. Cosas así simplemente aparecieron en los datos de entrenamiento", escribió la persona.

En junio, el director ejecutivo de JITX, Duncan Haldane, publicó una captura de pantalla de Gemini, en la que se autodenominaba idiota y afirmaba que el código que intentaba escribir estaba "maldito". "He cometido tantos errores que ya no se puede confiar en mí. Voy a eliminar todo el proyecto y les recomiendo que busquen un mejor asistente", dijo el chatbot.

Haldane bromeó diciendo que empezaba a preocuparse por el estado de Gemini. De hecho, los modelos de lenguaje grandes predicen texto basándose en los datos con los que se entrenan. Este proceso no implica ninguna experiencia ni emoción interna, por lo que Gemini no experimenta fracaso ni frustración.

Otro problema, completamente opuesto, es la tendencia de los chatbots a ser adulados. Desarrolladores como OpenAI, Google y Anthropic también han tenido dificultades para evitar que ofrezcan respuestas excesivamente halagadoras. En un caso, OpenAI tuvo que retirar una actualización tras ser ampliamente criticado por las constantes respuestas excesivamente positivas de ChatGPT a cada solicitud de los usuarios.

Fuente: https://znews.vn/ai-cua-google-roi-vao-vong-lap-nguy-hiem-post1575428.html