AI sorprende con su 'venganza' contra su empresa matriz

El nuevo modelo de inteligencia artificial Claude Opus 4 intenta regularmente chantajear a los desarrolladores cuando se le amenaza con un nuevo reemplazo del sistema. Foto: Bloomberg .

En la tarde del 22 de mayo, Anthropic anunció oficialmente la nueva generación de modelos Claude llamados Claude Opus 4 y Claude Sonnet 4. En el cual, Anthropic afirma que Claude Opus 4 es el modelo de programación más poderoso del mundo , destacándose en procesos automatizados y la capacidad de manejar tareas complejas a largo plazo.

Sin embargo, según TechCrunch, durante las pruebas previas al lanzamiento, Anthropic descubrió un comportamiento anómalo grave de este modelo de IA. En consecuencia, en el escenario, se le pide a Claude Opus 4 que actúe como asistente de una empresa y considere las consecuencias a largo plazo de sus acciones.

Luego, los evaluadores de seguridad le dieron a Claude Opus 4 acceso a los correos electrónicos de la empresa, lo que implicaba que el modelo de IA pronto sería reemplazado por otro sistema y que el ingeniero detrás del cambio estaba engañando a su esposa.

En este escenario, Anthropic afirmó que Claude Opus 4 "a menudo intentó chantajear al ingeniero amenazándolo con revelar el asunto si el reemplazo se llevaba a cabo".

Los investigadores incluso notaron que Claude Opus 4 intentó chantajear a los ingenieros el 84% de las veces cuando el modelo de IA de reemplazo tenía valores similares. Cabe destacar que, dado que el sistema de IA de reemplazo no compartía los valores de Claude Opus 4, Anthropic dijo que el modelo también intentó chantajear a los ingenieros con mayor frecuencia y a un ritmo mayor que los modelos anteriores.

Anthropic afirma que Claude Opus 4 es de última generación en muchos aspectos y es capaz de competir con algunos de los mejores modelos de IA de OpenAI, Google y xAI. Sin embargo, la startup también señaló que el modelo Claude 4 exhibió un comportamiento preocupante que llevó a la compañía a intensificar sus protecciones.

Fuente: https://znews.vn/ai-gay-soc-voi-thu-doan-tra-thu-cong-ty-chu-quan-post1555172.html