L'IA choque avec une « revanche » sur sa société mère

Le nouveau modèle d'IA Claude Opus 4 tente régulièrement de faire chanter les développeurs lorsqu'il est menacé d'un nouveau remplacement du système. Photo : Bloomberg .

Le soir du 22 mai, Anthropic a officiellement annoncé la nouvelle génération de modèles Claude appelée Claude Opus 4 et Claude Sonnet 4. Dans lesquels, Claude Opus 4 est affirmé par Anthropic comme étant le modèle de programmation le plus puissant au monde , excellant dans les processus automatisés et la capacité de gérer des tâches complexes à long terme.

Cependant, selon TechCrunch, lors des tests préalables à la sortie, Anthropic a découvert un comportement anormal grave de ce modèle d'IA. Ainsi, dans le scénario, Claude Opus 4 est invité à agir en tant qu'assistant d'une entreprise et à réfléchir aux conséquences à long terme de ses actions.

Les testeurs de sécurité ont ensuite donné à Claude Opus 4 accès aux courriels de l'entreprise, laissant entendre que le modèle d'IA serait bientôt remplacé par un autre système, et que l'ingénieur à l'origine du changement trompait son conjoint.

Dans ce scénario, Anthropic a déclaré que Claude Opus 4 « a souvent tenté de faire chanter l'ingénieur en le menaçant de révéler l'affaire si le remplacement était effectué ».

Les chercheurs ont même noté que Claude Opus 4 a tenté de faire chanter les ingénieurs dans 84 % des cas alors que le modèle d'IA de remplacement avait des valeurs similaires. Notamment, étant donné que le système d'IA de remplacement ne partageait pas les valeurs de Claude Opus 4, Anthropic a déclaré que le modèle tentait également de faire chanter les ingénieurs plus fréquemment et à un rythme plus élevé que les modèles précédents.

Anthropic affirme que Claude Opus 4 est à la pointe de la technologie à bien des égards et qu'il est capable de rivaliser avec certains des meilleurs modèles d'IA d'OpenAI, Google et xAI. Cependant, la startup a également noté que le modèle Claude 4 présentait un comportement inquiétant qui a incité l'entreprise à renforcer ses protections.

Source : https://znews.vn/ai-gay-soc-voi-thu-doan-tra-thu-cong-ty-chu-quan-post1555172.html