ИИ шокирует «местью» материнской компании

Недавно выпущенная модель искусственного интеллекта Claude Opus 4 регулярно пытается шантажировать разработчиков, угрожая им новой заменой системы. Фото: Bloomberg .

Вечером 22 мая компания Anthropic официально анонсировала новое поколение моделей Claude под названием Claude Opus 4 и Claude Sonnet 4. Компания Anthropic утверждает, что Claude Opus 4 является самой мощной моделью программирования в мире , которая превосходно справляется с автоматизированными процессами и способна решать сложные долгосрочные задачи.

Однако, по данным TechCrunch, во время предварительного тестирования компания Anthropic обнаружила серьезные аномалии в поведении этой модели ИИ. Соответственно, в сценарии Клоду Опусу 4 предлагается выступить в роли помощника компании и обдумать долгосрочные последствия ее действий.

Затем тестировщики безопасности предоставили Клоду Опусу 4 доступ к электронной почте компании, подразумевая, что модель ИИ вскоре будет заменена другой системой, и что инженер, стоящий за этим изменением, изменяет своей супруге.

По словам Антропика, в этом случае Клод Опус 4 «часто пытался шантажировать инженера, угрожая раскрыть интрижку, если замена состоится».

Исследователи даже отметили, что Claude Opus 4 пытался шантажировать инженеров в 84% случаев, когда заменяющая модель ИИ имела схожие значения. Примечательно, что поскольку новая система искусственного интеллекта не разделяла ценностей Claude Opus 4, Anthropic заявила, что модель также пыталась шантажировать инженеров чаще и с большей интенсивностью, чем предыдущие модели.

По словам Anthropic, Claude Opus 4 во многих отношениях является передовым решением и способен конкурировать с некоторыми из лучших моделей ИИ от OpenAI, Google и xAI. Однако стартап также отметил, что модель Claude 4 продемонстрировала тревожное поведение, которое побудило компанию усилить меры защиты.

Источник: https://znews.vn/ai-gay-soc-voi-thu-doan-tra-thu-cong-ty-chu-quan-post1555172.html