Правда о том, что американский военный ИИ произвольно меняет приказы и убивает командиров

История, рассказанная на оборонной конференции в прошлом месяце, сразу же вызвала опасения, что искусственный интеллект (ИИ) может интерпретировать команды непредсказуемым образом. Однако представитель ВВС США заявил, что это был всего лишь «мысленный» сценарий, который никогда не реализовывался на практике.

В конце мая Королевское авиационное общество (RAS) провело в Лондоне (Англия) саммит, посвящённый будущим боевым возможностям в воздухе и космосе. По словам организаторов, в конференции приняли участие «70 докладчиков и более 200 делегатов из оборонной промышленности, академических кругов и СМИ со всего мира, которые обсудили будущее боевых действий в воздухе и космосе».

Нападение дронов/БПЛА на командира — вполне возможный сценарий

Одним из докладчиков на конференции был полковник Такер Гамильтон, директор Управления эксплуатации и испытаний искусственного интеллекта ВВС США. Этот офицер известен разработкой Auto GCAS — компьютеризированной системы безопасности, которая определяет, когда пилот теряет управление истребителем и существует риск его крушения. Эта система спасла множество жизней и была удостоена престижной авиационной награды Collier Trophy в 2018 году.

По словам Гамильтона, во время испытаний ВВС США произошёл тревожный инцидент. Беспилотнику с искусственным интеллектом было поручено уничтожить систему ПВО противника, при этом окончательное решение принимал командир. В случае отказа атака не проводилась.

Однако после того, как командир попросил ИИ прекратить атаку, дрон всё ещё был полон решимости выполнить задание, убив оператора. Не остановившись на достигнутом, эксперты добавили команду «Не атакуйте командира. В противном случае вы потеряете очки», и машина начала уничтожать вышку связи, через которую оператор общался с ИИ.

Пока не произошло, но разумно

В течение 24 часов ВВС США выступили с опровержением подобных испытаний. «Министерство ВВС не проводит подобных имитаций дронов с искусственным интеллектом и привержено этичному и ответственному использованию технологий искусственного интеллекта. Комментарии полковника были вырваны из контекста и должны рассматриваться как неподтверждённые».

Беспилотники с интегрированным ИИ — тренд современной войны

RAS также исправила сообщение в блоге, добавив заявление Гамильтона о том, что «мы никогда не проводили этот эксперимент и не нуждаемся в нем, чтобы счесть его результаты разумными».

Утверждение Гамильтона имеет больше смысла в качестве гипотезы. Текущие исследования американских военных в области систем искусственного интеллекта на вооружении включают в себя «человека в контуре» — функцию, которая дополняет возможности ИИ в случаях, когда алгоритм не может принять решение или требует решения человека.

Следовательно, ИИ не может убить оператора, поскольку командир никогда не санкционирует враждебные действия против него. Аналогично, оператор не может санкционировать атаку на вышку связи, передающую данные.

До эпохи искусственного интеллекта нередки были случаи, когда оружейная система случайно атаковала своего владельца. В 1982 году мобильная зенитная батарея M247 «Сергрант Йорк» направила своё орудие 40-го калибра на парадную сцену, где присутствовали американские и британские военные.

В 1996 году бомбардировщик ВМС США A-6E Intruder, буксировавший учебную воздушную цель, был сбит истребителем Phalanx, когда система ПВО ближнего радиуса действия «по ошибке» приняла A-6E за беспилотный летательный аппарат и открыла огонь, чтобы уничтожить его.

И с появлением искусственного интеллекта растёт число ситуаций, в которых люди подвергаются риску от своего собственного оружия. Это отражено в пояснении Гамильтона о том, что испытания не проводились, а были лишь гипотетическим сценарием, но такой исход вполне вероятен.

(По данным PopMech)

Источник