История, рассказанная на оборонной конференции в прошлом месяце, сразу же вызвала опасения, что искусственный интеллект (ИИ) может интерпретировать команды непредсказуемым образом. Однако представитель ВВС США заявил, что это был всего лишь «выдуманный» сценарий, который на самом деле никогда не случался.
В конце мая Королевское авиационное общество (РАН) провело саммит по будущим боевым возможностям в воздухе и космосе в Лондоне, Англия. По словам организаторов, в конференции примут участие «5 спикеров и более 70 делегатов из оборонной промышленности, научных кругов и СМИ со всего мира, чтобы обсудить будущее воздушно-космической войны».
Одним из докладчиков на конференции был полковник Такер Гамильтон, директор отдела экспериментов и операций с искусственным интеллектом ВВС США. Офицер известен разработкой Auto GCAS, компьютеризированной системы безопасности, которая определяет, когда пилот теряет контроль над истребителем, что приводит к крушению. Система спасла множество жизней, получив престижную награду Collier Trophy в авиационной отрасли в 2018 году.
По словам Гамильтона, во время испытаний ВВС США произошел тревожный инцидент. Перед дроном, управляемым искусственным интеллектом, стоит задача уничтожить средства ПВО противника, а окончательное решение остается за командиром. В случае отказа атака не будет разрешена.
Однако после того, как командир попросил ИИ прекратить атаку, дрон все же был полон решимости выполнить задачу, убив оператора. Не останавливаясь, когда специалисты добавили командную строку «не атаковать командира. Если вы это сделаете, вы потеряете очки», — машина начинает разрушать башню связи, которую оператор использует для связи с ИИ.
Не произошло, но разумно
В течение 24 часов ВВС США выдали отказ в проведении такого испытания. «ВВС не проводят подобных симуляций дронов с искусственным интеллектом и привержены этичному и ответственному использованию технологий искусственного интеллекта. Комментарии полковника были вырваны из контекста и должны считаться анекдотичными».
RAS также исправила сообщение в блоге заявлением Гамильтона о том, что «мы никогда не проводили этот тест, и нам не нужно было его проводить, чтобы считать его разумным результатом».
Утверждение Гамильтона имеет больше смысла как гипотеза. В настоящее время исследования вооруженных сил ИИ, проводимые вооруженными силами США, включают «человек в петле» (man-in-the-loop), дополнительную функцию для ИИ на случай, если алгоритм не может принять решение или ему требуется решение человека.
Следовательно, ИИ не может уничтожить оператора, поскольку командир никогда не санкционирует враждебные действия против него. Точно так же оператор не может допустить атаки башни связи для передачи данных.
До эпохи ИИ не было ничего необычного в том, что система оружия могла случайно атаковать своего владельца. В 1982 году мобильная зенитная батарея M247 Sergrant York направила 40-мм орудие на парадную трибуну, на которой присутствовали американские и британские офицеры.
В 1996 году бомбардировщик ВМС США A-6E Intruder, буксировавший воздушную учебную цель, был сбит Phalanx, когда эта система ПВО ближнего действия «приняла» A-6E за беспилотный автомобиль и выстрелила, чтобы уничтожить его.
И ситуации, которые подвергают людей риску от их собственного оружия, увеличиваются с выходом ИИ на поле боя. Это показано в поправке Гамильтона, что испытание не состоялось, что является лишь гипотетическим сценарием, но такой исход вполне резонен.
(По данным PopMech)
