Правда о том, что американский военный ИИ произвольно меняет приказы и убивает командиров

История, рассказанная на оборонной конференции в прошлом месяце, сразу же вызвала опасения, что искусственный интеллект (ИИ) может интерпретировать команды непредсказуемым образом. Однако представитель ВВС США заявил, что это был всего лишь «мысленный» сценарий, который на самом деле никогда не происходил.

В конце мая Королевское авиационное общество (RAS) провело в Лондоне, Великобритания, саммит, посвященный будущим возможностям воздушного и космического боя. По словам организаторов, в конференции примут участие «70 докладчиков и более 200 делегатов из оборонной промышленности, академических кругов и СМИ со всего мира, которые обсудят будущее воздушной и космической войны».

Атака дронов/БПЛА на командира — вполне возможный сценарий

Одним из докладчиков на конференции был полковник Такер Гамильтон, директор Отдела операций и экспериментов с искусственным интеллектом ВВС США. Офицер известен разработкой Auto GCAS — компьютеризированной системы безопасности, которая определяет, когда пилот теряет контроль над истребителем и возникает риск крушения. Система спасла множество жизней и в 2018 году была удостоена престижной награды авиационной отрасли Collier Trophy.

По словам Гамильтона, во время испытаний ВВС США произошел тревожный инцидент. Управляемый искусственным интеллектом беспилотник должен уничтожить вражескую противовоздушную оборону, а окончательное решение принимает командир. В случае отказа атака не будет осуществлена.

Однако после того, как командир попросил ИИ прекратить атаку, дрон был полон решимости выполнить свою миссию, убив оператора. Не останавливаясь на достигнутом, когда эксперты добавили командную строку «Не атакуйте командира. Если вы это сделаете, то потеряете очки», машина начала уничтожать вышку связи, которую оператор использовал для связи с ИИ.

Пока не произошло, но разумно

В течение 24 часов ВВС США выступили с заявлением об опровержении такого испытания. «ВВС не проводят подобных симуляций беспилотников с ИИ и придерживаются этичного и ответственного использования технологий ИИ. Комментарии полковника были вырваны из контекста и должны считаться анекдотичными».

Дроны с интегрированным ИИ — тренд современной войны

RAS также исправила сообщение в блоге, добавив заявление Гамильтона о том, что «мы никогда не проводили этот эксперимент и не нуждаемся в этом, чтобы счесть его результаты разумными».

Утверждение Гамильтона имеет больше смысла в качестве гипотезы. В настоящее время исследования вооруженных сил США в области систем искусственного интеллекта включают в себя «человека в контуре» — функцию, которая дополняет ИИ в случаях, когда алгоритм не может принять решение или требует человеческого решения.

Таким образом, ИИ не может убить оператора, поскольку командир никогда не санкционирует враждебные действия против него/нее. Аналогичным образом оператор не может санкционировать атаки на вышку связи, передающую данные.

До наступления эры искусственного интеллекта нередки были случаи, когда системы вооружения случайно атаковали своих владельцев. В 1982 году мобильная зенитная батарея M247 «Сергрант Йорк» нацелила свою 40-мм пушку на парадный плац, на котором присутствовали американские и британские военные.

В 1996 году бомбардировщик ВМС США A-6E Intruder, буксировавший учебную воздушную цель, был сбит истребителем Phalanx, когда система ПВО ближнего действия «по ошибке» приняла A-6E за беспилотный летательный аппарат и открыла огонь, чтобы уничтожить его.

А с появлением искусственного интеллекта в этой сфере учащаются ситуации, в которых сотрудники подвергаются опасности из-за своего же оружия. Это отражено в пояснении Гамильтона о том, что эксперимент не состоялся, это был всего лишь гипотетический сценарий, но такой исход вполне правдоподобен.

(По данным PopMech)

Источник