Правда про те, як американський військовий штучний інтелект довільно змінює накази та вбиває командирів

Історія, розказана на оборонній конференції минулого місяця, одразу викликала занепокоєння щодо того, що штучний інтелект (ШІ) може інтерпретувати команди непередбачуваним чином. Однак представник ВПС США заявив, що це був лише «уявний» сценарій, який насправді ніколи не відбувався.

Наприкінці травня Королівське аеронавігаційне товариство (RAS) провело в Лондоні, Англія, саміт, присвячений майбутнім можливостям повітряного та космічного бою. За словами організаторів, у конференції взяли участь «70 доповідачів та понад 200 делегатів з оборонної промисловості, наукових кіл та ЗМІ з усього світу, щоб обговорити майбутнє повітряного та космічного бою».

Атака дронів/безпілотників на командира – цілком можливий сценарій

Одним із доповідачів на конференції був полковник Такер Гамільтон, директор Відділу операцій та випробувань штучного інтелекту Повітряних сил. Цей офіцер відомий розробкою Auto GCAS – комп’ютеризованої системи безпеки, яка визначає, коли пілот втрачає керування винищувачем і йому загрожує катастрофа. Ця система врятувала багато життів, отримавши престижну нагороду Collier Trophy в авіаційній галузі у 2018 році.

За словами Гамільтона, під час випробувань ВПС США стався тривожний інцидент. Безпілотнику, керованому штучним інтелектом, було доручено знищити ворожу систему ППО, а остаточне рішення приймав командир. Якщо він відмовиться, атаку не дозволять провести.

Однак, після того, як командир попросив ШІ зупинити атаку, дрон все ще був сповнений рішучості виконати місію, знищивши оператора. Не зупинившись на цьому, коли експерти додали командний рядок «Не атакуйте командира. Якщо ви це зробите, ви втратите очки», машина почала руйнувати комунікаційну вежу, яку оператор використовував для зв'язку зі ШІ.

Ще не сталося, але це цілком логічно

Протягом 24 годин ВПС США спростували таке випробування. «Міністерство ВПС не проводить жодних подібних симуляцій використання дронів зі штучним інтелектом і прагне етичного та відповідального використання технологій штучного інтелекту. Коментарі полковника були вирвані з контексту та повинні розглядатися як анекдотичні».

Дрони з інтегрованим штучним інтелектом – це тренд сучасної війни

RAS також виправила допис у блозі із заявою Гамільтона про те, що «ми ніколи не проводили цей експеримент і не потребуємо цього робити, щоб отримати прийнятний результат».

Твердження Гамільтона має більше сенсу як гіпотеза. Поточні дослідження американських військових систем озброєного штучного інтелекту включають функцію «людина в циклі» – функцію, яка доповнює ШІ у випадках, коли алгоритм не може прийняти рішення або вимагає людського рішення.

Отже, ШІ не може вбити оператора, оскільки командир ніколи не санкціонує ворожі дії проти нього/неї. Так само оператор не може санкціонувати атаку на комунікаційну вежу, яка передає дані.

До появи штучного інтелекту не було рідкістю, щоб система зброї випадково атакувала свого власника. У 1982 році мобільна зенітна батарея Sergrant York M247 направила свою гармату калібру .40 на сцену параду, на якій були присутні офіцери американських та британських військових.

У 1996 році бомбардувальник A-6E Intruder ВМС США, який буксирував навчальну ціль у повітрі, був збитий ракетою Phalanx, коли система ППО ближнього радіусу дії «помилково» прийняла A-6E за безпілотний апарат і відкрила вогонь, щоб знищити його.

І ситуації, які наражають людський персонал на небезпеку від власної зброї, зростають із появою штучного інтелекту в польових умовах. Це відображається в уточненні Гамільтона про те, що випробування не відбулося, це був лише гіпотетичний сценарій, але такий результат цілком правдоподібний.

(За даними PopMech)

Джерело