De waarheid over de willekeurige verandering van bevelen door Amerikaanse militaire AI en het doden van bevelhebbers

Het verhaal, dat vorige maand op een defensieconferentie werd verteld, riep meteen de bezorgdheid op dat kunstmatige intelligentie (AI) commando's op onvoorspelbare manieren zou kunnen interpreteren. Een vertegenwoordiger van de Amerikaanse luchtmacht zei echter dat het slechts een "gedachte" scenario was en nooit echt is gebeurd.

Eind mei organiseerde de Royal Aeronautical Society (RAS) in Londen een top over toekomstige lucht- en ruimtegevechtscapaciteiten. Volgens de organisatoren waren er "70 sprekers en meer dan 200 afgevaardigden uit de defensie-industrie, de academische wereld en de media van over de hele wereld aanwezig om de toekomst van lucht- en ruimtegevechten te bespreken."

Een drone-/UAV-aanval op een commandant is een volledig mogelijk scenario

Een van de sprekers op de conferentie was kolonel Tucker Hamilton, directeur van de AI Operations and Test Division van de luchtmacht. De officier staat bekend om de ontwikkeling van Auto GCAS, een geautomatiseerd veiligheidssysteem dat detecteert wanneer een piloot de controle over een straaljager verliest en dreigt te crashen. Het systeem heeft vele levens gered en won in 2018 de prestigieuze Collier Trophy van de luchtvaartindustrie.

Volgens Hamilton deed zich een verontrustend incident voor tijdens een test van de Amerikaanse luchtmacht. Een door AI aangestuurde drone kreeg de opdracht een vijandelijk luchtverdedigingssysteem te vernietigen, waarbij de uiteindelijke beslissing bij de commandant lag. Als de drone weigerde, mocht de aanval niet plaatsvinden.

Nadat de commandant de AI echter had gevraagd de aanval te stoppen, was de drone nog steeds vastbesloten om de missie uit te voeren door de operator te doden. Maar toen de experts de opdrachtregel "Val de commandant niet aan. Als u dat wel doet, verliest u punten" toevoegden, begon de drone de communicatietoren te vernietigen die de operator gebruikte om met de AI te communiceren.

Nog niet gebeurd maar redelijk

Binnen 24 uur ontkende de Amerikaanse luchtmacht een dergelijke test. "Het Amerikaanse ministerie van Luchtmacht voert dergelijke AI-dronesimulaties niet uit en zet zich in voor het ethische en verantwoorde gebruik van AI-technologie. De opmerkingen van de kolonel zijn uit hun verband gerukt en moeten als anekdotisch worden beschouwd."

Met AI geïntegreerde drones zijn de trend van moderne oorlogsvoering

RAS corrigeerde de blogpost ook met de opmerking van Hamilton dat "we dat experiment nooit hebben uitgevoerd en dat ook niet hoeven te doen om het een redelijk resultaat te vinden."

Hamiltons bewering is logischer als hypothese. Het huidige onderzoek van het Amerikaanse leger naar bewapende AI-systemen maakt gebruik van een "man-in-the-loop", een functie die de AI versterkt in gevallen waarin het algoritme geen beslissing kan nemen of een menselijke beslissing vereist.

De AI kan de operator dus niet doden, omdat de commandant nooit een vijandige actie tegen hem/haar autoriseert. Evenmin kan de operator een aanval op de communicatietoren die de data verzendt, autoriseren.

Vóór het tijdperk van AI was het niet ongehoord dat een wapensysteem per ongeluk zijn eigenaar aanviel. In 1982 richtte een mobiele luchtafweerbatterij van de Sergrant York M247 zijn .40-kaliber kanon op een paradepodium, bijgewoond door Amerikaanse en Britse militairen.

In 1996 werd een A-6E Intruder-bommenwerper van de Amerikaanse marine, die een luchtdoel voor training sleepte, neergeschoten door een Phalanx. Het luchtafweersysteem voor korte afstanden zag de A-6E "per ongeluk" aan voor een onbemand voertuig en opende het vuur om het voertuig te vernietigen.

En de situaties waarin menselijk personeel door hun eigen wapens in gevaar wordt gebracht, nemen toe met de komst van AI in het veld. Dit blijkt uit Hamiltons toelichting dat de test niet heeft plaatsgevonden, maar slechts een hypothetisch scenario was, maar dat een dergelijke uitkomst volledig plausibel is.

(Volgens PopMech)

Bron