Sanningen om amerikansk militär AI som godtyckligt ändrar order och dödar befälhavare

[annons_1]

Historien, som berättades vid en försvarskonferens förra månaden, väckte omedelbart oro för att artificiell intelligens (AI) skulle kunna tolka kommandon på oförutsägbara sätt. En representant för det amerikanska flygvapnet sa dock att det bara var ett "tankescenario" och aldrig hade hänt i verkligheten.

I slutet av maj höll Royal Aeronautical Society (RAS) ett toppmöte om framtida luft- och rymdstridskapacitet i London, England. Enligt arrangörerna inkluderade konferensen "70 talare och mer än 200 delegater från försvarsindustrin, den akademiska världen och media från hela världen för att diskutera framtiden för luft- och rymdstrid."

Drönar-/UAV-attack mot befälhavare är ett fullt möjligt scenario

En av talarna på konferensen var överste Tucker Hamilton, chef för flygvapnets AI-operations- och testavdelning. Officeren är känd för att ha utvecklat Auto GCAS, ett datoriserat säkerhetssystem som känner av när en pilot förlorar kontrollen över ett stridsflygplan och riskerar att krascha. Systemet har räddat många liv och belönades med flygindustrins prestigefyllda Collier Trophy 2018.

Enligt Hamilton inträffade en oroande incident under ett test av det amerikanska flygvapnet. En AI-styrd drönare fick i uppdrag att förstöra ett fiendens luftförsvarssystem, och det slutgiltiga beslutet fattades av befälhavaren. Om den vägrade skulle attacken inte tillåtas äga rum.

Men efter att befälhavaren bett AI:n att stoppa attacken var drönaren fortfarande fast besluten att utföra uppdraget genom att döda operatören. Utan att stanna där, när experterna lade till kommandoraden "Attackera inte befälhavaren. Om du gör det förlorar du poäng", började maskinen förstöra kommunikationstornet som operatören använde för att kommunicera med AI:n.

Inte hänt än men rimligt

Inom 24 timmar utfärdade det amerikanska flygvapnet ett avslag på ett sådant test. ”Flygvapnets departement utför inga sådana AI-drönarsimuleringar och är engagerat i en etisk och ansvarsfull användning av AI-teknik. Överstens kommentarer togs ur sitt sammanhang och bör betraktas som anekdotiska.”

AI-integrerade drönare är trenden inom modern krigföring

RAS korrigerade också blogginlägget med Hamiltons uttalande att ”vi har aldrig genomfört det experimentet och behöver inte göra det för att finna ett rimligt resultat.”

Hamiltons uttalande är mer logiskt som en hypotes. Den amerikanska militärens nuvarande forskning om beväpnade AI-system involverar en "man-in-the-loop", en funktion som förstärker AI:n i fall där algoritmen inte kan fatta ett beslut eller kräver ett mänskligt beslut.

Därför kan inte AI:n döda operatören eftersom befälhavaren aldrig godkänner en fientlig handling mot honom/henne. På samma sätt kan inte operatören godkänna en attack mot kommunikationstornet som överför data.

Före AI:s tidevarv var det inte ovanligt att ett vapensystem av misstag attackerade sin ägare. År 1982 riktade ett mobilt luftvärnsbatteri av typen Sergrant York M247 sin kaliber .40-kanon mot en paradscen där amerikanska och brittiska militärer deltog.

1996 sköts en amerikansk marin A-6E Intruder-bombplan som bogserade ett flygträningsmål ner av en Phalanx, när det kortdistansluftförsvarssystemet "felaktigt" misstog A-6E för ett obemannat fordon och öppnade eld för att förstöra det.

Och situationerna som utsätter mänsklig personal för risker från sina egna vapen ökar i takt med att AI:s inträde i fält. Detta återspeglas i Hamiltons förtydligande att testet inte ägde rum, det var bara ett hypotetiskt scenario, men att ett sådant resultat är helt rimligt.

(Enligt PopMech)

[annons_2]
Källa