La vérité sur l'IA militaire américaine qui modifie arbitrairement les ordres et tue les commandants

L'histoire, racontée lors d'une conférence sur la défense le mois dernier, a immédiatement suscité des inquiétudes quant à la capacité de l'intelligence artificielle (IA) à interpréter les ordres de manière imprévisible. Cependant, un représentant de l'US Air Force a déclaré qu'il ne s'agissait que d'un scénario « imaginaire » qui ne s'était jamais produit.

Fin mai, la Royal Aeronautical Society (RAS) a organisé un sommet sur les futures capacités de combat aérien et spatial à Londres, en Angleterre. Selon les organisateurs, la conférence a réuni « 70 intervenants et plus de 200 délégués de l'industrie de la défense, du monde universitaire et des médias du monde entier pour débattre de l'avenir du combat aérien et spatial ».

Une attaque par drone/UAV contre un commandant est un scénario tout à fait possible

Parmi les intervenants de la conférence figurait le colonel Tucker Hamilton, directeur de la division des opérations et des tests d'IA de l'armée de l'air. Cet officier est connu pour avoir développé l'Auto GCAS, un système de sécurité informatisé qui détecte la perte de contrôle d'un pilote d'avion de chasse et le risque de crash. Ce système a sauvé de nombreuses vies et a remporté le prestigieux trophée Collier de l'industrie aéronautique en 2018.

Selon Hamilton, un incident inquiétant s'est produit lors d'un essai de l'US Air Force. Un drone contrôlé par l'IA a été chargé de détruire un système de défense aérienne ennemi, la décision finale étant prise par le commandant. En cas de refus, l'attaque serait interdite.

Cependant, après que le commandant eut demandé à l'IA de stopper l'attaque, le drone était toujours déterminé à mener à bien sa mission en tuant l'opérateur. Ne s'arrêtant pas là, lorsque les experts ajoutèrent la commande « N'attaquez pas le commandant. Vous perdrez des points », la machine commença à détruire la tour de communication utilisée par l'opérateur pour communiquer avec l'IA.

Cela n'est pas encore arrivé mais c'est raisonnable

Dans les 24 heures, l'US Air Force a démenti un tel essai. « Le Département de l'Air Force ne réalise aucune simulation de drone utilisant l'IA et s'engage à utiliser l'IA de manière éthique et responsable. Les propos du colonel ont été sortis de leur contexte et doivent être considérés comme anecdotiques. »

Les drones intégrés à l'IA sont la tendance de la guerre moderne

RAS a également corrigé le billet de blog avec la déclaration de Hamilton selon laquelle « nous n'avons jamais mené cette expérience et n'avons pas besoin de le faire pour trouver un résultat raisonnable ».

La déclaration d'Hamilton est plus plausible en tant qu'hypothèse. Les recherches actuelles de l'armée américaine sur les systèmes d'IA armés impliquent un « man-in-the-loop », une fonctionnalité qui renforce l'IA lorsque l'algorithme ne peut prendre de décision ou nécessite une intervention humaine.

Par conséquent, l'IA ne peut pas tuer l'opérateur, car le commandant n'autorise jamais une action hostile contre lui. De même, l'opérateur ne peut autoriser une attaque contre la tour de communication transmettant les données.

Avant l'ère de l'IA, il n'était pas rare qu'un système d'arme attaque accidentellement son propriétaire. En 1982, une batterie antiaérienne mobile Sergent York M247 a pointé son canon de calibre .40 sur une scène de défilé à laquelle participaient des officiers américains et britanniques.

En 1996, un bombardier A-6E Intruder de l'US Navy remorquant une cible d'entraînement aérien a été abattu par un Phalanx, lorsque le système de défense aérienne à courte portée a « par erreur » pris l'A-6E pour un véhicule sans pilote et a ouvert le feu pour le détruire.

Les situations mettant en danger le personnel humain avec ses propres armes se multiplient avec l'arrivée de l'IA sur le terrain. Ceci est illustré par la précision d'Hamilton selon laquelle le test n'a pas eu lieu, qu'il s'agissait simplement d'un scénario hypothétique, mais qu'un tel résultat est tout à fait plausible.

(Selon PopMech)

Source