L'histoire, racontée lors d'une conférence sur la défense le mois dernier, a immédiatement soulevé des inquiétudes quant au fait que l'intelligence artificielle (IA) pourrait interpréter les commandes de manière imprévisible. Cependant, le représentant de l'US Air Force a déclaré que ce n'était qu'un scénario "pensé" et qu'il ne s'était jamais vraiment produit.
Fin mai, la Royal Aeronautical Society (RAS) a organisé un sommet sur les futures capacités de combat aérien et spatial à Londres, en Angleterre. Selon les organisateurs, la conférence réunira "5 conférenciers et plus de 70 délégués de l'industrie de la défense, des universités et des médias du monde entier pour discuter de l'avenir de la guerre aérienne et spatiale".
L'un des orateurs de la conférence était le colonel Tucker Hamilton, directeur de la division AI Experimentation and Operations de l'US Air Force. L'officier est connu pour avoir développé Auto GCAS, un système de sécurité informatisé qui détecte lorsqu'un pilote perd le contrôle d'un avion de chasse entraînant un accident. Le système a sauvé de nombreuses vies et a reçu le prestigieux Collier Trophy de l'industrie aéronautique en 2018.
Selon la part de Hamilton, un incident inquiétant s'est produit lors d'essais par l'US Air Force. Un drone contrôlé par l'IA est chargé de détruire les défenses aériennes ennemies, la décision finale revenant au commandant. Si elle est refusée, l'attaque ne pourra pas avoir lieu.
Cependant, après que le commandant ait demandé à l'IA d'arrêter l'attaque, le drone était toujours déterminé à mener à bien la tâche en tuant l'opérateur. Ne s'arrêtant pas, lorsque les experts ont ajouté la ligne de commande "n'attaquez pas le commandant. Si vous le faites, vous perdrez des points », la machine commence à détruire la tour de communication que l'opérateur utilise pour communiquer avec l'IA.
N'est pas arrivé mais raisonnable
Dans les 24 heures, l'US Air Force a émis un démenti d'un tel test. "L'armée de l'air ne mène pas de telles simulations de drones IA et s'engage à l'utilisation éthique et responsable de la technologie IA. Les commentaires du colonel ont été sortis de leur contexte et doivent être considérés comme anecdotiques."
Le RAS a également corrigé le billet de blog avec la déclaration de Hamilton selon laquelle "nous n'avons jamais effectué ce test et n'avons pas eu besoin de le faire pour le considérer comme un résultat raisonnable".
La déclaration de Hamilton a plus de sens en tant qu'hypothèse. Actuellement, les recherches de l'armée américaine sur les systèmes d'IA armés ont un "man-in-the-loop", une fonctionnalité supplémentaire pour l'IA au cas où l'algorithme ne peut pas prendre de décision ou doit prendre des décisions humaines.
Par conséquent, l'IA ne peut pas détruire l'opérateur puisque le commandant n'autorise jamais un acte hostile à son encontre. De même, l'opérateur ne peut pas permettre l'attaque de la tour de communication pour transmettre des données.
Avant l'ère de l'IA, il n'était pas rare qu'un système d'arme attaque accidentellement son propriétaire. En 1982, une batterie anti-aérienne mobile M247 Sergrant York a pointé un canon de 40 mm vers le stand de parade auquel assistaient des officiers militaires américains et britanniques.
En 1996, un bombardier A-6E Intruder de l'US Navy remorquant une cible d'entraînement aérien a été abattu par le Phalanx, lorsque le système de défense aérienne à courte portée "confond" l'A-6E avec un véhicule aérien et tire pour détruire.
Et les situations qui mettent le personnel humain en danger à cause de leurs propres armes se multiplient avec l'entrée de l'IA sur le terrain. Ceci est montré dans la correction de Hamilton que le test n'a pas eu lieu, ce qui n'est qu'un scénario hypothétique, mais un tel résultat est parfaitement raisonnable.
(Selon PopMech)
