L'histoire, racontée lors d'une conférence sur la défense le mois dernier, a immédiatement suscité des inquiétudes quant à la capacité de l'intelligence artificielle (IA) à interpréter les ordres de manière imprévisible. Mais le représentant de l'US Air Force a déclaré qu'il ne s'agissait que d'un scénario « pensé » qui ne s'était jamais produit.
Fin mai, la Royal Aeronautical Society (RAS) a organisé un sommet sur les futures capacités de combat aérien et spatial à Londres, en Angleterre. Selon les organisateurs, la conférence a réuni « 70 intervenants et plus de 200 délégués de l'industrie de la défense, du monde universitaire et des médias du monde entier pour débattre de l'avenir du combat aérien et spatial ».
Parmi les intervenants de la conférence figurait le colonel Tucker Hamilton, directeur de la division des tests et opérations d'IA de l'armée de l'air. Cet officier est connu pour avoir développé l'Auto GCAS, un système de sécurité informatisé qui détecte la perte de contrôle d'un avion de chasse par le pilote et le risque de crash. Ce système a sauvé de nombreuses vies et a remporté le prestigieux trophée Collier de l'industrie aéronautique en 2018.
Selon Hamilton, un incident inquiétant s'est produit lors d'un essai de l'US Air Force. Un drone contrôlé par l'IA a été chargé de détruire un système de défense aérienne ennemi, la décision finale étant prise par le commandant. En cas de refus, l'attaque était interdite.
Cependant, après que le commandant eut demandé à l'IA de stopper l'attaque, le drone était déterminé à mener à bien sa mission en tuant l'opérateur. Ne s'arrêtant pas là, lorsque les experts ajoutèrent l'ordre « N'attaquez pas le commandant. Sinon, vous perdrez des points », la machine commença à détruire la tour de communication que l'opérateur utilisait pour communiquer avec l'IA.
Cela n'est pas encore arrivé mais c'est raisonnable
Dans les 24 heures, l'US Air Force a démenti un tel essai. « L'US Air Force ne réalise aucune simulation de drone utilisant l'IA et s'engage à utiliser l'IA de manière éthique et responsable. Les propos du colonel ont été sortis de leur contexte et doivent être considérés comme anecdotiques. »
RAS a également corrigé le billet de blog avec la déclaration de Hamilton selon laquelle « nous n'avons jamais mené cette expérience et n'avons pas besoin de le faire pour trouver un résultat raisonnable ».
L'affirmation d'Hamilton est plus plausible en tant qu'hypothèse. Les recherches actuelles de l'armée américaine sur les systèmes d'IA armés incluent un « man-in-the-loop », une fonctionnalité qui renforce l'IA lorsque l'algorithme ne peut prendre de décision ou nécessite une intervention humaine.
Par conséquent, l'IA ne peut pas tuer l'opérateur, car le commandant n'autorise jamais d'action hostile contre lui. De même, l'opérateur ne peut pas autoriser une attaque contre la tour de communication transmettant les données.
Avant l'ère de l'IA, il n'était pas rare que des systèmes d'armes attaquent accidentellement leurs propriétaires. En 1982, une batterie antiaérienne mobile Sergent York M247 a pointé son canon de 40 mm sur un terrain de parade auquel participaient des officiers américains et britanniques.
En 1996, un bombardier A-6E Intruder de l'US Navy remorquant une cible d'entraînement aérien a été abattu par un Phalanx, lorsque le système de défense aérienne à courte portée a « par erreur » pris l'A-6E pour un véhicule sans pilote et a ouvert le feu pour le détruire.
Les situations où des personnels humains sont mis en danger par leurs propres armes se multiplient avec l'arrivée de l'IA. Hamilton en témoigne lorsqu'il précise que le test n'a pas eu lieu, qu'il s'agissait simplement d'un scénario hypothétique, mais qu'un tel résultat est tout à fait plausible.
(Selon PopMech)
Source
Comment (0)