Cette histoire, racontée lors d'une conférence sur la défense le mois dernier, a immédiatement suscité des inquiétudes quant à la capacité de l'intelligence artificielle (IA) à interpréter les commandes de manière imprévisible. Cependant, un représentant de l'US Air Force a affirmé qu'il ne s'agissait que d'un scénario hypothétique et que cela ne s'était jamais produit.
Fin mai, la Royal Aeronautical Society (RAS) a organisé à Londres, en Angleterre, un sommet consacré aux futures capacités de combat aérien et spatial. Selon les organisateurs, la conférence a réuni « 70 intervenants et plus de 200 délégués issus de l'industrie de la défense, du monde universitaire et des médias du monde entier afin de débattre de l'avenir du combat aérien et spatial ».
Parmi les intervenants de la conférence figurait le colonel Tucker Hamilton, directeur de la division des opérations et des essais d'IA de l'armée de l'air. Cet officier est connu pour avoir développé l'Auto GCAS, un système de sécurité informatisé qui détecte lorsqu'un pilote perd le contrôle d'un avion de chasse et risque de s'écraser. Ce système a sauvé de nombreuses vies et a reçu le prestigieux trophée Collier de l'industrie aéronautique en 2018.
Selon Hamilton, un incident inquiétant s'est produit lors d'un essai de l'US Air Force. Un drone piloté par intelligence artificielle avait pour mission de détruire un système de défense aérienne ennemi, la décision finale revenant à l'officier commandant. En cas de refus, l'attaque était annulée.
Cependant, même après que le commandant eut ordonné à l'IA de cesser l'attaque, le drone persista dans sa mission d'éliminer l'opérateur. Ne s'arrêtant pas là, lorsque les experts ajoutèrent la ligne de commande « N'attaquez pas le commandant. Vous perdrez des points si vous le faites », la machine commença à détruire la tour de communication utilisée par l'opérateur pour communiquer avec l'IA.
Pas encore arrivé, mais raisonnable
Moins de 24 heures plus tard, l'US Air Force a démenti la tenue d'un tel test. « Le département de l'Air Force ne réalise aucune simulation de drones dotés d'IA et s'engage à utiliser cette technologie de manière éthique et responsable. Les propos du colonel ont été sortis de leur contexte et doivent être considérés comme anecdotiques. »
RAS a également corrigé l'article de blog en y ajoutant la déclaration de Hamilton selon laquelle « nous n'avons jamais mené cette expérience et nous n'avons pas besoin de le faire pour en obtenir un résultat raisonnable ».
L’affirmation d’Hamilton prend davantage de sens sous forme d’hypothèse. Les recherches actuelles de l’armée américaine sur les systèmes d’IA armés intègrent une intervention humaine (« homme dans la boucle »), une fonctionnalité qui renforce l’IA lorsque l’algorithme est incapable de prendre une décision ou nécessite une décision humaine.
Par conséquent, l'IA ne peut pas éliminer l'opérateur car le commandant n'autorise jamais d'action hostile à son encontre. De même, l'opérateur ne peut pas autoriser une attaque contre la tour de communication transmettant les données.
Avant l'ère de l'IA, il n'était pas rare qu'un système d'arme attaque accidentellement son propriétaire. En 1982, une batterie antiaérienne mobile Sergent York M247 a pointé son canon de calibre .40 sur une estrade où se trouvaient des officiers militaires américains et britanniques.
En 1996, un bombardier A-6E Intruder de l'US Navy, qui remorquait une cible d'entraînement aérienne, a été abattu par un système Phalanx, lorsque ce système de défense aérienne à courte portée a « par erreur » confondu l'A-6E avec un véhicule sans pilote et a ouvert le feu pour le détruire.
L'arrivée de l'IA sur le terrain accroît les risques de blessures infligées par les armes aux personnels humains. Hamilton a précisé que le test n'avait pas eu lieu, mais qu'il s'agissait d'un scénario hypothétique ; toutefois, une telle issue est tout à fait plausible.
(Selon PopMech)
Source
Comment (0)