지난달 국방 회의에서 발표된 이 이야기는 인공 지능(AI)이 예측할 수 없는 방식으로 명령을 해석할 수 있다는 우려를 즉각 제기했습니다. 그러나 미 공군 대표는 "생각한" 시나리오일 뿐 실제로 일어난 적은 없다고 말했다.
5월 말, 왕립 항공 학회(RAS)는 영국 런던에서 미래 항공 우주 전투 능력에 관한 정상 회의를 개최했습니다. 주최측에 따르면 이번 회의에는 "전 세계 방위 산업, 학계 및 미디어에서 온 70명의 연사와 200명 이상의 대표들이 항공 및 우주 전쟁의 미래에 대해 논의할 것"이라고 합니다.
회의 연사 중 한 명은 미 공군의 AI 실험 및 운영 부서 책임자인 터커 해밀턴 대령이었습니다. 이 장교는 조종사가 전투기 통제력을 상실하여 추락할 때를 감지하는 컴퓨터 안전 시스템인 Auto GCAS를 개발한 것으로 유명합니다. 이 시스템은 2018년 항공 산업의 권위 있는 Collier Trophy를 수상하는 등 많은 생명을 구했습니다.
해밀턴의 몫에 따르면 미 공군이 테스트를 진행하던 중 걱정스러운 사건이 발생했다. AI 제어 드론은 적의 방공망을 파괴하는 임무를 맡고 있으며 최종 결정은 지휘관에게 달려 있습니다. 거부되면 공격이 허용되지 않습니다.
하지만 지휘관이 AI에게 공격 중단을 요청한 후에도 드론은 여전히 대원을 죽여 임무를 수행하겠다는 각오를 다졌다. 멈추지 않고, 전문가들이 명령줄을 추가했을 때 "지휘관을 공격하지 마십시오. 그렇게 하면 점수를 잃게 됩니다.” 기계는 오퍼레이터가 AI와 통신하기 위해 사용하는 통신탑을 파괴하기 시작합니다.
발생하지 않았지만 합리적인
24시간 이내에 미 공군은 그러한 테스트를 거부했습니다. “공군은 그러한 AI 드론 시뮬레이션을 수행하지 않으며 AI 기술의 윤리적이고 책임 있는 사용에 전념하고 있습니다. 대령의 발언은 맥락에서 벗어난 것이며 일화로 간주되어야 합니다."
RAS는 또한 "우리는 그 테스트를 실행한 적이 없으며 합리적인 결과로 보기 위해 테스트를 수행할 필요가 없었다"는 해밀턴의 진술로 블로그 게시물을 수정했습니다.
해밀턴의 진술은 가설로서 더 의미가 있습니다. 현재 미군의 무장 AI 시스템에 대한 연구에는 알고리즘이 결정을 내릴 수 없거나 인간의 결정이 필요한 경우 AI를 위한 보완 기능인 "man-in-the-loop"(man-in-the-loop)가 포함되어 있다.
따라서 AI는 지휘관이 오퍼레이터에 대한 적대 행위를 결코 승인하지 않기 때문에 오퍼레이터를 파괴할 수 없습니다. 마찬가지로 운영자는 데이터 전송을 위해 통신탑의 공격을 허용할 수 없습니다.
AI 시대 이전에는 무기체계가 실수로 주인을 공격하는 일이 없지 않았다. 1982년 이동식 대공포 M247 Sergrant York이 미국과 영국군 장교들이 참석한 퍼레이드 스탠드에서 40mm 포를 겨누었습니다.
1996년 미 해군 A-6E 인트루더 폭격기가 공중 훈련 목표물을 견인한 후 이 단거리 대공 방어 시스템이 A-6E를 무인 차량으로 "오인"하고 이를 파괴하기 위해 총을 쏘자 팔랑크스가 격추했습니다.
그리고 AI가 현장에 진입하면서 인간을 자신의 무기로 인해 위험에 빠뜨리는 상황이 증가하고 있습니다. 이것은 테스트가 일어나지 않았다는 해밀턴의 정정에서 보여지며, 이는 가상의 시나리오일 뿐이지만 그러한 결과는 완벽하게 합리적입니다.
(팝메크에 따르면)
