뉴햄프셔 주 검찰총장실은 월요일에 가짜 목소리가 조 바이든 대통령과 똑같이 들려 유권자들에게 주 예비선거에 투표하지 말라고 촉구했다는 불만이 접수된 후 유권자 조작 가능성을 조사하고 있다고 발표했습니다.
연구자들은 또한 정치인 과 지도자를 모방하기 위해 딥페이크 오디오가 사용되는 사례에 대해 경고했으며, 이러한 주요 사례는 2023년 영국, 인도, 나이지리아, 수단, 에티오피아, 슬로바키아에서 발생했습니다.
미국 뉴햄프셔주 예비선거에서 한 사람이 투표하고 있다. 사진: 게티
전문가들은 스타트업들이 저렴하면서도 효과적인 AI 도구를 다양하게 선보이면서 딥페이크 오디오가 널리 퍼진 허위 정보의 한 형태가 되었다고 말합니다. 마이크로소프트는 단 3초 분량의 녹음만으로 음성을 복제할 수 있는 새로운 AI 모델도 개발했습니다.
"시각적 조작에 관해서는 누구나 포토샵에 익숙하거나 적어도 그 존재를 알고 있습니다."라고 어도비, 메타, EY의 AI 및 딥페이크 전문가이자 컨설턴트인 헨리 아이더는 말했습니다. "오디오 조작 방식에 대한 인식이 매우 부족해서, 제 생각에는 우리가 매우 취약한 상태입니다."
9월, 뉴스 사이트의 품질과 신뢰성을 평가하는 시스템인 뉴스가드(NewsGuard)는 합법적인 뉴스 사이트를 사칭하는 틱톡 계정 네트워크를 발견했습니다. 이들은 AI가 생성한 콘텐츠를 사용하여 음모론과 정치적 허위 정보를 유포했습니다. 버락 오바마 전 미국 대통령의 목소리를 포함한 딥페이크 영상은 수억 건의 조회수를 기록했습니다.
가짜 내레이션은 Andreessen Horowitz가 지원하는 ElevenLabs가 제공한 도구를 통해 생성된 것으로 보이며, 해당 클립은 수억 번의 조회수를 기록했다고 NewsGuard는 전했습니다.
ElevenLabs는 "저희 플랫폼을 사용하는 사용자의 99% 이상이 흥미롭고 창의적이며 유용한 콘텐츠를 만들고 있지만, 오용 사례가 있다는 것을 인지하고 있으며 이를 제한하기 위한 보호 장치를 지속적으로 개발하고 도입해 왔습니다."라고 밝혔습니다.
2년 전 구글과 팔란티르(Palantir)에서 근무했던 피오트르 다브코프스키(Piotr Dabkowski)와 마티 스타니셰프스키(Mati Staniszewski)가 설립한 일레븐랩스(ElevenLabs)는 클릭 한 번으로 기본적인 AI 오디오 생성 도구를 무료로 제공합니다. 구독 요금은 월 1달러부터 330달러 이상까지 다양하며, 더욱 복잡한 서비스를 원하는 고객을 위해 제공됩니다.
작년에 미국 정보 기관은 보고서에서 "정교하고 잘 훈련된 AI 음성 복제 모델이 출시되면서 개인화된 AI 사기가 크게 증가했다"고 경고했습니다.
정치 전문가들은 금전적 동기를 가진 사기 외에도 바이럴 딥페이크 오디오 클립과 로보콜이나 캠페인에 딥페이크를 사용하는 것에 대해 경각심을 높이고 있습니다. 사이버 보안 그룹 제로폭스(ZeroFox)의 부사장 겸 저명한 정보 연구원인 AJ 내쉬는 "휴대전화를 표적으로 삼아 강력하고 광범위한 허위 정보 유포 캠페인을 구축할 수 있습니다."라고 말했습니다.
이러한 회사 중 일부는 허위 정보를 근절하기 위한 다른 방안을 모색하는 데 적극적으로 나서고 있습니다. Microsoft는 자사의 AI 오디오 도구 오용 시 사용자에게 신고를 촉구하는 윤리 강령을 발표했습니다. ElevenLabs는 자사 시스템에서 생성된 오디오 녹음을 식별하는 자체 탐지 도구를 개발했습니다.
인권 단체인 프리덤 하우스에 따르면, 나이지리아의 2023년 선거 기간 동안 AI가 조작한 영상이 소셜 미디어에서 "야당 후보가 투표를 조작할 계획이라고 암시하는 내용"으로 퍼졌습니다.
슬로바키아에서는 야당 후보 미할 시메츠카가 선거를 조작하려는 음모를 꾸민 것으로 보이는 가짜 오디오 녹음이 9월 대선을 며칠 앞두고 급속도로 퍼졌습니다.
비영리 소비자 권익 단체인 퍼블릭 시티즌(Public Citizen)의 로버트 와이스먼 회장은 "뉴햄프셔 딥페이크 사건은 딥페이크가 얼마나 다양한 방식으로 사람들을 혼란에 빠뜨리고 속일 수 있는지를 다시 한번 일깨워줍니다."라고 말했습니다. "정치적 딥페이크 시대가 도래했습니다. 정책 입안자들은 신속하게 안전장치를 마련해야 합니다. 그렇지 않으면 선거 혼란에 직면하게 될 것입니다."
마이안 (FT에 따르면)
[광고_2]
원천
댓글 (0)