Microsoft는 민감한 유명인 사진 및 기타 음란물 등 악성 콘텐츠를 생성하기 위해 생성 AI 서비스의 보호 기능을 우회할 수 있는 국제 사이버 범죄 네트워크를 확인했습니다.

해커들은 공개 소스에서 서비스 자격 증명을 수집하여 Microsoft의 Azure OpenAI를 포함한 생성 AI 서비스에 액세스하는 데 사용했습니다.

그런 다음 그들은 AI 제품의 기능을 수정하고 다른 범죄 조직에 액세스 권한을 판매하여 악성 콘텐츠를 만드는 방법을 교육합니다.

해커 d3sign/Moment RF
마이크로소프트는 AI 서비스를 "침투"하기 위한 도구를 판매하는 해커 4명을 공개적으로 공개했습니다. 사진: d3sign/Moment RF

Microsoft에 따르면, 이들은 이란의 Arian Yadegarnia(별명 Fiz), 영국의 Alan Krysiak(Drago), 홍콩(중국)의 Ricky Yuen(cg-dot), 베트남의 Phat Phung Tan(Asakuri)입니다.

네 명 모두 스톰-2139 사이버 범죄 조직에 소속된 것으로 기소되었습니다. 다른 두 명은 미국인이지만, 마이크로소프트는 수사 보호를 위해 이들의 신원을 공개하지 않았습니다.

마이크로소프트는 Storm-2139가 제작자, 공급업체, 최종 사용자라는 세 가지 주요 그룹으로 구성되어 있다고 밝혔습니다. 제작자는 생성 AI 서비스를 악용하기 위해 불법 도구를 만들고, 공급업체는 이를 수정하여 최종 사용자에게 다양한 가격과 서비스로 제공합니다. 마지막으로 사용자는 이 도구를 사용하여 포르노 배우와 이미지를 중심으로 한 악성 콘텐츠를 제작합니다.

마이크로소프트는 유명인과 일반인의 가짜 이미지를 만드는 데 생성적 AI가 오용되고 아동 포르노가 제작되는 것에 대한 우려가 커지면서 이 정보를 공개했습니다.

Microsoft와 OpenAI 같은 회사는 이러한 관행을 금지하고 이를 방지하기 위한 기술적 조치를 취하고 있지만, 위와 같은 해커 그룹은 여전히 "규칙을 우회하는" 방법을 찾고 있습니다.

Microsoft 디지털 범죄 부서(DCU)의 수석 법률 고문인 스티븐 마사다에 따르면, 그들은 학대적인 이미지가 피해자에게 심각하고 지속적인 영향을 미친다는 것을 인식하고 있습니다.

회사는 플랫폼에 AI 안전 조치를 내장하고 불법적이고 유해한 콘텐츠로부터 서비스를 보호하여 사용자를 보호하는 데 전념하고 있습니다.

2024년 12월, DCU는 미국 버지니아주 동부 지방 법원에 미국 법률과 Microsoft 정책을 위반한 활동에 가담한 신원이 확인되지 않은 10명을 상대로 소송을 제기했습니다.

법원은 가처분 명령과 가처분 명령을 내려 Microsoft가 범죄 활동에 사용되는 웹사이트를 압수하고 해당 그룹의 운영을 방해할 수 있도록 했습니다.

주목할 점은 이 사건 이후, Storm-2139에 속한다고 의심되는 일부 구성원이 Microsoft 자문위원들에게 이메일을 보내 서로를 비난했다는 것입니다.

Microsoft는 2월 27일 블로그 게시물에서 "이번 대응은 Microsoft의 법적 조치가 미치는 영향을 강조하며, 이러한 조치를 통해 인프라를 점유하고 회원들에게 강력한 억제 효과를 만들어 사이버 범죄 네트워크를 효과적으로 방해할 수 있음을 보여줍니다."라고 밝혔습니다.

(마이크로소프트, 블룸버그에 따르면)