딥페이크는 인공지능(AI)이나 머신러닝(ML)을 활용하여 디지털 방식으로 제작되거나 변조된 영상 과 이미지입니다. 이 기술을 사용하여 제작된 포르노물은 몇 년 전 한 레딧 사용자가 유명인의 얼굴이 담긴 가짜 포르노 영상을 공유하면서 인터넷에 처음 유포되기 시작했습니다.
사진: GI
누구나 피해자가 될 수 있습니다.
그 이후로 딥페이크 제작자들은 온라인 인플루언서, 언론인 등 공개 프로필을 가진 사람들을 표적으로 삼아 유사한 영상과 이미지를 계속해서 게시해 왔습니다. 이러한 영상은 수많은 웹사이트에 수천 개에 달합니다.
AI 기술이 점점 더 접근 가능해지면서 사용자는 동의 없이 원하는 사람을 "포르노 스타"로 만들거나, 더 위험한 것은 이 기술을 사용하여 다른 사람을 모욕하거나 협박할 수 있습니다.
전문가들은 인터넷에서 수십억 개의 이미지를 학습하고 기존 데이터를 사용하여 새로운 콘텐츠를 생성하는 생성적 AI 도구가 개발되면 문제가 더 악화될 수 있다고 말합니다.
기술 남용에 대한 교육을 제공하는 단체인 엔드탭(EndTAB)의 설립자 애덤 도지(Adam Dodge)는 "현실적으로 기술은 계속해서 확산되고, 발전하며, 더욱 접근성이 높아지고 사용하기 쉬워질 것입니다."라고 말했습니다. "그리고 그러한 상황이 지속되는 한, 사람들은 필연적으로… 타인에게 해를 끼치기 위해 기술을 계속 남용할 것입니다. 주로 온라인 성폭력, 딥페이크 포르노, 가짜 누드 사진 등을 통해 말입니다."
호주 퍼스에 사는 노엘 마틴은 그런 현실을 경험했습니다. 28세인 그녀는 10년 전 어느 날 호기심에 자신의 사진을 구글에서 검색하다가 자신의 딥페이크 포르노를 발견했습니다. 마틴은 지금까지도 누가 가짜 포르노 사진이나 영상을 만들었는지 전혀 모른다고 말합니다. 그녀는 누군가 자신의 소셜 미디어 사진을 이용해 포르노 영상을 만들었을 것이라고 의심합니다.
마틴은 해당 사이트에 연락해 영상을 삭제해 달라고 요청했지만, 소용없었습니다. 어떤 사이트는 응답하지 않았고, 어떤 사이트는 영상을 삭제한 후 재빨리 다시 게시했습니다. 마틴은 "이길 수 없어요."라고 말했습니다. "영상은 영원히 인터넷에 남아서 인생을 망칠 수도 있어요."
기술 회사들의 문제 해결 노력
일부 AI 모델은 음란물 이미지에 대한 접근이 제한되어 있다고 말합니다.
OpenAI는 DALL-E 이미지 생성기를 훈련하는 데 사용한 데이터에서 음란물 콘텐츠를 제거하여 오용 가능성을 줄였다고 밝혔습니다. 또한, 요청을 필터링하고 사용자가 유명인과 저명한 정치인 의 AI 이미지를 생성하는 것을 차단한다고 밝혔습니다. 또 다른 모델인 Midjourney 역시 특정 키워드 사용을 차단하고, 문제가 있는 이미지를 관리자에게 신고하도록 권장합니다.
한편, Stability AI는 사용자가 노골적인 이미지를 제작하는 것을 막는 업데이트를 출시했습니다. 이 변경 사항은 일부 사용자가 해당 기술을 사용하여 유명인을 모티브로 한 누드 사진을 제작했다는 보고가 접수된 후 발표되었습니다.
Stability AI 대변인 모테즈 비샤라는 이 필터가 키워드와 이미지 인식 등 다양한 기술을 조합하여 나체 이미지를 감지한다고 밝혔습니다. 하지만 회사가 앱의 오픈소스 코드를 공개했기 때문에 사용자는 소프트웨어를조정하여 원하는 대로 만들 수 있습니다.
일부 소셜 미디어 회사도 자사 플랫폼을 유해한 자료로부터 보호하기 위해 규칙을 강화했습니다.
지난달 TikTok은 모든 딥페이크 또는 조작된 콘텐츠에 가짜이거나 어떤 식으로든 변경되었음을 나타내는 라벨을 붙여야 한다고 밝혔습니다.
게임 플랫폼인 트위치도 인기 스트리머인 아트리옥이 1월 말 라이브 스트리밍 중에 브라우저에서 딥페이크 포르노 사이트를 여는 모습이 포착된 이후 딥페이크에 대한 정책을 최근 업데이트했습니다.
Apple과 Google은 최근 자사 제품을 마케팅하기 위해 성적 암시가 담긴 딥페이크 영상을 게재한 앱을 앱 스토어에서 삭제했다고 밝혔습니다.
서양 가수에서 K팝 아이돌로.
딥페이크 포르노에 대한 연구는 드물지만, AI 기업 딥트레이스 랩스의 2019년 보고서에 따르면 딥페이크 포르노는 거의 전적으로 여성을 대상으로 무기화되었다고 합니다. 서양 여배우들이 가장 많이 표적이 되었고, 그 뒤를 이어 K팝 가수들이 뒤따랐습니다.
메타 대변인 다니 레버는 성명을 통해 회사 정책은 AI가 생성한 성인 콘텐츠와 AI가 생성하지 않은 성인 콘텐츠를 모두 제한하고 있으며, 딥페이크를 생성하는 앱 페이지에 대한 광고도 플랫폼에서 제한한다고 밝혔습니다.
2월, Meta는 Only****, Porn*** 같은 성인 사이트와 함께 'Take It Down'이라는 온라인 도구에 참여하기 시작했습니다. 이 도구는 청소년들이 인터넷에서 자신의 성적으로 노골적인 이미지와 동영상을 신고할 수 있도록 지원합니다. 이 사이트는 몰래카메라 영상과 AI가 생성한 영상을 모두 지원합니다.
황톤 (AP에 따르면)
[광고_2]
원천
댓글 (0)