딥페이크 포르노, AI 경쟁의 문제

딥페이크는 인공지능(AI)이나 머신러닝(ML)을 이용해 디지털 방식으로 제작되거나 변경된 비디오 와 이미지입니다. 기술적으로 생성된 포르노는 몇 년 전 Reddit 사용자가 유명인의 얼굴이 있는 가짜 포르노 영상을 공유하면서 인터넷에 처음 유포되기 시작했습니다.

사진: GI

누구나 피해자가 될 수 있습니다.

그 이후로 딥페이크 제작자는 온라인 인플루언서, 언론인 및 공개 프로필을 가진 다른 사람들을 표적으로 삼아 유사한 비디오와 이미지를 계속 게시해 왔습니다. 이런 영상이 수많은 웹사이트에 존재합니다.

AI 기술이 점점 더 접근 가능해지면서 사용자는 동의 없이 원하는 사람을 "포르노 스타"로 만들거나, 더 위험한 것은 이 기술을 사용하여 다른 사람을 모욕하거나 협박할 수 있습니다.

전문가들은 인터넷에서 수십억 개의 이미지를 학습하고 기존 데이터를 사용하여 새로운 콘텐츠를 생성하는 생성적 AI 도구가 개발되면 문제가 더 악화될 수 있다고 말합니다.

EndTAB의 설립자인 애덤 도지는 "기술은 계속해서 확산되고, 진화하며, 점점 더 접근성이 높아지고 사용하기 쉬워질 것"이라고 말했습니다. EndTAB은 기술 남용에 대한 교육을 제공하는 단체입니다. "그리고 그런 일이 계속된다면 사람들은 필연적으로 그 기술을 오용하여 다른 사람을 해치는 행위를 계속할 것입니다. 주로 온라인 성폭력, 딥페이크 포르노, 가짜 누드 사진을 통해서입니다."

호주 퍼스의 노엘 마틴은 그러한 현실을 경험했습니다. 28세인 그녀는 10년 전 어느 날 호기심에 구글에서 자신의 이미지를 검색하다가 딥페이크 포르노 영상을 발견했습니다. 마틴은 오늘날까지도 이러한 가짜 음란물 이미지나 비디오를 만든 사람이 누구인지 전혀 모른다고 말합니다. 그녀는 누군가가 자신의 소셜 미디어 사진을 이용해 음란물 영상을 만들었다고 의심합니다.

마틴은 해당 사이트에 연락해 영상을 삭제하려고 했지만 소용이 없었습니다. 일부는 응답하지 않았습니다. 다른 게시물은 삭제되었지만 곧 다시 게시되었습니다. 마틴 여사는 "이길 수 없다"고 말했다. "그건 영원히 인터넷에 남아서 당신의 인생을 망칠 수도 있어요."

기술 회사들의 문제 해결 노력

일부 AI 모델은 음란물 이미지에 대한 접근이 제한되어 있다고 말합니다.

OpenAI는 DALL-E 이미지 생성기를 훈련하는 데 사용된 데이터에서 음란물 콘텐츠를 제거했으며, 이를 통해 음란물 콘텐츠가 오용될 가능성을 제한할 수 있을 것이라고 밝혔습니다. 이 회사는 또한 요청을 걸러내고 사용자가 유명인과 유명 정치인 의 AI 이미지를 만드는 것을 차단한다고 밝혔습니다. 또 다른 모델인 Midjourney 역시 특정 키워드 사용을 차단하고 사용자에게 문제가 있는 이미지를 관리자에게 표시하도록 권장합니다.

한편, Stability AI는 사용자가 민감한 이미지를 만드는 것을 방지하는 업데이트도 출시했습니다. 일부 사용자가 해당 기술을 사용해 유명인을 모티브로 한 누드 사진을 만들고 있다는 보고가 나온 이후에 이러한 변화가 이루어졌습니다.

Stability AI 대변인인 모테즈 비샤라는 이 필터가 키워드와 이미지 인식과 같은 다른 기술을 조합하여 누드를 감지한다고 말했습니다. 하지만 회사가 앱의 오픈 소스 코드를 공개했기 때문에 사용자는 소프트웨어를조작하여 원하는 것은 무엇이든 만들 수 있습니다.

일부 소셜 미디어 회사도 자사 플랫폼을 유해한 자료로부터 보호하기 위해 규칙을 강화했습니다.

지난달 TikTok은 모든 딥페이크 또는 조작된 콘텐츠에 가짜이거나 어떤 식으로든 변경되었음을 나타내는 라벨을 붙여야 한다고 밝혔습니다.

게임 플랫폼인 트위치도 인기 스트리머인 아트리옥이 1월 말 라이브 스트리밍 중에 브라우저에서 딥페이크 포르노 사이트를 여는 모습이 포착된 이후 딥페이크에 대한 정책을 최근 업데이트했습니다.

Apple과 Google은 최근 자사 제품을 마케팅하기 위해 성적 암시가 담긴 딥페이크 영상을 게재한 앱을 앱 스토어에서 삭제했다고 밝혔습니다.

서양 가수에서 K팝 아이돌로.

딥페이크 포르노에 대한 연구는 드물지만, AI 회사 DeepTrace Labs가 2019년에 발표한 보고서에 따르면 딥페이크 포르노는 거의 전적으로 여성을 대상으로 무기화되었다고 합니다. 가장 많이 타겟이 된 대상은 서양 여배우였고, 그 다음으로는 K팝 가수들이었다.

메타 대변인 다니 레버는 성명을 통해 회사 정책은 AI가 생성한 성인 콘텐츠와 AI가 생성하지 않은 성인 콘텐츠를 모두 제한하고 있으며, 딥페이크를 생성하는 앱 페이지에 대한 광고도 플랫폼에서 제한한다고 밝혔습니다.

2월에는 Meta와 Only****, Porn*** 같은 성인 사이트가 Take It Down이라는 온라인 도구에 참여하기 시작했습니다. 이 도구를 사용하면 청소년이 인터넷에서 성적으로 노골적인 이미지와 비디오를 신고할 수 있습니다. 이 사이트는 비밀리에 촬영된 비디오와 AI가 생성한 비디오를 모두 지원합니다.

황톤 (AP에 따르면)

원천: https://www.congluan.vn/deepfake-khieu-dam-van-nan-trong-cuoc-dua-ai-post244021.html