딥페이크 포르노, AI 경쟁의 문제

딥페이크는 인공지능(AI) 또는 머신러닝(ML)을 사용하여 제작되거나 디지털 방식으로 변형된 비디오 및 이미지입니다. 이 기술을 이용해 제작된 음란물이 인터넷에 처음 유포되기 시작한 것은 몇 년 전 레딧(Reddit) 사용자가 유명인의 얼굴이 합성된 가짜 음란물 영상을 공유하면서부터입니다.

사진: GI

누구든 피해자가 될 수 있습니다.

그 이후로 딥페이크 제작자들은 온라인 인플루언서, 언론인, 그리고 공개 프로필을 가진 다른 사람들을 대상으로 유사한 영상과 이미지를 지속적으로 게시해 왔습니다. 이러한 영상은 수많은 웹사이트에 수천 개 존재합니다.

인공지능 기술이 점점 더 접근하기 쉬워짐에 따라, 사용자는 누구든 동의 없이 "포르노 영화 배우"로 만들거나, 더 위험하게는 이 기술을 이용해 타인을 비방하거나 협박할 수 있게 되었습니다.

전문가들은 인터넷에서 수십억 장의 이미지를 학습하고 기존 데이터를 사용하여 새로운 콘텐츠를 생성하는 일반화된 AI 도구가 개발됨에 따라 이 문제가 더욱 악화될 수 있다고 말합니다.

기술 남용 방지 교육을 제공하는 단체인 EndTAB의 설립자 아담 닷지는 “현실은 기술이 계속해서 확산되고, 발전하고, 더 쉽고 접근하기 쉬워질 것이라는 점입니다.”라고 말했습니다. “그리고 이러한 추세가 지속되는 한, 사람들은 온라인 성폭력, 딥페이크 음란물, 가짜 나체 이미지 등을 통해 타인에게 해를 끼치기 위해 기술을 계속해서 악용할 것입니다.”

호주 퍼스에 사는 노엘 마틴(28세)은 이러한 일을 직접 경험했습니다. 10년 전, 호기심에 구글에서 자신의 사진을 검색하다가 딥페이크로 만들어진 자신의 음란 이미지를 발견했습니다. 마틴은 지금까지도 누가 이런 가짜 음란 이미지나 영상을 만들었는지 알지 못한다고 말합니다. 그녀는 누군가가 자신의 소셜 미디어에 있는 이미지를 이용해 음란 영상을 제작했을 거라고 추측합니다.

마틴은 해당 웹사이트들에 연락해 동영상을 삭제해달라고 여러 차례 요청했지만, 모두 허사였다. 어떤 사이트는 응답조차 없었고, 어떤 사이트는 삭제했다가 곧바로 다시 업로드했다. "어떻게 해도 안 돼요." 마틴은 말했다. "인터넷에 영원히 남아있을 거고, 인생을 망칠 수도 있어요."

기술 기업들이 상황을 바로잡기 위해 기울이는 노력.

일부 AI 모델은 음란물 이미지 접근을 제한했다고 밝혔습니다.

오픈아이디는 자사의 이미지 생성 도구인 DALL-E 학습에 사용되는 데이터에서 음란물을 제거하여 오용 가능성을 줄였다고 밝혔습니다. 또한, 요청을 필터링하고 유명 인사나 저명한 정치인 의 AI 이미지를 생성하는 것을 차단한다고 설명했습니다. 또 다른 모델인 미드저니 역시 특정 키워드 사용을 차단하고 사용자가 문제가 있는 이미지를 신고하여 관리자에게 알릴 수 있도록 지원합니다.

한편, Stability AI는 사용자들이 민감한 이미지를 생성하는 것을 방지하기 위한 업데이트를 출시했습니다. 이러한 변경 사항은 일부 사용자들이 해당 기술을 이용해 유명인을 모방한 누드 사진을 제작했다는 보고가 나온 후 이루어졌습니다.

Stability AI 대변인 모테즈 비샤라는 해당 필터가 키워드와 이미지 인식 등의 기술을 조합하여 나체를 감지한다고 밝혔습니다. 하지만 회사가 해당 애플리케이션의 오픈 소스 코드를 공개했기 때문에 사용자는 소프트웨어를 조작하여 원하는 대로 이미지를 만들 수 있습니다 .

일부 소셜 미디어 기업들은 유해 콘텐츠로부터 플랫폼을 더 잘 보호하기 위해 규칙을 강화하기도 했습니다.

지난달 틱톡은 딥페이크 또는 조작된 모든 콘텐츠에는 가짜이거나 어떤 식으로든 수정되었음을 나타내는 라벨을 붙여야 한다고 밝혔습니다.

게임 플랫폼 트위치는 지난 1월 말 인기 스트리머 아트리오크가 생방송 도중 브라우저를 통해 딥페이크 음란 웹사이트에 접속한 사실이 밝혀진 후 딥페이크 이미지 관련 정책을 업데이트했습니다.

애플과 구글은 최근 성적으로 자극적인 딥페이크 영상을 이용해 제품을 홍보하는 앱을 앱스토어에서 삭제했다고 발표했습니다.

서양 가수부터 K팝 아이돌까지.

음란물 딥페이크에 대한 연구는 널리 퍼져 있지는 않지만, AI 기업 딥트레이스 랩스가 2019년에 발표한 보고서에 따르면 이러한 기술은 거의 전적으로 여성을 겨냥해 사용되고 있는 것으로 나타났습니다. 가장 많이 표적이 되는 인물은 서양 여배우들이며, 그 다음으로는 K팝 가수들입니다.

메타 대변인 다니 레버는 성명에서 자사 정책은 AI 기반 및 비AI 기반 성인 콘텐츠 모두를 제한하며, 딥페이크 제작 앱 페이지가 자사 플랫폼에 광고하는 것도 제한한다고 밝혔습니다.

지난 2월, 메타는 Only****, Porn***과 같은 성인 웹사이트들과 함께 십대 청소년들이 자신의 음란 이미지와 동영상을 인터넷에서 신고할 수 있는 온라인 도구인 'Take It Down'에 참여하기 시작했습니다. 이 사이트는 몰래 촬영한 영상과 AI가 생성한 영상 모두를 처리할 수 있습니다.

호앙 톤 (AP 통신에 따르면)

원천: https://www.congluan.vn/deepfake-khieu-dam-van-nan-trong-cuoc-dua-ai-post244021.html