소셜 네트워크 X는 가수 테일러 스위프트의 딥페이크 포르노 이미지가 유포되면서 해당 검색을 차단해야 했습니다. X 플랫폼에서 테일러 스위프트를 검색하면 오류 메시지와 페이지 새로고침 요청이 표시됩니다. X의 사업 운영 이사인 조 베나로크는 이번 조치가 사전 조치이며, 신중한 조치라고 밝혔습니다.

ofdhxx6v.png
AI가 만든 테일러 스위프트 누드 사진이 X와 페이스북에 넘쳐났다가 삭제됐다. (사진: 로이터)

AI가 생성한 테일러 스위프트의 음란물 이미지가 1월 24일 X 플랫폼에 유포되기 시작하자, 팬들은 딥페이크 영상을 "묻어버리기" 위해 실제 사진들을 잇따라 게시했습니다. 팬들은 또한 X 플랫폼에 해당 사진들을 삭제하고 가짜 사진을 공유한 계정을 신고하는 등 더욱 강력한 조치를 취할 것을 요구했습니다. "테일러 스위프트를 보호하라"라는 슬로건 또한 플랫폼의 주요 트렌드가 되었습니다.

하루 뒤, 신고된 계정은 정지되거나 제한되었지만, X에서 AI 포르노를 찾는 것은 여전히 ​​쉬웠습니다.

X는 주말 성명을 통해 당사자의 허락 없이 노골적인 이미지를 공유하는 것을 금지하며 그러한 콘텐츠에 대해서는 무관용 정책을 고수한다고 밝혔습니다. 이 성명에는 스위프트의 이름이 직접 언급되지 않았습니다.

X는 "저희 팀은 확인된 모든 이미지를 적극적으로 삭제하고 있으며, 해당 이미지를 게시한 계정에 적절한 조치를 취하고 있습니다. 추가적인 위반 사항이 발견되면 즉시 해결하고 콘텐츠를 삭제할 수 있도록 상황을 면밀히 모니터링할 것입니다." 라고 밝혔습니다.

생성 AI의 발전으로 타인의 음란물 이미지를 위조하는 것이 더욱 쉬워졌습니다. 일론 머스크가 2022년 인수한 X의 경우, 검열 규제가 상당 부분 완화되었고, 그는 재정 안정을 위해 수천 명의 직원을 해고했습니다.

NBC 뉴스에 따르면 테일러 스위프트의 딥페이크 영상이 어디에서 유래되었는지는 불분명하지만, 가짜 유명인 포르노 이미지를 유포하는 것으로 알려진 웹사이트에서 온 것임을 나타내는 워터마크가 삽입되어 있었습니다. 해당 웹사이트에는 AI 딥페이크 전용 섹션도 마련되어 있습니다. 스위프트의 가짜 사진은 게시 후 19시간 만에 2,700만 회 이상 조회되었고, 26만 개 이상의 '좋아요'를 받았습니다.

이 사건 이후, 마이크로소프트 CEO 사티아 나델라는 AI 규제를 위한 더 많은 보호 장치 마련을 촉구했습니다. NBC 뉴스와의 인터뷰에서 그는 더욱 안전한 콘텐츠 제작을 위해 이 새로운 기술을 모니터링할 책임이 있다고 강조했습니다.

스위프트의 딥페이크 영상에 대한 질문에 마이크로소프트 최고경영자는 "네, 우리는 행동해야 합니다. 안전한 온라인 세상은 우리 모두에게 이롭다고 생각합니다. 콘텐츠 제작자와 소비자 모두에게 완전히 안전하지 않은 온라인 세상을 원하는 사람은 아무도 없을 것입니다. 따라서 이 문제에 대해 신속하게 조치를 취해야 합니다."라고 말했습니다.

404 미디어에 따르면, 텔레그램 채팅방에서 마이크로소프트의 AI 기반 디자이너 도구를 사용하여 테일러 스위프트의 사진을 위조했다고 밝혔습니다. 나델라 CEO는 404 미디어의 정보에 대해 직접적인 언급을 하지 않았지만, 마이크로소프트는 해당 뉴스 사이트에 보낸 성명에서 해당 보도에 대해 조사 중이며 적절한 조치를 취할 것이라고 밝혔습니다.

바이든 행정부는 테일러 스위프트의 음란물 딥페이크 영상이 퍼지는 것을 "놀랍다"고 규정하고, 소셜 미디어 회사들이 동의 없이 허위 정보와 민감한 이미지가 퍼지는 것을 방지하기 위한 규정을 시행하는 "중요한 역할"을 검토할 것을 촉구했습니다.

2023년 10월, 바이든 대통령은 신기술과 그 위험을 규제하는 데 초점을 맞춘 AI에 대한 행정명령에 서명했습니다.

(더힐, WSJ에 따르면)