바이트댄스의 새로운 AI 모델이 '딥페이크' 기능 덕분에 화제를 모으고 있다.

틱톡의 모회사인 바이트댄스는 이미지와 오디오를 실감나는 영상 으로 변환할 수 있는 인공지능(AI) 모델을 공개했습니다.

바이트댄스 개발팀에 따르면, 옴니휴먼-1(OmniHuman-1)이라는 이름의 이 옴니모달 모델은 "기존 영상 제작 방식보다 훨씬 뛰어난 품질"로 캐릭터가 말하고, 노래하고, 움직이는 역동적인 영상을 제작할 수 있습니다.

사실적인 이미지, 비디오, 오디오를 생성하는 인공지능 기술, 일명 '딥페이크'가 사기 및 엔터테인먼트 분야에서 점점 더 많이 사용되고 있습니다.

바이트댄스는 현재 중국에서 가장 주목받는 AI 기업 중 하나입니다. 이 회사의 더우바오 앱은 중국 본토 사용자들 사이에서 가장 인기 있는 앱입니다.

옴니휴먼-1은 아직 일반에 널리 공개되지 않았지만, 샘플 영상은 빠르게 확산되고 있습니다.

특히 눈에 띄는 데모는 알베르트 아인슈타인이 연설하는 모습을 담은 23초짜리 영상이었다. 테크크런치는 이 앱의 결과물을 "놀랍도록 훌륭하다"며 "현재까지 나온 딥페이크 영상 중 가장 사실적이다"라고 평했다.

개발자들에 따르면 OmniHuman-1은 음성이나 노래와 같은 오디오 데이터와 함께 참조 데이터로 사용할 이미지 한 장만 있으면 어떤 길이의 비디오든 제작할 수 있습니다.

출력 비디오의 프레임 속도를 조절할 수 있을 뿐 아니라, 비디오 속 캐릭터의 "신체 비율"도 조절할 수 있습니다.

바이트댄스는 현재 중국에서 가장 주목받는 AI 기업 중 하나입니다. (사진: 테크크런치)

게다가 미공개 영상 콘텐츠 19,000시간 분량으로 학습된 이 AI 모델은 기존 영상을 편집할 수 있을 뿐 아니라 사람의 손과 발 움직임까지도 매우 사실적으로 변형할 수 있습니다.

하지만 바이트댄스는 옴니휴먼-1이 완벽하지 않으며, 특정 자세를 취하는 데 여전히 어려움을 겪고 있고, "저화질 참조 이미지"로는 최상의 영상을 얻을 수 없다는 점도 인정했습니다.

바이트댄스의 새로운 AI 모델은 미국 정부의 기술 수출 제한 노력에도 불구하고 중국이 이룬 발전을 보여준다.

우려사항

지난해 정치 관련 딥페이크 영상이 전 세계적으로 확산되었습니다. 몰도바에서는 마이아 산두 대통령이 사임 연설을 하는 모습을 모방한 딥페이크 영상이 유포되었습니다.

남아프리카공화국에서는 래퍼 에미넴이 남아공 야당을 지지하는 것처럼 보이는 딥페이크 영상이 총선을 앞두고 큰 화제를 모으고 있습니다.

딥페이크는 금융 범죄에도 점점 더 많이 사용되고 있습니다. 소비자들은 유명인이 투자 상품을 추천하거나 가짜 투자 기회를 제공하는 것처럼 위장한 딥페이크 영상에 속아 사기를 당하고 있으며, 기업들은 고위 임원을 사칭한 사람들에게 수백만 달러의 손실을 입고 있습니다.

딜로이트에 따르면, AI가 생성한 콘텐츠로 인한 사기 손실액은 2023년에 120억 달러 이상이었으며, 미국에서는 2027년까지 400억 달러에 이를 수 있다고 합니다.

지난 2월, 수백 명의 AI 전문가들이 딥페이크에 대한 더욱 엄격한 규제를 촉구하는 서한에 서명했습니다. 미국에는 딥페이크를 범죄로 규정하는 연방법도 없지만, 10개 이상의 주에서 AI 기반 위조를 금지하는 법률을 제정했습니다.

하지만 딥페이크를 탐지하는 것은 쉽지 않습니다. 일부 소셜 미디어 플랫폼과 검색 엔진이 딥페이크 확산을 제한하기 위한 조치를 시행하고 있지만, 온라인상의 딥페이크 콘텐츠 양은 여전히 놀라운 속도로 증가하고 있습니다.

2024년 5월 신원 확인 회사인 주미오(Jumio)의 설문조사에 따르면, 참가자의 60%가 지난 1년 동안 딥페이크를 접했다고 답했고, 72%는 매일 딥페이크에 속을까 봐 걱정한다고 답했으며, 대다수는 AI로 생성된 가짜 영상의 확산을 막기 위한 법안 제정을 지지했습니다.