AI 사진과 동영상이 페이스북에 넘쳐난다: 겉보기에는 무해해 보이지만 매우 위험하다

다시 보니, 페이스북 페이지에서 감상적인 게시물을 설명하기 위해 AI가 찍은 사진일 뿐이라는 것을 깨달았습니다. 주목할 점은, 그녀가 AI에게 "거의" 속아 넘어간 것이 이번이 두 번째였다는 것입니다. 그 전에는 "'은퇴한 사람들'이 '여름 휴가객'을 만나는" 영상을 실제 사람과 실제 사건으로 착각하기도 했습니다.

미디어 업계에 종사하며 AI 콘텐츠를 꾸준히 접하는 린 여사는 이 기술이 너무 빠르고 정교하게 발전해서 진짜와 가짜를 구분하기 어렵다는 것을 인정합니다.

스크린샷 1749203761184.png — 페이스북에서 화제가 된 이 사진은 AI가 만든 것입니다. 스크린샷.

전문가들은 이러한 견해에 동의합니다. Google Veo 3, Kling AI, DALL·E 3, Midjourney와 같은 도구들은 놀라울 정도로 사실적인 이미지와 비디오를 제작할 수 있는 역량을 갖추었습니다.

블록체인 기술 및 인공지능 연구소 ABAII의 교육 책임자인 도 누 람(Do Nhu Lam) 씨는 멀티모달 기술과 고급 언어 모델 덕분에 이러한 도구가 이미지, 사운드, 얼굴 표정, 자연스러운 움직임을 동기화하여 매우 설득력 있는 제품을 만들 수 있다고 지적했습니다.

W-사진: Do Nhu Lam 씨.jpg — 블록체인 기술 및 인공지능 연구소(ABAII)의 교육 책임자인 도 누 람(Do Nhu Lam) 씨는 첨단 AI 기술이 매우 설득력 있는 제품을 만들어낸다고 말했습니다. 사진: NVCC

램 씨는 AI의 발전이 콘텐츠 제작, 광고, 엔터테인먼트, 교육 등의 분야에 큰 잠재력을 열어준다고 말했습니다. 그러나 "진정한" 재현 능력은 현실과 가상 세계의 경계가 점점 모호해짐에 따라 윤리, 통제, 정보 보안 측면에서 많은 과제를 안겨줍니다.

린 씨가 본 페이스북 게시물에는 거의 30만 건의 상호작용과 1만 6천 건 이상의 댓글이 달렸습니다. 많은 사용자들이 이것이 AI 일러스트라는 사실을 모른 채 서둘러 축하하거나 감정을 표현했습니다. 좀 더 "냉정한" 일부 사람들은 AI에 속은 "네티즌들이 너무 순진하다"고 비판했습니다.

페이스북 그룹과 포럼에서 사용자들이 제작하고 공유하는 AI 영상을 쉽게 찾아볼 수 있습니다. 특히 Google Veo 3의 등장으로 영상의 품질이 크게 향상되었는데, 특히 캐릭터의 입 모양과 어울리는 음성이 돋보입니다. 주의 깊게 시청하지 않으면 시청자들이 쉽게 혼란스러워할 수 있습니다.

AI 시대에 정신 건강을 유지하는 방법

AI가 만든 사진과 영상은 구분하기 어려워 사용자, 특히 기술에 능숙하지 않은 취약 계층에게 큰 위험을 초래합니다. SCS 사이버 보안 주식회사의 인공지능(CAIO) 부 탄 탕(Vu Thanh Thang) 이사에 따르면, 사이버 범죄자들은 AI를 이용하여 생체 인식 시스템 우회, eKYC(전자 고객확인) 등 사기를 저지르고, 유명인을 사칭하여 허위 정보를 유포하며 대중의 혼란을 야기하고 있습니다. 첨단 기술을 사용하는 범죄자들이 AI를 이용하여 딥페이크 사진을 제작하고, 친척을 사칭하여 화상 통화를 통해 돈을 갈취하는 사례가 빈번하게 발생하고 있습니다.

부 탄 탕 씨.jpg — SCS 사이버 보안 주식회사의 인공지능(CAIO) 부문 부 탄 탕(Vu Thanh Thang) 씨는 모든 것을 위조할 수 있는 시대에 접어들었다고 말했습니다. 사진: NVCC

탕 씨에 따르면, 기업들 또한 AI 범죄자들의 잠재적인 표적이 될 수 있습니다. AI 딥페이크를 이용하여 직원을 사칭하고, 보안 시스템을 우회하여 출퇴근 기록을 확인하고, 기업 리더를 사칭하여 명예를 훼손하고 평판을 훼손할 수 있습니다.

ABAII의 도 누 람(Do Nhu Lam) 씨는 같은 의견을 공유하며 AI가 개인 사용자에게 미치는 세 가지 결과, 즉 금융 사기, 명예 훼손, 개인정보 악용을 지적했다. 기업 입장에서는 아룹(Arup) 홍콩 지사 직원들이 딥페이크 영상 회의에 참여하도록 속아 요청받은 대로 돈을 송금한 사건으로 2,500만 달러(한화 약 280억 원)의 손실을 입었다.

최신 바이럴 영상 생성 AI 도구, Veo 3에 대해 알아야 할 모든 것 Google의 최신 영상 생성 AI 모델인 Veo 3는 이미지와 동기화되는 사실적인 사운드를 생성하는 능력으로 인상적입니다.

또 다른 심각한 위험은 사람들이 진짜와 가짜를 구별할 수 없게 되면 미디어와 공식 뉴스 출처에 대한 대중의 신뢰가 침식될 것이라는 점입니다.

램 씨는 로이터 연구소의 2024년 보고서를 인용하며, 미디어 플랫폼에서 뉴스를 신뢰하는 글로벌 사용자의 비율이 딥페이크 콘텐츠의 등장으로 인해 10년 만에 최저 수준으로 떨어졌다고 밝혔습니다.

전문가 부 탄 탕(Vu Thanh Thang)은 "우리는 모든 정보가 위조될 수 있고 더 이상 '위험'이 아닌 시대에 살고 있습니다."라고 말했습니다. 따라서 평화로운 삶을 위해서는 인식을 높이고 개인 보호 조치를 적용하며, AI에 대해 더 많이 알아야 합니다.

두 전문가는 사용자들이 결정을 내리기 전에 항상 정보를 검증하고 인증해야 하며, 가짜 콘텐츠를 식별할 수 있는 지식을 갖추고, 온라인에서 개인 정보 공유를 제한하며, 가짜 콘텐츠 유포 행위를 신고해야 한다고 권고했습니다. 램 씨는 "사용자들은 적극적으로 정보를 제공함으로써만 진정으로 자신을 보호하고 디지털 시대에 더욱 안전한 사이버 공간을 구축하는 데 기여할 수 있습니다." 라고 말했습니다.