이미지, 영상부터 AI 노래까지: 소셜 네트워크에서 AI 콘텐츠의 '토네이도'를 조심하세요

trí tuệ nhân tạo - Ảnh 1. — AI가 편집하고 추가한 이미지와 비디오가 점점 더 많이 소셜 네트워크에 게시되어 조회수를 끌어 모으고 있습니다. - 사진: DUC THIEN

과거에는 가짜 사진을 만들려면 일반 사용자가 포토샵 전문가를 고용해야 했지만, 오늘날에는 AI를 이용하면 5분도 안 되는 시간에 기본적인 기술만 있으면 어디서나 가짜 사진을 만들 수 있습니다.

AI가 이미지, 비디오, 노래를 만들어낼 때... 너무 현실적이어서 믿기 어려울 정도입니다.

매일 페이스북을 정기적으로 서핑하는 호안 미(HCMC) 홍보 담당자는 사용자들이 AI 도구를 사용해 게시하는 콘텐츠가 점점 더 많아지고 있다고 말했습니다.

"친구나 그룹 멤버들이 올린 사진들이 너무 생생해서 그들이 말하지 않으면 AI가 사용되었는지 알 수 없을 정도예요. 애니메이션, 상상, 단편 영화, 또는 실제로 일어나는 사건과 관련된 영상 등 점점 더 많은 영상들이 AI 도구로 만들어지지만, 저는 알 수 없을 거예요."라고 마이 씨는 말했습니다.

이미지와 영상뿐 아니라 소셜 네트워크 유튜브에도 "AI 가수"가 부르거나 작곡한 노래가 많이 있습니다. 많은 사용자들이 이 새로운 경험에 열광하며 친구들과 소셜 네트워크에 공유하기 위해 경쟁하고 있습니다.

"공개되지 않으면 AI 가수인지 아닌지 알 수 없어요. 베트남 사이버 공간에 AI 콘텐츠가 점점 더 널리 퍼지고 있어요. 저 같은 일반 사용자들은 곧 어떤 콘텐츠가 실제 사람이 만든 것인지, 어떤 콘텐츠가 AI가 만든 것인지, 아니면 AI가 개입한 것인지 구분하기 어려워질 거예요."라고 칸 하(호치민시)는 말했습니다.

최근 베트남의 많은 소셜 네트워크 플랫폼에서 장애인의 제품을 판매하는 영상과 라이브 스트리밍이 등장하면서 온라인 커뮤니티에서 공감과 공유가 더욱 활발해졌습니다.

그러나 이후 온라인 커뮤니티를 통해 AI를 이용해 일반인을 장애인으로 만드는 사례가 다수 폭로되었습니다. 이러한 수법은 시청자들의 공감을 이용해 상품을 판매하거나 사기 행위를 저지르는 것을 목적으로 합니다.

많은 기술 전문가들은 최근 소셜 네트워크에서 장애인, 병자, 또는 소외 계층의 이미지를 담은 판매 영상을 게시하여 공감을 호소하는 계정이 증가하고 있다고 지적합니다. 그러나 현실은 이러한 콘텐츠의 상당수가 AI 도구를 사용하여 제작되거나 편집되어, 일반인을 장애인으로 위장하여 영리 또는 사기 목적으로 이용되고 있다는 것을 보여줍니다.

세계 최고의 생체 인증 기술 공급업체인 iProov의 아시아 태평양 지역 담당 부사장인 밀코 라도틱(Milko Radotic)은 투오이 트레(Tuoi Tre)와의 인터뷰에서 다음과 같이 경고했습니다. "저희 연구에 따르면 참여자의 99.9%가 딥페이크를 인식하지 못합니다. 오늘날의 첨단 감지 도구조차도 많은 어려움에 직면해 있습니다."

디지털 사용자의 저항력 증가

LovinBot AI Company의 창립자 겸 CEO인 Dang Huu Son(응용연구인적자원개발원 AIOV 부소장)은 Google이 Nano Banana, Veo 3, ByteDance가 Seedream 4를 출시한 이후, 그리고 OpenAI가 GPT Image를 출시한 이후 AI 시장이 매우 활발해졌으며 많은 결과를 가져왔다고 말했습니다.

손 씨는 "기술이 오늘날처럼 쉽게 접할 수 있었던 적은 없었습니다. 이 모든 기술은 원본 사진의 거의 90%, 심지어 99%까지 얼굴을 '복제'할 수 있는 매우 강력한 AI 모델입니다."라고 말했습니다.

과거에는 가짜 사진을 만들려면 일반 사용자가 포토샵 전문가를 고용해야 했지만, 오늘날 AI 덕분에 기본적인 기술만 있으면 5분도 채 걸리지 않고 가짜 사진과 가짜 영상을 잘라내어 붙여넣고 뉴스 같은 효과를 더해 엄청난 속도로 퍼뜨릴 수 있습니다.

손 씨는 "가짜 뉴스는 반복되고, 밀도가 높고, 접근이 용이하기 때문에 매일 접하는 많은 사람들이 가짜 뉴스를 사실이라고 믿게 됩니다. 따라서 이러한 문제를 해결하기 위한 해결책이 필요합니다."라고 말했습니다.

Gianty Vietnam Company의 기술 이사인 Trinh Nguyen Thien Phuoc 씨에 따르면, AI가 생성한 콘텐츠를 구별하기 위해서는 세 가지 계층이 필요합니다. (1) 사용자 검증 기술(골든 룰 포함), (2) 콘텐츠 자격 증명(C2PA), 워터마킹 식별 기호(SynthID, AudioSeal), 딥페이크 감지기와 같은 기술 도구, (3) 플랫폼, 네트워크 운영자, 은행 등 관련 당사자 간의 조정 프로세스...

특히, 황금률은 30~60초 안에 매우 빠르게 실행되어야 합니다. 여기에는 이상한 링크를 클릭하지 말고, 공식 앱/웹사이트에 접속하여 확인하며, 조치를 취하도록 강요하는 키워드(OTP/송금/긴급)를 만나면 즉시 중단하는 것이 포함됩니다.

동시에 사용자는 믿기 전에 두 개의 독립적인 출처에서 확인해야 합니다. 날짜, 시간, 맥락(새로운 것으로 위장한 오래된 뉴스)을 확인하세요. 직접 찾은 공식 전화번호로 다시 전화하고, 다른 사람이 알려준 전화번호는 사용하지 마세요. 이미지와 비디오를 이용하면 사용자는 관련 결과를 검색할 수 있습니다.

많은 전문가들은 AI가 만들어내는 가짜 콘텐츠의 급증에 대처하는 가장 근본적인 해결책은 대중의 인식을 높이는 것이라고 생각합니다. 단순히 기술적 조치에만 집중하기보다는, 사람들의 정보 습득 습관을 바꾸기 위한 교육 프로그램, 경연 대회, 또는 실제 상황 시뮬레이션을 구축하는 것이 필수적입니다.

젊은이들, 특히 학생들에게는 온라인 콘테스트, 유명인이나 KOL과의 미디어 캠페인을 결합하는 것이 자연스러운 관심을 불러일으켜 학습과 경험을 돕는 동시에 가짜 뉴스와 가짜 영상을 감별하는 기술을 익히는 데 도움이 될 수 있습니다. 한편, 특히 농촌 지역의 노인들은 그림이 담긴 전단지, 교육용 비디오, 문화 시설이나 지역 사회 활동에서의 상영과 같이 더 익숙하고 직관적인 형태가 필요합니다.

"각 집단에 적합한 접근 방식은 단기적인 활동에 그치지 않고 탄탄하고 장기적인 인식 기반을 구축하는 데 도움이 될 것입니다. 예를 들어, 일부 부대에서는 사용자가 웹 서핑이나 소셜 네트워크에서 뉴스를 확인할 수 있도록 크롬 브라우저에 설치할 수 있는 확장 프로그램을 개발했습니다."라고 당 후 손 씨는 말했습니다.

AI를 이용해 가짜 AI를 감지하다

최근 Honor 휴대폰 회사는 새로 출시된 휴대폰 제품군에 AI 딥페이크 감지 기능을 통합했습니다. 이 기능은 3초 안에 이미지와 음성을 분석하여 Messenger, Zalo, Viber, Google Meet 등의 앱에서 가짜 콘텐츠를 바로 경고해 주며, 사용자를 첨단 사기로부터 보호하는 "디지털 방패" 역할을 합니다.

앞서 2025년 9월, MoMo는 iProov와 협력하여 Dynamic Liveness 기술을 구축하여 사용자가 실제 사용자인지, 올바른 신원을 가지고 있는지, 거래 시점에 사용자가 현장에 있는지 확인하고 딥페이크, 가짜 비디오 또는 이미지를 사용한 사기를 방지한다고 발표했습니다.

금융과 같은 고위험 분야에서는 사기를 방지하고, 무단 액세스를 방지하고, 플랫폼에 대한 사용자 신뢰를 유지하는 데 이러한 수준의 보안이 매우 중요합니다.

주제로 돌아가기

덕

출처: https://tuoitre.vn/tu-hinh-anh-video-den-ca-khuc-ai-can-trong-con-loc-noi-dung-ai-tren-mang-xa-hoi-20251109232702736.htm