모든 각도에서 공격하라.
구글은 '제미니 나노 바나나'라는 새로운 인공지능(AI) 제품을 출시했습니다. 이 제품은 대규모 언어 학습 AI(LLM)처럼 글쓰기나 추론이 가능한 것이 아니라, 사진 편집에 특화된 AI입니다. 많은 사용자들이 이 도구에 큰 기대를 걸고 있지만, 동시에 몇 가지 단점도 존재합니다.

컨덕티파이 AI의 최고 과학 책임자인 응우옌 홍 푸크는 개인적인 의견을 밝히며 “이는 AI 기술과 윤리적 한계 측면에서 ‘퇴보’와 같다”고 말했다. 그는 “제미니 나노 바나나는 효과적인 이미지 편집 기능을 가지고 있다. 하지만 구글이 제미니 나노 바나나의 검열을 해제하고, 장벽과 제한 장치를 완화함으로써 이 AI가 유명인과 매우 흡사한 이미지, 선정적인 이미지, 민감한 이미지 등을 만들어낼 수 있게 되었다”고 지적했다.
응우옌 홍 푸크 씨에 따르면, 이러한 기능 덕분에 제미니 나노 바나나는 인공지능 전문가조차 구별할 수 없을 정도로 사실적인 가짜 이미지를 만들어낼 수 있어, 유명 정치인 의 가짜 사진을 만들어 허위 정보를 유포하거나, 소셜 미디어에서 개인을 대상으로 인공지능이 생성한 사진을 조작하여 명예훼손하는 등 새로운 사기 및 사이버 보안 위험을 초래할 수 있다고 합니다.
게다가 수십 가지의 AI 사진 편집 도구가 인터넷을 강타하면서 딥페이크 사기는 멈출 기미를 보이지 않고 있습니다. 보안 기관의 통계에 따르면 딥페이크 기술은 특히 기업 임원과 같은 고가치 인물을 표적으로 하는 피싱 캠페인에 이용됩니다. 2024년에는 전 세계적으로 14만~15만 건의 사례가 발생했으며, 그중 75%가 CEO와 고위 임원을 대상으로 했습니다. 딥페이크로 인한 전 세계 경제적 손실은 2027년까지 연간 약 400억 달러, 즉 32% 증가할 수 있습니다.
최근 인공지능(AI) 기업 앤트로픽(Anthropic)은 해외 해커들이 벌인 사이버 공격을 탐지하고 차단했는데, 이는 자동화된 공격 활동을 조율하기 위해 AI를 사용한 최초의 사례로 기록되었습니다. 구체적으로, 해커들은 AI 시스템을 이용해 침입 작전을 계획, 지휘, 실행까지 수행했는데, 이는 사이버 공격의 규모와 속도를 확대할 위험이 있는 "우려스러운" 현상입니다.
국가 사이버보안협회 사기방지조직의 응오 민 히에우(Ngo Minh Hieu) 국장은 AI 기반 도구가 실제 사람을 사용하는 것보다 사기 속도를 약 20배까지 높인다고 밝혔습니다. 사기범들은 AI에 사기 시나리오를 입력하여 분석하게 하고, 시스템은 즉시 피해자와 자동으로 대화를 시작합니다. AI는 초기 데이터만으로 피해자의 의도를 파악하고 실시간으로 소통할 수 있습니다. 가장 정교한 수법은 '중간자 공격(Man-in-the-Middle attack)'으로, 사용자가 영상 인증(얼굴 녹화 또는 명령 입력 등)을 수행하는 순간 해커가 전송되는 데이터를 조작하는 것입니다. 해커는 미리 제작된 딥페이크 영상을 삽입하여 사용자의 실제 데이터 스트림을 대체함으로써 인증 과정을 우회합니다. 이러한 수법으로 은행 및 금융기관의 보안 시스템 또한 위협받고 있습니다.
더 나은 데이터 관리
인공지능(AI)이 점점 더 보편화됨에 따라 보안 및 개인정보 보호 위험 또한 크게 증가하고 있습니다. 원격 서버에 저장되고 처리되는 데이터는 해커와 사이버 범죄자들에게 매력적인 공격 대상이 될 것입니다. 미국 사이버보안협회(NCSA)의 자료에 따르면, 2025년 2분기에만 AI 기반 사이버 공격 건수가 62% 증가하여 전 세계적으로 최대 180억 달러의 손실을 초래했습니다.
전문가들은 데이터 보호가 매우 중요하다고 생각합니다. 그러나 수많은 암시장 플랫폼에서는 월 20달러 정도의 저렴한 가격으로 데이터 수집 및 판매가 공공연하게 이루어지고 있습니다. 사이버 범죄자들은 언어 모델을 모방하지만 범죄 목적으로 맞춤 제작된 도구를 사용할 수 있습니다. 이러한 도구는 악성 소프트웨어를 생성하고 심지어 안티바이러스 소프트웨어를 우회할 수도 있습니다.
베트남에서는 2023년 4월 17일부터 시행된 시행령 제13/2023/ND-CP호를 통해 개인정보 보호를 규정하고 있습니다. 또한, 2026년 1월 1일 시행 예정인 개인정보보호법은 개인정보 유출 및 오용 위험에 대응하기 위한 더욱 강력한 법적 장치를 마련할 것입니다. 그러나 국가사이버보안협회에 따르면, 법 집행의 실효성을 강화하기 위해서는 대중의 인식 제고, 기업의 사회적 책임 강화, 그리고 규제 기관의 처리 역량 증대라는 세 가지 측면에서 노력이 필요합니다. 기술적 조치 외에도, 개인은 의심스러운 징후를 식별하고 위험한 디지털 상호작용으로부터 스스로를 적극적으로 보호하는 능력을 키워야 합니다.
카스퍼스키는 다크 AI(표준 보안 제어 범위를 벗어나 작동하는 대규모 언어 모델(LLM) 배포를 지칭하는 용어로, 피싱, 조작, 사이버 공격 또는 데이터 악용과 같은 행위를 가능하게 함) 악용에 대해 경고했습니다. 아시아 태평양 지역에서 다크 AI가 증가함에 따라 조직과 개인은 점점 더 정교해지고 탐지하기 어려운 사이버 공격에 대비해야 합니다.
카스퍼스키의 중동, 터키, 아프리카 및 아시아 태평양 지역 글로벌 연구 분석팀(GReAT) 팀장인 세르게이 로즈킨은 현재 인공지능 악용의 한 가지 사례로 블랙햇 GPT 모델의 등장을 꼽았습니다. 이러한 AI 모델은 악성 소프트웨어 제작, 대규모 공격을 위한 유창하고 설득력 있는 피싱 이메일 작성, 딥페이크 음성 및 영상 제작, 심지어 모의 공격 지원과 같은 비윤리적이고 불법적인 목적으로 특별히 개발되거나 수정된 것입니다.
카스퍼스키 전문가들은 개인과 기업 모두 차세대 보안 솔루션을 활용하여 AI 기반 악성코드를 탐지하고 데이터 보호를 최우선으로 고려해야 한다고 권고합니다. 기업은 AI 기반 취약점 악용을 추적하기 위한 실시간 모니터링 도구를 도입하고, AI가 블랙존에 접근하는 것을 제한하고 데이터 유출 위험을 줄이기 위해 접근 제어 및 직원 교육을 강화해야 합니다. 또한, 위협을 모니터링하고 사고에 신속하게 대응할 수 있는 사이버 보안 운영 센터를 구축해야 합니다.
출처: https://www.sggp.org.vn/bao-mat-du-lieu-thoi-ai-post824210.html






댓글 (0)