해커, AI 활용해 구글 제미니 공격

BGR 에 따르면, 새로운 연구 보고서에서 '펀-튜닝'이라는 놀라운 기술을 공개했습니다. 이 기술은 AI(인공지능) 자체를 사용해 Google의 Gemini를 포함한 다른 고급 AI 모델을 표적으로 삼는 매우 효과적인 즉석 주입 공격을 자동으로 생성합니다.

이 방법은 AI를 그 어느 때보다 더 빠르고, 저렴하고, 쉽게 '해킹'할 수 있게 만들어, AI 관련 사이버 보안 전쟁에서 새로운 국면을 열었습니다.

악당이 AI를 이용해 AI를 파괴할 때의 위험

즉시 주입은 공격자가 AI 모델의 입력 데이터에 악성 명령어를 몰래 삽입하는 기술입니다(예: 소스 코드의 주석, 웹의 숨겨진 텍스트). AI를 '속여' 사전 프로그래밍된 안전 규칙을 우회하도록 유도하여 민감한 데이터 유출, 허위 정보 제공, 기타 위험한 행위 등 심각한 결과를 초래하는 것이 목표입니다.

해커들은 AI를 이용해 AI를 공격하고 있다

사진: 링크드인 스크린샷

이전에는 이러한 공격을 성공적으로 수행하려면, 특히 Gemini나 GPT-4와 같은 '폐쇄형' 모델에서 이를 수행하려면 복잡하고 시간이 많이 소요되는 수동 테스트가 필요한 경우가 많았습니다.

하지만 Fun-Tuning은 판도를 완전히 바꿔놓았습니다. 여러 대학의 연구진으로 구성된 팀이 개발한 이 방법은 구글이 제미니 사용자에게 무료로 제공하는 바로 그 조정 애플리케이션 프로그래밍 인터페이스(API)를 교묘하게 활용합니다.

튜닝 중 제미니 모델의 미묘한 반응(예: 데이터 오류에 대한 대응 방식)을 분석함으로써, Fun-Tuning은 악성 명령을 은폐하는 데 가장 효과적인 '접두사'와 '접미사'를 자동으로 결정할 수 있습니다. 이를 통해 AI가 공격자의 악의적인 의도에 순응할 가능성이 크게 높아집니다.

테스트 결과에 따르면 Fun-Tuning은 일부 버전의 Gemini에서 최대 82%의 성공률을 달성하는데, 이는 기존 공격 방법의 30% 미만을 능가하는 수치입니다.

Fun-Tuning을 더욱 위험하게 만드는 것은 낮은 비용입니다. 구글의 튜닝 API는 무료로 제공되므로 효과적인 공격을 구축하는 데 드는 계산 비용은 10달러 정도로 낮을 수 있습니다. 더욱이 연구원들은 제미니의 한 버전을 위해 설계된 공격이 다른 버전에도 쉽게 성공적으로 적용될 수 있다는 것을 발견했으며, 이는 광범위한 공격 가능성을 열어주었습니다.

구글은 Fun-Tuning의 위협을 인지하고 있다고 밝혔지만, 튜닝 API의 작동 방식을 변경할지에 대해서는 아직 언급하지 않았습니다. 또한, 펀 튜닝이 악용하는 정보를 튜닝 프로세스에서 제거하면 합법적인 개발자에게 API의 유용성이 떨어질 것이라는 방어적 딜레마도 지적했습니다. 반대로, 현재 상태로 두면 악의적인 행위자들이 계속해서 악용할 수 있는 발판이 될 것입니다.

펀튜닝(Fun-Tuning)의 등장은 사이버 공간의 대립이 새롭고 더욱 복잡한 국면으로 접어들었음을 분명히 경고합니다. AI는 이제 단순한 표적이 아니라 악의적인 행위자들의 손에 쥐어진 도구이자 무기가 되었습니다.

출처: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm