해커들이 인공지능을 이용해 구글의 제미니 위성을 공격했습니다.

BGR 에 따르면, 최근 발표된 새로운 연구 보고서에서 인공지능(AI)을 이용해 구글의 제미니를 포함한 다른 고급 AI 모델을 대상으로 매우 효과적인 프롬프트 주입 공격을 자동으로 생성하는 '펀튜닝(Fun-Tuning)'이라는 위험한 기법이 밝혀졌다고 합니다.

이 방법은 인공지능 '해킹'을 그 어느 때보다 빠르고 저렴하며 쉽게 만들어, 인공지능 관련 사이버 보안 전쟁에 새로운 국면을 가져왔습니다.

악의적인 행위자가 인공지능을 이용해 인공지능을 파괴할 위험성.

프롬프트 주입은 악의적인 공격자가 AI 모델의 입력 데이터에 악성 명령어를 은밀하게 삽입하는 기술입니다(예: 소스 코드의 주석, 웹상의 숨겨진 텍스트). 목표는 AI를 '속여' 미리 프로그래밍된 안전 규칙을 무시하게 만드는 것이며, 이는 민감한 데이터 유출, 허위 정보 제공 또는 기타 위험한 행동 수행과 같은 심각한 결과를 초래할 수 있습니다.

해커들이 인공지능을 이용해 인공지능을 공격하고 있다.

사진: 링크드인 스크린샷

이전에는 이러한 공격, 특히 Gemini나 GPT-4와 같은 '폐쇄형' 모델에 대한 공격을 성공적으로 수행하려면 복잡하고 시간이 많이 소요되는 수동 테스트가 필요한 경우가 많았습니다.

하지만 펀튜닝(Fun-Tuning)은 판도를 완전히 바꿔놓았습니다. 여러 대학의 연구진으로 구성된 팀이 개발한 이 방법은 구글이 제미니(Gemini) 사용자에게 무료로 제공하는 정교한 애플리케이션 프로그래밍 인터페이스(API)를 영리하게 활용합니다.

Fun-Tuning은 튜닝 과정에서 Gemini 모델의 미묘한 반응(예: 데이터 오류에 대한 반응)을 분석하여 악의적인 문구를 숨기는 데 가장 효과적인 '접두사'와 '접미사'를 자동으로 식별할 수 있습니다. 이는 AI가 공격자의 악의적인 의도에 따를 가능성을 크게 높입니다.

테스트 결과에 따르면 Fun-Tuning은 Gemini의 일부 버전에서 최대 82%의 성공률을 달성했는데, 이는 기존 공격 방식이 달성한 30% 미만의 성공률보다 훨씬 뛰어난 수치입니다.

펀튜닝의 위험성을 더욱 높이는 것은 실행 비용이 극히 낮다는 점입니다. 구글의 튜닝 API는 무료로 제공되므로 효과적인 공격을 구현하는 데 드는 계산 비용은 10달러 정도로 매우 낮을 수 있습니다. 더욱이 연구원들은 특정 버전의 제미니를 대상으로 설계된 공격이 다른 버전에도 쉽게 적용될 수 있다는 사실을 발견했으며, 이는 광범위한 공격으로 이어질 위험을 내포하고 있습니다.

구글은 펀튜닝(Fun-Tuning) 기법으로 인한 위협을 인지하고 있다고 밝혔지만, 튜닝 API 작동 방식을 변경할 것인지에 대해서는 아직 언급하지 않았습니다. 연구팀은 또한 이러한 공격에 대한 방어의 어려움을 지적했습니다. 펀튜닝이 악용하는 정보가 튜닝 과정에서 제거될 경우, 해당 API는 정당한 개발자에게 유용성이 떨어지게 됩니다. 반대로, 변경되지 않은 상태로 유지될 경우 악의적인 공격자들이 이를 악용할 수 있는 발판으로 계속 남게 될 것입니다.

펀튜닝(Fun-Tuning)의 등장은 사이버 공간에서의 대결이 새롭고 더욱 복잡한 국면에 접어들었음을 분명히 보여주는 경고입니다. 이제 AI는 단순한 공격 대상이 아니라 악의적인 행위자들의 손에 든 도구이자 무기가 되었습니다.

출처: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm