기업은 AI 챗봇 도구를 통합할 때 보안 위험을 평가해야 합니다.

[광고_1]

영국 사이버 보안 기관은 인공지능(AI) 챗봇을 자사 제품과 서비스에 통합하는 조직에 경고하면서, 연구 결과에 따르면 AI 도구는 악의적인 작업을 수행하도록 쉽게 조작될 수 있다고 밝혔습니다.

영국 사이버 보안 센터(NCSC)는 8월 30일 블로그 게시물을 통해 전문가들이 아직 인간과 상호작용할 수 있는 알고리즘, 즉 대규모 언어 모델(LLM)과 관련된 잠재적인 사이버 보안 문제를 파악하지 못하고 있다고 밝혔습니다.

NCSC는 이러한 모델이 기업의 비즈니스 프로세스에 도입되면 위험이 따른다고 밝혔습니다. 최근 학자들과 연구자들은 AI를 속여 챗봇에게 사기를 저지르거나 내장된 보호 장벽을 뚫도록 지시하는 방법을 찾아냈습니다.

생성적 AI 도구는 채팅봇으로 활용되고 있으며, 인터넷 검색뿐만 아니라 고객 서비스, 영업 전화도 대체할 것으로 기대됩니다.

예를 들어, 은행에서 사용하는 AI 챗봇은 해커가 올바른 "지시"를 내리면 승인되지 않은 거래를 하도록 속일 수 있습니다.

NCSC는 최근 AI 출시 제품을 언급하며 "LLM을 중심으로 서비스를 구축하는 조직은 베타 버전의 새로운 제품을 사용한다는 점에서 신중해야 한다"고 말했습니다.

최근 Reuters/Ipsos 여론조사에 따르면 많은 기업 직원들이 ChatGPT와 같은 도구를 사용하여 이메일 초안 작성, 문서 요약, 초기 조사 데이터 수집과 같은 기본 작업을 수행하는 것으로 나타났습니다.

이들 중 직원 중 10%만이 상사가 외부 AI 도구 사용을 명시적으로 금지했다고 답했고, 25%는 회사에서 이 기술 사용을 허용하는지 몰랐습니다.

보안 회사 RiverSafe의 최고기술책임자(CTO)인 오셀로카 오비오라는 기업 리더들이 필요한 점검을 실시하지 못하면 AI를 비즈니스 모델에 통합하려는 경쟁이 "재앙적인 결과"를 초래할 것이라고 말했습니다. "AI 열풍에 뛰어들기보다는 고위 임원진이 신중하게 생각하고 이점/위험 평가를 실시하고, 기업을 보호하는 데 필요한 보안 조치를 강구해야 합니다."

가짜 뉴스와 해커들

전 세계적 으로 정부 역시 OpenAI의 ChatGPT와 같은 LLM의 증가를 규제하고자 노력하고 있습니다. 새로운 기술의 보안에 대한 우려 역시 정책 초점이며, 미국과 캐나다는 최근 해커가 생성적 AI를 악용하는 사례가 증가하고 있다고 밝혔습니다.

한 해커는 악성 문서로 "훈련"된 LLM을 찾아 자금 이체 사기를 꾸며보라고 요청했다고 말하기도 했습니다. 이에 AI는 수신자에게 긴급 청구서 지불을 요청하는 3단락짜리 이메일을 작성했습니다.

2023년 7월, 캐나다 사이버 보안 센터는 "이메일 사기, 맬웨어, 허위 정보 및 허위 정보"에 AI가 사용되는 사례가 증가하고 있다고 밝혔습니다. 센터 소장인 사미 쿠리는 자세한 증거를 제시하지 않았지만, 사이버 범죄자들이 이 새로운 기술을 적극적으로 악용하고 있다는 것을 확인했습니다.

또한 이 리더는 악성코드를 작성하는 데 AI를 사용하는 것은 아직 초기 단계이지만, AI 모델이 너무 빠르게 발전하고 있어 악성 위험을 제어하지 못하기 쉽다고 말했습니다.

앞서 2023년 3월 유럽 경찰 기구 유로폴은 ChatGPT가 "기본적인 영어만 사용하더라도 매우 사실적인 방식으로 조직과 개인을 사칭할 수 있다"는 보고서를 발표했습니다. 같은 달, 영국 국가 사이버 보안 센터는 "LLM이 사이버 공격을 지원하는 데 사용될 수 있다"고 밝혔습니다.

(로이터통신에 따르면)

[광고_2]
원천