기업이 알아야 할 AI 챗봇 도입 시 보안 위험에 대한 경고

해커가 AI 챗봇을 쉽게 우회하여 악의적인 작업을 수행할 수 있으므로 기업은 AI 도구를 운영에 통합하는 데 신중해야 합니다.

영국의 국가 사이버 보안 기관은 AI 챗봇을 비즈니스 운영에 통합하는 조직에 경고를 내렸으며, AI 도구가 악의적인 작업을 수행하도록 쉽게 조작될 수 있다는 연구 결과가 늘어나고 있습니다.

영국 사이버 보안 센터(NCSC)는 8월 30일 블로그 게시물을 통해 전문가들이 아직도 대규모 언어 모델(LLM)이라 불리는 "인간처럼" 상호 작용할 수 있는 알고리즘과 관련된 잠재적인 사이버 보안 문제를 완전히 이해하지 못하고 있다고 밝혔습니다.

NCSC는 특히 이러한 모델이 비즈니스 프로세스에 내장될 경우 위험을 초래할 수 있다고 경고합니다. 최근 학계와 연구자들은 AI에 악성 명령을 내리거나 내장된 안전 장치를 우회하는 방식으로 AI를 "속이는" 방법을 찾아냈습니다.

생성적 AI 도구는 채팅봇으로 활용되고 있으며, 인터넷 검색뿐만 아니라 고객 서비스, 영업 전화도 대체할 것으로 기대됩니다.

예를 들어, 해커가 올바른 "지침"을 설정하면 은행에 배치된 AI 챗봇이 승인되지 않은 거래를 하도록 속을 수 있습니다.

따라서 NCSC는 최근의 AI 베타 릴리스를 언급하면서 "LLM을 중심으로 서비스를 구축하는 조직은 베타 버전의 새 제품을 사용하는 것만큼 신중해야 합니다."라고 경고합니다.

최근 Reuters/Ipsos 설문 ​​조사에 따르면 많은 기업 직원이 ChatGPT와 같은 도구를 사용하여 이메일 초안 작성, 문서 요약, 초기 조사 데이터 수집과 같은 기본 작업을 수행하는 것으로 나타났습니다.

이들 중 직원 중 약 10%만이 상사가 외부 AI 도구 사용을 명시적으로 금지했다고 답했고, 25%는 회사에서 이 기술의 사용을 허용하는지 몰랐습니다.

보안 회사 RiverSafe의 최고기술책임자(CTO)인 오셀로카 오비오라는 기업 리더들이 필요한 점검을 수행하지 않으면 AI를 비즈니스 운영에 통합하려는 경쟁이 "치명적인 결과"를 초래할 것이라고 말했습니다. "리더들은 AI 트렌드를 쫓기보다는 신중하게 생각하고 이점과 위험, 그리고 비즈니스 보호에 필요한 보안 조치를 평가해야 합니다."

가짜 뉴스와 해커들

전 세계 당국 또한 OpenAI의 ChatGPT와 같은 LLM의 확산을 규제하고자 노력하고 있습니다. 신기술의 보안에 대한 우려는 정책적 초점으로 여겨지고 있으며, 최근 미국과 캐나다에서는 해커들이 생성 AI를 이용하여 불법 행위를 저지르는 사례가 증가하고 있습니다.

한 해커는 악성 콘텐츠로 "훈련"된 LLM을 발견하여 송금 사기를 제작하도록 지시했다고 밝혔습니다. AI는 수신자에게 긴급 청구서 납부를 요청하는 이메일을 생성하여 응답했습니다.

2023년 7월, 캐나다 사이버 보안 센터는 "이메일 사기, 악성코드, 허위 정보 유포, 허위 진술"에 AI가 사용되는 사례가 증가하고 있음을 확인했습니다. 센터장 사미 쿠리는 사이버 범죄자들이 이 새로운 기술을 적극적으로 악용하고 있다고 주장했습니다.

이 리더는 또한 AI를 사용하여 맬웨어를 작성하는 것은 아직 초기 단계에 있지만 AI 모델이 너무 빠르게 발전하고 있어 악의적인 위험을 제어하는 ​​것이 불가능해지는 지점에 쉽게 도달할 것이라고 덧붙였습니다.

앞서 2023년 3월, 유럽 경찰 기관인 유로폴(Europol)도 ChatGPT가 "기본적인 영어만 사용하더라도 매우 사실적인 방식으로 조직과 개인을 사칭할 수 있다"는 보고서를 발표했습니다. 같은 달, 영국 국가 사이버 보안 센터(NCSC)는 "LLM이 사이버 공격을 지원하는 데 사용될 수 있다"고 밝혔습니다.

원천: https://baoquocte.vn/canh-bao-nhung-rui-ro-bao-mat-khi-tich-hop-chatbot-ai-ma-doanh-nghiep-can-biet-240805.html