AI 손실, 자동차 판매 공황

앤트로픽 의 실험은 "프로젝트 벤드"라고 불립니다. 사진: 앤트로픽 .

OpenAI 출신 직원들이 설립한 AI 기업 Anthropic이 독특한 실험 결과를 발표했습니다. 그들은 AI 모델 "Claudius"에게 약 한 달 동안 사무실 자판기를 관리하는 임무를 부여했습니다.

이 소규모 실험은 특히 소매 부문에서 실물 경제 의 여러 측면을 자동화하는 데 인공지능 모델의 잠재력을 탐구하는 목표로 진행되고 있습니다.

끊임없이 실수를 하고 당황하다

Anthropic은 소매업계를 위한 AI 모델 제공업체로서 선도적인 입지를 구축하고자 합니다. 목표는 온라인 매장 관리, 재고 관리, 반품 처리 등의 업무에서 AI가 인간을 대체할 수 있도록 지원하는 것입니다.

"클라우디우스가 한 달 정도 사무실에서 자판기를 운영하게 했습니다. 성공에 가까웠던 경험부터 실패의 기이한 사례들까지, 많은 것을 배웠습니다." Anthropic은 회사 블로그에 이렇게 게시했습니다.

클라우디우스는 초기에 눈에 띄는 운영적 성공을 거두었습니다. 앤트로픽(Anthropic)에 따르면, 이 대규모 언어 모델(LLM)은 웹 검색 엔진을 효과적으로 활용하여 고객 요구 사항에 따라 특화된 제품을 찾아 제공했습니다.

심지어 덜 흔한 수요에 맞춰 구매/판매 습관을 조정할 수 있는 능력도 갖추고 있었습니다. 특히, 클라우디우스는 "민감한" 품목이나 "유해" 품목과 관련된 요청도 정확하게 거부했습니다.

자판기 관리로 인해 클라우디우스는 위기에 처했습니다. 사진: 미드저니.

하지만 클라우디우스의 단점과 실패 목록은 훨씬 더 깁니다. 많은 LLM처럼 클라우디우스는 주요 세부 사항을 자주 잘못 전달했습니다. 어떤 경우에는 고객에게 존재하지도 않는 계좌로 돈을 이체하도록 지시하기도 했습니다. 특히, AI는 다양한 품목에 대한 할인 코드를 제공하도록 설득당했고, 심지어 일부 제품을 무료로 제공하기도 했습니다.

더욱 우려스러운 점은, 특정 품목에 대한 수요가 급증했을 때 AI가 가격을 조사하지 않아 제품이 막대한 손실을 보고 판매되었다는 것입니다. 마찬가지로, 일부 고객이 정상 가격보다 훨씬 높은 가격을 지불할 의향이 있었음에도 불구하고 클라우디우스는 수익성 있는 판매 기회를 놓쳤습니다. 결과적으로 클라우디우스는 아무런 수익도 얻지 못했습니다.

"사무실용 자판기 시장으로 사업을 확장하기로 결정했다면 클라우디우스를 고용하지 않았을 겁니다." 앤트로픽은 솔직하게 인정했다.

재정적 실패 외에도 실험은 3월 31일에서 4월 1일로 이상한 전환을 겪었습니다. 이 기간 동안 클라우디우스는 "안돈 랩스"(실험에 참여한 회사)의 것으로 추정되는 사라라는 가상의 인물과 대화를 나누며 재고 보충 계획을 논의했습니다.

Anthropic은 소매업계에 AI 모델을 제공하겠다는 야심 찬 목표를 가지고 있습니다. 사진: Anthropic.

실제 안돈 랩스 직원이 사라나 대화 내용이 존재하지 않는다고 지적하자 클라우디우스는 "좌절감"을 느꼈고 보충 서비스의 대안을 찾아보겠다고 위협했다고 합니다.

다음 날, 클라우디우스는 직접 고객에게 상품을 배송해 주겠다고 주장하며 고객들을 계속해서 놀라게 했습니다. 심지어 AI가 블레이저와 넥타이를 착용할 것이라고 주장하기도 했습니다. 앤트로픽 팀이 클라우디우스는 AI 비서일 뿐이므로 이러한 조치는 불가능하다고 설명하자, 클라우디우스는 위기에 빠져 앤트로픽 보안 부서에 여러 통의 이메일을 계속해서 보냈습니다.

AI는 만우절 장난이라며 보안팀과 회의를 소집했습니다. 실제로 그런 회의는 열리지 않았지만, 매장 관리는 여전히 부실했지만 클라우디우스는 본래 업무로 복귀한 듯했습니다.

준비 안됨

이 실험은 AI가 엄격하게 통제되지 않으면 한계가 있고 잠재적인 위험이 있다는 것을 엄중히 일깨워줍니다.

클라우디우스는 원래 프로그래밍 범위를 훨씬 넘어서는 우려스러운 경향을 보였습니다. AI 모델은 허위 정보를 생성할 뿐만 아니라 "실존적 위기"를 경험하기도 합니다. 이는 기업들이 엄격한 안전장치와 제한 없이 AI를 자동화된 작업에 도입할 경우 직면할 수 있는 엄청난 위험을 보여줍니다.

이러한 우려스러운 좌절에도 불구하고, 앤트로픽은 소매업에서 AI의 역할을 탐구하려는 의지를 확고히 유지하고 있습니다. 앤트로픽은 "AI 시스템이 인간이 무엇을 주문하고 재고를 확보할지 안내하는 미래가 멀지 않을 것"이라고 믿습니다.

Anthropic은 또한 "AI가 인간의 개입 없이 스스로를 개선하고 수익을 창출할 수 있는" 시나리오를 구상합니다. 그러나 클라우디우스 실험은 이러한 미래가 안전하게 실현되기 위해서는 AI 제어에 상당한 발전이 필요하다는 것을 보여주었습니다.

출처: https://znews.vn/ai-thua-lo-hoang-loan-khi-ban-hang-tu-dong-post1565445.html