수십억 달러 투자로 법률 인식 AI 구축

중견 로펌이 완전 비공개 인공지능 시스템 구축을 위해 개발자를 고용하는 데 3만 5천 달러(약 10억 베트남 동)를 지출했다는 소식이 IT 업계를 들썩이게 하고 있습니다. 놀랍게도 대부분의 의견은 이러한 "낭비"를 비판하는 대신, 이 금액이 "매우 합리적"이고 심지어 "저렴"하다고 말합니다.

이야기는 u/eeko_systems라는 개발자가 Reddit에 자신의 커리어에서 가장 큰 거래를 공유하면서 시작됩니다. 이 로펌은 ChatGPT나 Claude와 같은 기존 AI 서비스를 사용하는 대신, 어떤 공급업체에도 의존하지 않는 완전히 독립적인 "AI 요새"를 구축하는 데 투자하기로 결정했습니다.

이 시스템은 Meta의 LLaMA 3 70B 모델을 기반으로 구축되었으며, CoreWeave 플랫폼에 구축되고 현재 AI에 사용 가능한 가장 강력한 그래픽 프로세서인 듀얼 A100 GPU를 탑재했습니다. 특별한 점은 모든 데이터 처리 및 처리가 로펌이 제어하는 환경에서 전적으로 이루어지며, 단 한 바이트의 정보도 시스템 외부로 유출되지 않는다는 것입니다.

이 시스템의 복잡성을 이해하려면 수천 페이지의 법률 문서를 몇 초 만에 읽고 이해하고, 복잡한 법률 질문에 답하고, 사건을 요약하고, 심지어 계약서를 자세히 분석할 수 있는 "슈퍼 비서"를 상상해 보세요. 이 모든 것은 로펌의 모든 변호사가 사용할 수 있는 간단한 웹 인터페이스를 통해 이루어집니다.

이 시스템의 기반 기술은 정교한 구성 요소의 조합을 필요로 합니다. ChromaDB는 거대한 "디지털 도서관" 역할을 하며, 모든 문서를 AI가 이해할 수 있는 데이터로 변환합니다.

LlamaIndex는 AI가 수많은 문서에서 정확한 정보를 검색하고 추출하도록 돕는 "지능형 비서" 역할을 합니다. 한편, n8n은 새 문서 업로드부터 Slack 및 이메일을 통한 알림 전송까지 모든 것을 자동화하는 "코디네이터" 역할을 수행합니다.

기술 업계를 경외하게 만드는 것은 기능뿐만 아니라 보안 수준입니다. 이 시스템은 JWT 인증, IP 기반 접근 제어, 그리고 모든 활동에 대한 완전한 로깅 기능을 갖추고 있습니다. 이는 정보 유출이 심각한 법적 결과로 이어질 수 있는 법조계에서 필수적인 요건입니다.

그런데 왜 이런 시스템에 35,000달러가 "저렴하다"고 여겨질까요? 답은 운영 비용에 있습니다. CoreWeave에서 A100 GPU 두 개를 임대하는 데는 월 6,000달러에서 8,000달러가 들 수 있으며, 이는 인프라 비용만 연간 72,000달러에서 96,000달러에 달한다는 것을 의미합니다. 전체 시스템을 구축하는 데 드는 35,000달러는 4~5개월치 운영 비용에 불과합니다.

더욱이 로펌이 자체 AI 팀을 구성하기로 결정하면 AI, DevOps, 보안 전문가에 매년 최소 40만 달러를 투자해야 하며, 개발 과정에 소요되는 시간과 위험은 말할 것도 없습니다. 마이크로소프트나 구글과 같은 대기업의 엔터프라이즈 솔루션은 일반적으로 10만 달러에서 50만 달러 사이의 비용이 들지만, 여전히 타사 API에 의존하고 있어 많은 로펌이 감당하기 어려운 수준입니다.

흥미롭게도, 이 이야기가 돌고 있을 때 또 다른 중요한 사건이 발생했습니다. 중국의 AI 스타트업 DeepSeek이 R1 모델의 "라이트" 버전을 출시했는데, 기존에는 수십 개의 GPU를 사용했지만 이제는 단 하나의 GPU로만 구동할 수 있게 된 것입니다.

하지만 DeepSeek의 등장은 미래에 대한 의문을 제기합니다. 중국 스타트업의 기술을 사용하는 것이 미국 로펌의 규정 준수 요건을 충족할 수 있을까요? 소규모 모델의 성능이 복잡한 법률 업무를 처리하기에 충분할까요? 이러한 질문들은 로펌들이 신중하게 고려해야 할 사항입니다.

흥미롭게도, 다른 많은 업계가 여전히 AI 도입을 주저하는 반면, 로펌들은 놀라운 결단력을 보이고 있습니다. 아마도 법조계에서는 시간이 곧 돈과 같기 때문일 것입니다. 수천 페이지의 문서를 몇 주가 아닌 단 몇 분 만에 분석할 수 있는 AI는 엄청난 이점을 제공할 수 있습니다.