
C-OpenAI 연구 그룹이 개발한 VLegal-Bench 벤치마킹 프레임워크는 미국 코넬 대학교의 arXiv 포털에 등록되어 있으며, 최신 버전은 2025년 12월 25일에 업데이트되었습니다.

C-OpenAI 연구 그룹이 개발한 VLegal-Bench 벤치마킹 프레임워크는 미국 코넬 대학교의 arXiv 포털에 등록되어 있으며, 최신 버전은 2025년 12월 25일에 업데이트되었습니다.
CMC Technology Group의 자회사인 CMC OpenAI는 베트남어 법률 빅 언어 모델인 CMC-AI-Legal-32B와 VLegal-Bench 벤치마크를 발표했습니다.
이는 국내 법률 체계와 호환되는 고정밀 베트남어 법률 가상 비서 개발의 토대를 마련하는 중요한 단계로 여겨집니다.
CMC OpenAI에 따르면, 법률 분야와 같이 정확성, 검증 가능성, 표준 준수에 대한 요구가 높은 민감한 분야에서는 대규모 언어 모델과 평가 지표를 동시에 숙달하는 접근 방식이 매우 중요합니다. 모델과 표준을 모두 확보함으로써 AI 애플리케이션의 성능이 뛰어날 뿐만 아니라 객관적이고 투명하게 평가할 수 있습니다.
이번 발표의 핵심은 최신 대규모 언어 모델의 기반 위에 구축되고 베트남 법률 시스템에 맞게 세심하게 개선된 CMC-AI-Legal-32B 모델입니다. 이 모델은 VLegal-Bench 벤치마크에서 22개 과제 중 6개에서 최고 성능을 기록하며 전반적인 성능에서 선두를 차지했고, 특히 여러 단계의 법적 추론 및 논증이 필요한 문제에서 탁월한 성능을 보였습니다.
연구팀은 GPT-4o, Claude, Gemini와 같은 일반적인 상용 모델들이 식별이나 정보 검색과 같은 일반적인 작업에서 여전히 효과적으로 작동한다고 밝혔습니다.
하지만 복잡한 법적 추론이 필요한 작업이나 베트남 법률 구조 및 참조 기준에 따라 법률 문서를 작성하는 작업의 경우, 이러한 모델의 성능이 크게 저하됩니다.
한편, 베트남 법률의 맥락과 특수성을 고려하여 훈련된 모델들이 더 우수한 결과를 보였다.
모델과 더불어 VLegal-Bench 벤치마크는 이 생태계의 두 번째 핵심 요소로 여겨집니다. 이 벤치마크는 표준화된 답변이 포함된 10,450개의 데이터 샘플로 구성되어 있으며, 조항 식별 및 검색, 다단계 추론, 법률 콘텐츠 해석 및 생성, 모델의 윤리적, 공정성 및 편향성 평가에 이르기까지 점진적으로 증가하는 5단계 추론 수준에 따라 설계된 22개의 작업으로 나뉩니다.
VLegal-Bench는 민법 전통에 기반한 베트남 법률 시스템의 특성을 면밀히 반영하도록 구축되었으며, 여기에는 법률 문서의 위계 구조, 법적 효력, 개정 및 대체 간의 관계, 특정 법률 인용 요건 등이 포함됩니다. 각 데이터 샘플은 중앙 집중식 법률 문서와 연결되어 있어 출처를 검증하고 추적할 수 있습니다.
개방적이고 안전하며 국내 소유의 AI 플랫폼 구축이라는 비전을 추구하는 기업은 기업 커뮤니티와 개발자들이 공유 플랫폼 상에서 AI 애플리케이션을 개발하는 데 참여하도록 장려할 것입니다.
CMC OpenAI는 소스 코드, 데이터 및 평가 프로세스를 투명하게 공개하는 동시에 국내외 전문가의 참여를 유도하여 생태계를 점진적으로 개선해 나갈 계획입니다.
CMC OpenAI는 가까운 시일 내에 VLegal-Bench의 소스 코드와 데이터 저장소를 공개하고, 모델 비교 웹사이트를 확장하며, 2026년까지 단계적으로 오픈 버전을 발표할 계획입니다. 목표는 명확한 검증 메커니즘을 갖춘 표준화된 플랫폼을 구축하여 전문적인 AI 애플리케이션 개발을 지원하고 베트남 AI 생태계의 지속 가능한 발전에 기여하는 것입니다.
민하이
출처: https://tuoitre.vn/cmc-openai-phat-develop-mo-hinh-ai-phap-ly-tieng-viet-20251225075949777.htm