
Le cadre d'évaluation comparative VLegal-Bench développé par le groupe de recherche C-OpenAI est enregistré sur le portail arXiv de l'Université Cornell, aux États-Unis, la dernière version ayant été mise à jour le 25 décembre 2025.

Le cadre d'évaluation comparative VLegal-Bench développé par le groupe de recherche C-OpenAI est enregistré sur le portail arXiv de l'Université Cornell, aux États-Unis, la dernière version ayant été mise à jour le 25 décembre 2025.
CMC OpenAI, une filiale de CMC Technology Group, vient d'annoncer le modèle de langage juridique vietnamien CMC-AI-Legal-32B ainsi que le benchmark VLegal-Bench.
Ceci est considéré comme une étape importante dans la mise en place des bases du développement d'assistants virtuels juridiques en langue vietnamienne hautement précis et compatibles avec le système juridique national.
Selon CMC OpenAI, la maîtrise simultanée des modèles de langage à grande échelle et des métriques d'évaluation est cruciale dans des domaines sensibles comme le droit, où les exigences en matière de précision, de vérifiabilité et de conformité aux normes sont élevées. La maîtrise à la fois du modèle et du référentiel de normes garantit que les applications d'IA sont non seulement performantes, mais aussi qu'elles peuvent être évaluées de manière objective et transparente.
Le modèle CMC-AI-Legal-32B est l'élément phare de cette annonce. Conçu à partir de modèles de langage modernes à grande échelle, il a été minutieusement adapté au système juridique vietnamien. Sur le benchmark VLegal-Bench, ce modèle a obtenu d'excellents résultats, se classant premier sur 6 tâches et excellant notamment dans les problèmes nécessitant un raisonnement et une argumentation juridiques complexes.
L'équipe de recherche a déclaré que les modèles commerciaux généraux tels que GPT-40, Claude ou Gemini restent performants dans les tâches courantes telles que l'identification ou la recherche d'informations.
Cependant, lorsqu'il s'agit de tâches nécessitant un raisonnement juridique complexe ou la création de textes juridiques conformes à la structure et aux normes de référence vietnamiennes, les performances de ces modèles diminuent considérablement.
Par ailleurs, les modèles entraînés dans le contexte et les spécificités du droit vietnamien ont donné des résultats supérieurs.
Parallèlement au modèle, le banc d'essai VLegal-Bench constitue le second pilier de cet écosystème. Ce banc d'essai comprend 10 450 échantillons de données avec des réponses standardisées, répartis en 22 tâches et conçus selon cinq niveaux d'inférence croissants : identification et extraction de clauses, inférence multi-étapes, interprétation et génération de contenu juridique, jusqu'à l'évaluation des aspects éthiques, équitables et biaisés du modèle.
VLegal-Bench a été conçu pour refléter fidèlement les spécificités du système juridique vietnamien, fondé sur la tradition de droit civil. Il prend en compte la structure hiérarchique des documents juridiques, leur force exécutoire, le lien entre modification et remplacement, ainsi que l'obligation de citer des lois précises. Chaque échantillon de données est associé à des documents juridiques officiels, permettant ainsi de vérifier et de retracer leur origine.
Les entreprises qui poursuivent une vision de construction d'une plateforme d'IA ouverte, sécurisée et détenue localement encourageront la communauté des affaires et les développeurs à participer à la création d'applications d'IA sur une plateforme partagée.
CMC OpenAI prévoit de publier de manière transparente son code source, ses données et son processus d'évaluation, tout en invitant des experts nationaux et internationaux à participer afin d'améliorer progressivement cet écosystème.
Dans un avenir proche, CMC OpenAI prévoit de publier le code source et le référentiel de données de VLegal-Bench, d'étendre le site web de comparaison de modèles et d'annoncer des versions ouvertes par étapes tout au long de 2026. L'objectif est d'établir une plateforme standardisée dotée d'un mécanisme de vérification clair, au service du développement d'applications d'IA spécialisées et contribuant au développement durable de l'écosystème d'IA du Vietnam.
MINH HAI
Source : https://tuoitre.vn/cmc-openai-phat-develop-mo-hinh-ai-phap-ly-tieng-viet-20251225075949777.htm