Tillkännagivande av bedömningskriterierna för resonemang och interaktion för vietnamesiska juridikstudenter

VMLU (Vietnamese Multitask Language Understanding), som först introducerades 2023, har blivit en banbrytande standarduppsättning för "Make in Vietnam", vilket motiverar många inhemska forskargrupper att förbättra kvaliteten på vietnamesiska stora språkmodeller (LLM).

Enligt statistik tillkännagav VMLU år 2024 45 juridikexamina på rankningen, mottog utvärderingsförfrågningar från fler än 155 organisationer och individer, sammanfattade 691 nedladdningar av utvärderingskriterierna och 3 729 juridikutvärderingar från plattformen. Standarderna används av många inhemska och utländska organisationer som VinBigData, VNPT AI, Viettel Solutions, University of Science and Technology - VNU-HCM, UONLP x Ontocord - University of Oregon (USA), DAMO Academy - Alibaba Group, SDSRV-teamen - Samsung...

Zalo AI och JAIST Institute introducerar ny version av VMLU.

I takt med att AI-modeller blir alltmer intelligenta har VMLU uppgraderats för att bedöma mer komplexa kompetenser. Mer specifikt bedömer den utökade uppsättningen standarder tre kärnfärdigheter hos en modern juridikexamensutbildningsexpert, inklusive:

Läsförståelse (ViSQuAD): 3 310 frågor bedömer förmågan att förstå text på djupet och hantera komplexa frågor baserat på det vietnamesiska språkets och kontextens specifika egenskaper.

Resonemang (ViDrop): 3 090 frågor utmanar juristexamens logiska resonemangsförmågor genom uppgifter som jämförelse, räkning och aritmetiska beräkningar.

Interaktion (ViDialog): 210 dialoger bedömer koherens, kontextuell förståelse och tillämpning av tvärvetenskaplig kunskap (historia, geografi, logik) i dialog.

Höjdpunkten i den nya uppsättningen standarder är den avancerade bedömningsmetoden, som kombinerar en mängd olika former, från flervalsfrågor med öppna svar till stegvisa resonemangskrav. VMLU tillämpar särskilt metoden "LLM som domare" (med LLM för att utvärdera LLM) – en trend som tillämpas av den globala AI-gemenskapen för att uppnå mer objektiva och storskaliga resultat.

Med 10 880 flervalsfrågor, som täcker 58 ämnen och är uppdelade i flera nivåer, fokuserade 2023-versionen på att bedöma grundläggande kunskaper inom juridik (LLM). Samtidigt går den nya uppsättningen standarder ett steg längre och mäter resonemangs- och interaktionsförmågan hos LLM i verkliga sammanhang . Denna uppgradering hjälper inte bara utvecklare att utvärdera modeller mer omfattande, utan främjar också LLM för att skapa användbara värden för slutanvändare.

Den utökade uppsättningen kriterier bedömer de tre kärnkompetenserna hos en modern juridikexamen.

”Det finns för närvarande hundratals olika riktmärken i världen för att utvärdera kapaciteten hos stora språkmodeller. Antalet riktmärken specifikt för vietnamesiska är dock mycket begränsat. Med lanseringen av riktmärken 2023 och 2025 hoppas vi kunna diversifiera bedömningsaspekterna”, säger Dr. Chau Thanh Duc, chef för forskning och utveckling inom artificiell intelligens på Zalo AI.

Den nya uppsättningen standarder har lanserats på VMLU:s webbplats https://vmlu.ai/ för att individer och forskargrupper ska kunna utvärdera sina modeller.

Den nya uppsättningen standarder har lanserats på VMLU:s webbplats.

I samarbete med ledande experter vid Zalo AI och JAIST Institute kommer VMLU att fortsätta att undersöka och utveckla mer varierade bedömningsstandarder vad gäller områden och svårighetsgrad. I framtiden strävar VMLU även efter att utveckla bedömningsstandarder för säkerhet och integritet, vilket säkerställer att LLM-modeller utvecklas ansvarsfullt.

Källa: https://znews.vn/bo-tieu-chuan-make-in-vietnam-danh-gia-suy-luan-tuong-tac-cua-llm-post1589609.html