Zalo AI och JAIST Institute samarbetar med gemenskapen för att utveckla avancerad juridikteknik

Artificiell intelligens (AI) utvecklas explosionsartat och öppnar upp exempellösa möjligheter tack vare viktiga framsteg inom AI-modellforskning, vilket skapar förutsättningar för att marknadsföra applikationer samt utveckla produkter för att tillgodose praktiska behov. I Vietnam, direkt efter den starka utvecklingen av ChatGPT, som ledde till födelsen av en serie liknande AI-modeller globalt, har inhemska forskargrupper med olika skalor och potentialer anslutit sig till tävlingen genom att bygga vietnamesiska stora språkmodeller (LLM).

Spridningen av vietnamesiska LLM-modeller kräver en uppsättning allmänna utvärderingskriterier för att hjälpa utvecklare att mäta modellkvalitet för att ha lämpliga utbildningsstrategier.

Dr. Nguyen Truong Son - vetenskaplig chef på Zalo AI, plattformsutvecklaren - utvärderade VMLU Vietnamese LLM: "Den vietnamesiska marknaden saknar kvalitetsbedömningsstandarder jämfört med världen."

VMLU LLM-bedömningsplattformen utvecklades av Zalo AI och Japan Advanced Institute of Science and Technology (JAIST).

Enligt Dr. Nguyen Truong Son kräver denna verklighet att den vietnamesiska AI-gemenskapen går samman för att skapa gemensamma standarder för att korrekt och adekvat utvärdera vietnamesiska AI-modeller, och skapa en grund för utveckling av allt bättre modeller.

Främja utvecklingen av nya kvalitetsstandarder

I november 2023 kommer Zalo AI och Japan Advanced Institute of Science and Technology (JAIST) att samarbeta för att bygga och kostnadsfritt tillhandahålla en uppsättning standarder för att utvärdera kvaliteten på vietnamesiska LLM-modeller, kallade VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Detta är den första uppsättningen "Make in Vietnam"-standarder som undersökts och lanserats för gemenskapen av ett team av ledande vietnamesiska experter.

Istället för att behöva bygga sina egna bedömningsverktyg med sina egna standarder har vietnamesiska LLM-forskargrupper kunnat få tillgång till en omfattande och generell bedömningsdatauppsättning.

VMLU-standarderna fokuserar på fyra områden, inklusive STEM, samhällsvetenskap, humaniora och fördjupningsvetenskap med ökande svårighetsgrader: grundskola, gymnasium, gymnasium och yrkesutbildning (grund- och forskarutbildning). Med 10 880 flervalsfrågor, som täcker 58 ämnen, uppdelade i många nivåer, har 2023 års version hjälpt till att effektivt bedöma grundläggande kunskaper i juridik.

I slutet av 2024 hade VMLU publicerat 45 juridikexamina på rankningen, mottagit utvärderingsförfrågningar från fler än 155 organisationer och individer, och sammanfattat 691 nedladdningar av utvärderingskriterierna och 3 729 juridikutvärderingar från plattformen. Många inhemska och utländska organisationer använder VMLU:s standarder, såsom VinBigData, VNPT AI, Viettel Solutions, Ho Chi Minh City University of Technology - VNU, UONLP x Ontocord - Oregon University (USA), DAMO Academy - Alibaba Group, SDSRV-teamen - Samsung...

I den nya fasen uppgraderas LLM-modellerna kraftigt, vilket kräver riktmärken för att djupare bedöma komplexa kompetenser.

”LLM-modeller blir smartare och nästan helt kapabla att förstå och besvara frågor korrekt. Därför fokuserar utvecklare mer på att utrusta LLM:er med olika förmågor som läsförståelse, planering, dialog och resonemang liknande människor”, säger professor Nguyen Le Minh, Japan Advanced Institute of Science and Technology (JAIST), en partner till Zalo AI i utvecklingen av VMLU-bedömningsuppsättningen.

För att möta utvecklarnas alltmer varierande behov har VMLU nyligen lanserat en ny uppsättning standarder för att bedöma tre färdigheter, inklusive (1) läsförståelse (ViSQuAD), (2) resonemang (ViDrop) och (3) interaktion (ViDialog).

VMLU 2025-standarder.

Den nya uppsättningen standarder har lanserats på VMLU:s webbplats https://vmlu.ai/ för att individer och forskargrupper ska kunna utvärdera sina modeller.

Ansträngningar för att följa AI-behärskningsgemenskapen

VMLU-experter sa att de kommer att fortsätta att undersöka och bygga mer varierade utvärderingsuppsättningar inom olika domäner med olika svårighetsgrader för att utvärdera stora språkmodeller mer omfattande och korrekt återspegla användarnas användningsmönster.

Dessutom strävar VMLU efter att utveckla en uppsättning bedömningsstandarder för säkerheten och integriteten hos LLM-modellen för att säkerställa att vietnamesiska LLM:er utvecklas ansvarsfullt.

För att främja vietnamesernas förmåga och anda att bemästra ny teknologi kommer VMLU:s bedömningsstandarder att fortsätta att tillhandahållas kostnadsfritt för det vietnamesiska LLM-forskarsamhället.

VMLU 2025-standarderna har uppdaterats på VMLU:s webbplats.

Som en pionjär inom artificiell intelligens i Vietnam följer Zalo AI alltid med gemenskapen i forskning och utveckling av AI-lösningar för vietnamesiska användare.

Förutom plattformen för att utvärdera och rangordna kapaciteten hos viktiga vietnamesiska språkmodeller har Zalo AI sedan 2017 även organiserat Zalo AI Challenge och det årliga Zalo AI Summit-forumet. Dessa evenemang knyter inte bara samman den vietnamesiska AI-gemenskapen, utan bidrar också till att inspirera och främja skapandet av AI-teknikprodukter av vietnamesiska människor för att betjäna dem.

Källa: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html