Zalo AI og JAIST Institute slår seg sammen med lokalsamfunnet for å utvikle avansert LLM

Zalo AI og Japan Advanced Institute of Science and Technology (JAIST) har nettopp annonsert et sett med standarder for evaluering av LLMs resonnements- og samhandlingsferdigheter, og hjelper det vietnamesiske AI-fellesskapet med å perfeksjonere LLM-modeller på høyt nivå.

Kunstig intelligens (KI) utvikler seg eksplosivt og åpner for enestående muligheter takket være viktige fremskritt innen forskning på KI-modeller. Dette skaper premisset for å fremme applikasjoner samt utvikle produkter som dekker praktiske behov. I Vietnam, rett etter den sterke utviklingen av ChatGPT, som førte til fødselen av en rekke lignende KI-modeller globalt, har innenlandske forskningsgrupper med ulik skala og potensial sluttet seg til kappløpet ved å bygge vietnamesiske store språkmodeller (LLM).

Spredningen av vietnamesiske LLM-modeller krever et sett med generelle evalueringskriterier for å hjelpe utviklere med å måle modellkvalitet for å ha passende opplæringsstrategier.

Dr. Nguyen Truong Son – vitenskapelig direktør ved Zalo AI, plattformutvikleren – evaluerte VMLU Vietnamese LLM: «Det vietnamesiske markedet mangler standarder for kvalitetsvurdering sammenlignet med resten av verden.»

VMLU LLM-vurderingsplattformen ble utviklet av Zalo AI og Japan Advanced Institute of Science and Technology (JAIST).

Ifølge Dr. Nguyen Truong Son krever denne realiteten at det vietnamesiske AI-miljøet går sammen for å lage felles standarder som kan bidra til å evaluere vietnamesiske AI-modeller på en skikkelig og tilstrekkelig måte, og dermed skape et grunnlag for utvikling av modeller av stadig bedre kvalitet.

Fremme utviklingen av nye kvalitetsstandarder

I november 2023 skal Zalo AI og Japan Advanced Institute of Science and Technology (JAIST) samarbeide om å bygge og gratis tilby et sett med standarder for evaluering av kvaliteten på vietnamesiske LLM-modeller, kalt VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Dette er det første settet med "Make in Vietnam"-standarder som er undersøkt og lansert for samfunnet av et team av ledende vietnamesiske eksperter.

I stedet for å måtte bygge sine egne vurderingsverktøy med sine egne standarder, har vietnamesiske LLM-forskningsgrupper hatt tilgang til et omfattende og generelt vurderingsdatasett.

VMLU-standardene fokuserer på fire områder, inkludert STEM, samfunnsvitenskap, humaniora og veiledning med økende vanskelighetsgrader: grunnskole, videregående skole, videregående skole og profesjonell (bachelor og master). Med 10 880 flervalgsoppgaver, som dekker 58 emner, fordelt på mange nivåer, har 2023-versjonen bidratt til å effektivt vurdere grunnleggende kunnskaper i LLM.

Ved utgangen av 2024 hadde VMLU publisert 45 LLM-er på rangeringen, mottatt evalueringsforespørsler fra mer enn 155 organisasjoner og enkeltpersoner, og oppsummert 691 nedlastinger av evalueringskriteriene og 3729 LLM-evalueringer fra plattformen. Mange innenlandske og utenlandske organisasjoner bruker VMLU-standardene som VinBigData, VNPT AI, Viettel Solutions, Ho Chi Minh City University of Technology - VNU, UONLP x Ontocord - Oregon University (USA), DAMO Academy - Alibaba Group, SDSRV-teamene - Samsung...

I den nye fasen oppgraderes LLM-modellene kraftig, noe som krever referansepunkter for å vurdere komplekse kompetanser grundigere.

«LLM-modeller blir smartere og nesten fullt ut i stand til å forstå og svare riktig på spørsmål. Derfor fokuserer utviklere mer på å utstyre LLM-er med ulike evner som leseforståelse, planlegging, dialog og resonnering, likt mennesker», sa professor Nguyen Le Minh, Japan Advanced Institute of Science and Technology (JAIST), en partner av Zalo AI i utviklingen av VMLU-vurderingssettet.

Som svar på utviklernes stadig mer mangfoldige behov har VMLU nylig lansert et nytt sett med standarder for å vurdere tre ferdigheter, inkludert (1) leseforståelse (ViSQuAD), (2) resonnering (ViDrop) og (3) samhandling (ViDialog).

VMLU 2025-standarder.

Det nye settet med standarder er lansert på VMLUs nettsted https://vmlu.ai/ slik at enkeltpersoner og forskningsgrupper kan evaluere modellene sine.

Arbeid for å følge AI-mestringssamfunnet

VMLU-eksperter sa at de vil fortsette å forske på og bygge mer mangfoldige evalueringssett innen ulike domener med ulik vanskelighetsgrad for å evaluere store språkmodeller mer omfattende og nøyaktig gjenspeile brukernes bruksmønstre.

I tillegg har VMLU også som mål å utvikle et sett med vurderingsstandarder for sikkerheten og integriteten til LLM-modellen for å sikre at vietnamesiske LLM-er utvikles på en ansvarlig måte.

For å fremme vietnamesernes evne og ånd til å mestre ny teknologi, vil VMLUs vurderingsstandarder fortsatt bli tilbudt gratis til det vietnamesiske LLM-forskningsmiljøet.

VMLU 2025-standardene er oppdatert på VMLUs nettsted.

Som en pioner innen kunstig intelligens i Vietnam, følger Zalo AI alltid med på å forske på og utvikle AI-løsninger for vietnamesiske brukere.

I tillegg til plattformen for å evaluere og rangere egenskapene til store vietnamesiske språkmodeller, har Zalo AI siden 2017 også organisert Zalo AI Challenge og det årlige Zalo AI Summit-forumet. Disse arrangementene knytter ikke bare det vietnamesiske AI-samfunnet sammen, men bidrar også til å inspirere og fremme utviklingen av AI-teknologiprodukter av vietnamesere for å tjene vietnamesere.

Kilde: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html