Zalo AI en JAIST Institute bundelen hun krachten met de gemeenschap om geavanceerde LLM te ontwikkelen

Kunstmatige intelligentie (AI) ontwikkelt zich explosief en biedt ongekende mogelijkheden dankzij belangrijke ontwikkelingen in het onderzoek naar AI-modellen. Dit creëert de basis voor het promoten van toepassingen en het ontwikkelen van producten die in praktische behoeften voorzien. In Vietnam, direct na de sterke ontwikkeling van ChatGPT, die leidde tot de geboorte van een reeks vergelijkbare AI-modellen wereldwijd, hebben binnenlandse onderzoeksgroepen met verschillende schaalgroottes en mogelijkheden zich aangesloten bij de race door Vietnamese grote taalmodellen (LLM) te bouwen.

De proliferatie van Vietnamese LLM-modellen vereist een reeks algemene evaluatiecriteria om ontwikkelaars te helpen de kwaliteit van modellen te meten, zodat ze geschikte trainingsstrategieën kunnen ontwikkelen.

Dr. Nguyen Truong Son - wetenschappelijk directeur bij Zalo AI, de platformontwikkelaar - evalueerde de Vietnamese LLM van VMLU: "De Vietnamese markt voldoet niet aan de kwaliteitsnormen in vergelijking met de rest van de wereld."

Het VMLU LLM-beoordelingsplatform is ontwikkeld door Zalo AI en het Japan Advanced Institute of Science and Technology (JAIST).

Volgens Dr. Nguyen Truong Son vereist deze realiteit dat de Vietnamese AI-gemeenschap de handen ineen slaat om gezamenlijke standaarden te creëren, zodat Vietnamese AI-modellen op de juiste en adequate manier kunnen worden geëvalueerd. Zo wordt de basis gelegd voor de ontwikkeling van steeds betere modellen.

Bevorder de ontwikkeling van nieuwe kwaliteitsnormen

In november 2023 zullen Zalo AI en het Japan Advanced Institute of Science and Technology (JAIST) samenwerken om een reeks standaarden te ontwikkelen en gratis beschikbaar te stellen aan de community voor het evalueren van de kwaliteit van Vietnamese LLM-modellen, genaamd VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Dit is de eerste set "Make in Vietnam"-standaarden die is onderzocht en gelanceerd door een team van vooraanstaande Vietnamese experts.

In plaats van dat ze hun eigen beoordelingsinstrumenten met hun eigen normen moeten ontwikkelen, hebben Vietnamese LLM-onderzoeksgroepen toegang tot een uitgebreide en algemene beoordelingsdataset.

De VMLU-normen richten zich op vier gebieden, waaronder STEM, sociale wetenschappen, geesteswetenschappen en uitbreiding, met toenemende moeilijkheidsgraden: primair onderwijs, voortgezet onderwijs, voortgezet onderwijs en beroepsonderwijs (bachelor en master). Met 10.880 meerkeuzevragen, verspreid over 58 onderwerpen, verdeeld over diverse niveaus, heeft de versie van 2023 geholpen om de basiskennis van LLM effectief te beoordelen.

Eind 2024 had de VMLU 45 LLM's in de ranglijst gepubliceerd, evaluatieverzoeken ontvangen van meer dan 155 organisaties en personen, en 691 downloads van de evaluatiecriteria en 3.729 LLM-evaluaties van het platform samengevat. Veel binnen- en buitenlandse organisaties gebruiken de VMLU-standaarden, zoals VinBigData, VNPT AI, Viettel Solutions, Ho Chi Minh City University of Technology - VNU, UONLP x Ontocord - Oregon University (VS), DAMO Academy - Alibaba Group, SDSRV teams - Samsung...

In de nieuwe fase worden LLM-modellen aanzienlijk verbeterd. Er zijn benchmarks nodig om complexe competenties diepgaander te kunnen beoordelen.

"LLM-modellen worden steeds slimmer en zijn bijna volledig in staat om vragen correct te begrijpen en te beantwoorden. Daarom richten ontwikkelaars zich steeds meer op het uitrusten van LLM's met diverse vaardigheden, zoals leesbegrip, planning, dialoog en redeneren, vergelijkbaar met die van mensen", aldus professor Nguyen Le Minh van het Japan Advanced Institute of Science and Technology (JAIST), een partner van Zalo AI bij de ontwikkeling van de VMLU-beoordelingsset.

Als reactie op de steeds diverser wordende behoeften van ontwikkelaars heeft VMLU onlangs een nieuwe reeks normen gelanceerd om drie vaardigheden te beoordelen: (1) leesbegrip (ViSQuAD), (2) redeneren (ViDrop) en (3) interactie (ViDialog).

VMLU 2025-normen.

De nieuwe reeks normen is gelanceerd op de VMLU-website https://vmlu.ai/ zodat individuen en onderzoeksgroepen hun modellen kunnen evalueren.

Inspanningen om de AI-beheersingsgemeenschap te begeleiden

Deskundigen van VMLU gaven aan dat ze door zullen gaan met het onderzoeken en bouwen van meer diverse evaluatiesets in verschillende domeinen met verschillende moeilijkheidsgraden. Zo kunnen ze grote taalmodellen uitgebreider evalueren en de gebruikspatronen van gebruikers nauwkeuriger weerspiegelen.

Daarnaast streeft de VMLU ernaar een reeks beoordelingsnormen te ontwikkelen voor de veiligheid en integriteit van het LLM-model. Zo wil men garanderen dat Vietnamese LLM's op verantwoorde wijze worden ontwikkeld.

Om het vermogen en de geest van de Vietnamese bevolking om nieuwe technologieën onder de knie te krijgen te bevorderen, worden de beoordelingsnormen van VMLU nog steeds gratis ter beschikking gesteld aan de Vietnamese LLM-onderzoeksgemeenschap.

De VMLU 2025-normen zijn bijgewerkt op de VMLU-website.

Als pionier op het gebied van kunstmatige intelligentie in Vietnam begeleidt Zalo AI de Vietnamese gemeenschap voortdurend bij het onderzoeken en ontwikkelen van AI-oplossingen voor Vietnamese gebruikers.

Naast het platform voor het evalueren en rangschikken van de mogelijkheden van belangrijke Vietnamese taalmodellen, organiseert Zalo AI sinds 2017 ook de Zalo AI Challenge en het jaarlijkse Zalo AI Summit-forum. Deze evenementen verbinden niet alleen de Vietnamese AI-gemeenschap, maar dragen ook bij aan de inspiratie en promotie van de ontwikkeling van AI-technologieproducten door Vietnamezen ten behoeve van Vietnamezen.

Bron: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html