Zalo AI i JAIST Institute łączą siły ze społecznością w celu opracowania zaawansowanego programu LLM

Sztuczna inteligencja (AI) rozwija się dynamicznie i otwiera bezprecedensowe możliwości dzięki istotnym postępom w badaniach nad modelami AI, tworząc przesłanki do promowania aplikacji oraz tworzenia produktów zaspokajających praktyczne potrzeby. W Wietnamie, tuż po dynamicznym rozwoju ChatGPT, który doprowadził do powstania serii podobnych modeli AI na całym świecie, krajowe grupy badawcze o różnej skali i potencjale dołączyły do wyścigu, budując wietnamskie duże modele językowe (LLM).

Rosnąca liczba wietnamskich modeli LLM wymaga zestawu ogólnych kryteriów oceny, które pomogą programistom mierzyć jakość modelu, aby móc opracować odpowiednie strategie szkoleniowe.

Dr Nguyen Truong Son – dyrektor naukowy w Zalo AI, firmie tworzącej platformę – ocenił wietnamski program studiów LLM na VMLU: „Rynek wietnamski charakteryzuje się niskimi standardami oceny jakości w porównaniu ze światem”.

Platforma oceny LLM VMLU została opracowana przez Zalo AI i Japoński Zaawansowany Instytut Nauki i Technologii (JAIST).

Zdaniem dr. Nguyen Truong Sona, ta rzeczywistość wymaga, aby wietnamska społeczność zajmująca się sztuczną inteligencją połączyła siły w celu stworzenia wspólnych standardów, które pomogą właściwie i adekwatnie oceniać wietnamskie modele sztucznej inteligencji, tworząc podwaliny pod rozwój coraz lepszych jakościowo modeli.

Promowanie rozwoju nowych standardów jakości

W listopadzie 2023 roku Zalo AI i Japoński Instytut Zaawansowanej Nauki i Technologii (JAIST) rozpoczną współpracę w celu opracowania i bezpłatnego udostępnienia społeczności zestawu standardów do oceny jakości wietnamskich modeli LLM o nazwie VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Jest to pierwszy zestaw standardów „Make in Vietnam” opracowany i udostępniony społeczności przez zespół czołowych wietnamskich ekspertów.

Zamiast tworzyć własne narzędzia oceny w oparciu o własne standardy, wietnamskie grupy badawcze LLM uzyskały dostęp do kompleksowego i ogólnego zbioru danych oceniających.

Standardy VMLU koncentrują się na 4 obszarach, w tym STEM (nauka, technika, inżynieria, matematyka), naukach społecznych, naukach humanistycznych i rozszerzeniach, z rosnącym poziomem trudności: szkoła podstawowa, średnia, liceum oraz studia zawodowe (licencjackie i magisterskie). Wersja z 2023 roku, zawierająca 10 880 pytań wielokrotnego wyboru, obejmujących 58 tematów i podzielonych na wiele poziomów, pomogła skutecznie ocenić podstawową wiedzę z zakresu LLM.

Do końca 2024 roku VMLU opublikowało 45 programów LLM w rankingach, otrzymało prośby o ocenę od ponad 155 organizacji i osób prywatnych oraz podsumowało 691 pobrań kryteriów oceny i 3729 ocen programów LLM z platformy. Wiele krajowych i zagranicznych organizacji korzysta ze standardów VMLU, takich jak VinBigData, VNPT AI, Viettel Solutions, Ho Chi Minh City University of Technology – VNU, UONLP x Ontocord – Oregon University (USA), DAMO Academy – Alibaba Group, SDSRV teams – Samsung...

W nowej fazie modele LLM zostały znacząco udoskonalone i wymagają testów porównawczych, aby umożliwić głębszą ocenę złożonych kompetencji.

„Modele LLM stają się coraz inteligentniejsze i niemal w pełni potrafią rozumieć pytania i poprawnie na nie odpowiadać. Dlatego programiści koncentrują się bardziej na wyposażeniu modeli LLM w różnorodne umiejętności, takie jak czytanie ze zrozumieniem, planowanie, dialog i rozumowanie, podobne do ludzkich” – powiedział profesor Nguyen Le Minh z Japońskiego Instytutu Zaawansowanej Nauki i Technologii (JAIST), partnera Zalo AI w opracowaniu zestawu ocen VMLU.

Odpowiadając na coraz bardziej zróżnicowane potrzeby programistów, VMLU niedawno wprowadziło nowy zestaw standardów oceniających 3 umiejętności, w tym (1) rozumienie tekstu czytanego (ViSQuAD), (2) rozumowanie (ViDrop) i (3) interakcję (ViDialog).

Normy VMLU 2025.

Nowy zestaw standardów opublikowano na stronie internetowej VMLU https://vmlu.ai/, aby osoby prywatne i grupy badawcze mogły oceniać swoje modele.

Wysiłki mające na celu wspieranie społeczności opanowującej sztuczną inteligencję

Eksperci VMLU stwierdzili, że będą kontynuować badania i tworzyć bardziej zróżnicowane zestawy ewaluacyjne w różnych domenach o różnym poziomie trudności, aby kompleksowo i dokładniej oceniać duże modele językowe, które odzwierciedlają wzorce użytkowania przez użytkowników.

Ponadto VMLU zamierza opracować zestaw standardów oceny bezpieczeństwa i integralności modelu LLM, aby zagwarantować, że wietnamskie programy LLM będą opracowywane w sposób odpowiedzialny.

Aby promować umiejętności i ducha opanowywania nowych technologii wśród Wietnamczyków, standardy oceny VMLU będą nadal udostępniane bezpłatnie wietnamskiej społeczności badawczej LLM.

Standardy VMLU 2025 zostały zaktualizowane na stronie internetowej VMLU.

Jako pionier w dziedzinie sztucznej inteligencji w Wietnamie, Zalo AI stale wspiera społeczność w badaniach i opracowywaniu rozwiązań AI dla wietnamskich użytkowników.

Oprócz platformy do oceny i rankingu możliwości głównych modeli języka wietnamskiego, od 2017 roku Zalo AI organizuje również Zalo AI Challenge oraz coroczne forum Zalo AI Summit. Wydarzenia te nie tylko łączą wietnamską społeczność AI, ale także przyczyniają się do inspirowania i promowania tworzenia produktów technologicznych AI przez Wietnamczyków, aby im służyć.

Source: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html