Zalo AI anunță standarde gratuite de evaluare a competenței în limba vietnameză

VMLU (Vietnamese Multitask Language Understanding - Înțelegerea Limbii Multitasking Vietnameze) a fost dezvoltat de Zalo AI în colaborare cu Institutul Avansat de Știință și Tehnologie din Japonia (JAIST) pentru a ajuta comunitatea de cercetare și dezvoltare în domeniul inteligenței artificiale din Vietnam să aibă mai multe instrumente pentru a evalua calitatea rezultatelor modelelor vietnameze de inteligență artificială generativă.

Prin urmare, acesta este un set de standarde de evaluare vietnameze cu multiple fațete, mai multe niveluri și care satisface cele mai diverse nevoi de pe piața actuală, cu 10.880 de întrebări cu variante multiple de răspuns care se învârt în jurul a 58 de subiecte diferite.

zalo ai.jpg — Setul de standarde de evaluare a competenței în limba vietnameză a fost cercetat și dezvoltat de inginerii Zalo AI în colaborare cu Institutul JAIST pentru a evalua capacitatea de a înțelege și aplica limba vietnameză a modelelor de IA, în special IA generativă.

De ce are nevoie AI Vietnam de un set complet de standarde de evaluare a competenței lingvistice în limba vietnameză?

Creșterea explozivă a ChatGPT a creat o nouă rasă: IA generativă. Conform statisticilor, de la introducerea ChatGPT, există în prezent aproximativ 16.000 de modele similare cu ChatGPT în lume .

Vietnamul nu este exclus din această tendință, având în vedere că există numeroase grupuri de cercetare cu dimensiuni și potențiale diferite care doresc să experimenteze cu IA generativă folosind limba vietnameză. Acest lucru a dus la necesitatea unui set de evaluare a competenței în limba vietnameză pentru aceste modele de IA, pentru a măsura nivelul de cunoștințe și gândire în limba vietnameză.

Pe piața actuală, majoritatea grupurilor de cercetare LLM din Vietnam trebuie să își construiască propriile seturi de instrumente de evaluare cu propriile standarde pentru modelele lor. Acestea sunt instrumente de evaluare interne care nu au fost făcute publice. Setul de instrumente de evaluare Zalo AI este destinat nevoilor generale, poate fi un standard comun pentru modelele LLM și este furnizat comunității AI. Acest lucru ajută grupurile mici de cercetare să acceseze seturi complete de date de evaluare și permite părților implicate să compare rezultatele între ele. De acolo, se creează motivația pentru îmbunătățirea modelului.

Motivarea inteligenței artificiale vietnameze să se alăture valului mondial de inteligență artificială generativă

În noiembrie 2023, Zalo AI a anunțat oficial standardele VMLU de evaluare a competenței în limba vietnameză. Acesta este un set de standarde cercetate și dezvoltate de inginerii Zalo AI în colaborare cu Institutul JAIST pentru a evalua capacitatea de a înțelege și aplica limba vietnameză a modelelor de inteligență artificială, în special a inteligenței artificiale generative.

Apariția VMLU a motivat persoane fizice, startup-uri sau grupuri mici de cercetare să dezvolte noi modele vietnameze de inteligență artificială. Acest lucru creează condiții pentru noi cercetări, pune bazele pentru măsurarea acurateței și îmbunătățirea rezultatelor modelelor de bază, contribuind la finalizarea procesului de dezvoltare a aplicațiilor de inteligență artificială în limba vietnameză, create de vietnamezi pentru a servi poporul vietnamez.

Acesta este, de asemenea, unul dintre factorii importanți care promovează dezvoltarea IA generativă în Vietnam, astfel încât să se accelereze, ajungând din urmă valul de dezvoltare a IA în lume.

Care sunt standardele de evaluare a competenței lingvistice vietnameze?

Prin urmare, acesta este un set de standarde de evaluare a limbii vietnameze, multifațetat și multinivel, care satisface cele mai diverse nevoi de pe piața de cercetare și dezvoltare a inteligenței artificiale generative din Vietnam, concentrându-se pe două părți principale: date (set de date de testare) și un set de standarde de evaluare, ca bază pentru testarea modelelor de inteligență artificială care aplică limba vietnameză.

Mai exact, setul de date include 10.880 de întrebări cu variante multiple de răspuns care se învârt în jurul a 58 de subiecte diferite. Fiecare subiect are aproximativ 200 de întrebări și este distribuit în 4 domenii, inclusiv: STEM, Științe Sociale, Umaniste și o categorie largă „Extinsă”. Cu acest set de date, VMLU are o stratificare a dificultății cu 4 niveluri: Primar, Gimnaziu, Liceu și Profesional - pentru universitate și postuniversitare. Pornind de acolo, setul de instrumente ajută la evaluarea eficientă a competenței în limba vietnameză a modelelor de inteligență artificială, atât în ceea ce privește cunoștințele elementare, cât și rezolvarea problemelor complexe.

În plus, pentru a ajuta grupurile de cercetare să evalueze cu ușurință capacitatea modelelor lor vietnameze de inteligență artificială, echipa de ingineri Zalo AI a conceput instrucțiuni însoțitoare, astfel încât grupurile să le poată utiliza rapid și simplu.

Contribuiți la comunitatea vietnameză de inteligență artificială

Setul de standarde VMLU a fost născut ca un produs de cercetare cu scopul de a contribui la și dezvolta comunitatea de cercetare vietnameză în domeniul inteligenței artificiale în special și comunitatea tehnologiei informației în general, fără a percepe taxe utilizatorilor, grupurilor de cercetare sau companiilor.

Anterior, Zalo AI a implementat, desfășurat și organizat o serie de concursuri și programe pentru comunitatea vietnameză de inteligență artificială, cum ar fi: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Aceste activități nu numai că creează un loc de joacă pentru comunitatea vietnameză de inteligență artificială, dar încurajează și aplicarea inteligenței artificiale în viață, rezolvă probleme sociale urgente și deservesc nevoile a milioane de vietnamezi.

Dr. Chau Thanh Duc, șeful Departamentului de Cercetare Zalo AI - lector universitar la Universitatea de Științe Naturale, Universitatea Națională Ho Chi Minh City, a afirmat: „Zalo AI își propune întotdeauna să contribuie la comunitatea vietnameză de inteligență artificială, creând motivație pentru dezvoltarea inteligenței artificiale vietnameze. De acolo, ne așteptăm să existe din ce în ce mai multe produse de inteligență artificială create de vietnamezi, pentru vietnamezi”.

Sursă