Zalo AI și Institutul JAIST își unesc forțele cu comunitatea pentru a dezvolta programe avansate de masterat în masterat (LLM)

Zalo AI și Institutul Japonez Avansat de Știință și Tehnologie (JAIST) au anunțat recent un set de standarde pentru evaluarea abilităților de raționament și interacțiune ale programelor de masterat în drept (LLM), însoțind comunitatea vietnameză de inteligență artificială în perfecționarea modelelor LLM de nivel înalt.

Inteligența Artificială (IA) se dezvoltă exploziv și deschide oportunități fără precedent datorită progreselor importante în cercetarea modelelor de IA, creând premisa pentru promovarea aplicațiilor, precum și pentru dezvoltarea de produse care să răspundă nevoilor practice. În Vietnam, imediat după dezvoltarea puternică a ChatGPT, care a dus la nașterea unei serii de modele de IA similare la nivel global, grupuri de cercetare autohtone cu diferite scări și potențiale s-au alăturat cursei prin construirea de modele lingvistice mari (LLM) în limba vietnameză.

Proliferarea modelelor LLM vietnameze necesită un set de criterii generale de evaluare care să ajute dezvoltatorii să măsoare calitatea modelelor pentru a avea strategii de instruire adecvate.

Dr. Nguyen Truong Son - director științific la Zalo AI, dezvoltatorul platformei - a evaluat programul de masterat în masterat în vietnameză de la VMLU: „Piața vietnameză duce lipsă de standarde de evaluare a calității în comparație cu restul lumii.”

Platforma de evaluare VMLU LLM a fost dezvoltată de Zalo AI și Institutul Japonez Avansat de Știință și Tehnologie (JAIST).

Potrivit Dr. Nguyen Truong Son, această realitate impune comunității vietnameze de inteligență artificială să colaboreze pentru a crea standarde comune care să ajute la evaluarea corectă și adecvată a modelelor vietnameze de inteligență artificială, creând o bază pentru dezvoltarea unor modele de calitate din ce în ce mai bună.

Promovarea dezvoltării de noi standarde de calitate

În noiembrie 2023, Zalo AI și Institutul Avansat de Știință și Tehnologie din Japonia (JAIST) vor coopera pentru a construi și oferi gratuit comunității un set de standarde pentru evaluarea calității modelelor LLM vietnameze, numit VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Acesta este primul set de standarde „Make in Vietnam” cercetate și lansate comunității de către o echipă de experți vietnamezi de top.

În loc să fie nevoite să își construiască propriile instrumente de evaluare cu standarde proprii, grupurile de cercetare vietnameze pentru LLM au putut accesa un set de date de evaluare cuprinzător și general.

Standardele VMLU se concentrează pe 4 domenii, inclusiv STEM, științe sociale, științe umaniste și extensie, cu niveluri de dificultate crescânde: studii primare, gimnaziale, licee și cursuri profesionale (licență și masterat). Cu 10.880 de întrebări cu variante multiple de răspuns, care acoperă 58 de subiecte, împărțite pe mai multe niveluri, versiunea din 2023 a ajutat la evaluarea eficientă a cunoștințelor de bază ale LLM.

Până la sfârșitul anului 2024, VMLU publicase 45 de diplome de masterat în drept (LLM) în clasamente, primise solicitări de evaluare de la peste 155 de organizații și persoane fizice și sintetizase 691 de descărcări ale criteriilor de evaluare și 3.729 de evaluări LLM de pe platformă. Multe organizații interne și străine utilizează standardele VMLU, cum ar fi VinBigData, VNPT AI, Viettel Solutions, Universitatea de Tehnologie din Ho Chi Minh City - VNU, UONLP x Ontocord - Universitatea din Oregon (SUA), DAMO Academy - Alibaba Group, echipele SDSRV - Samsung...

În noua fază, modelele LLM sunt puternic modernizate, necesitând repere pentru a evalua mai profund competențele complexe.

„Modelele LLM devin din ce în ce mai inteligente, aproape pe deplin capabile să înțeleagă și să răspundă corect la întrebări. Prin urmare, dezvoltatorii se concentrează mai mult pe dotarea LLM-urilor cu diverse capacități, cum ar fi înțelegerea textelor citite, planificarea, dialogul și raționamentul, similare cu cele umane”, a declarat profesorul Nguyen Le Minh, de la Institutul Avansat de Știință și Tehnologie din Japonia (JAIST), partener al Zalo AI în dezvoltarea setului de evaluare VMLU.

Ca răspuns la nevoile din ce în ce mai diverse ale dezvoltatorilor, VMLU a lansat recent un nou set de standarde pentru a evalua 3 abilități, inclusiv (1) Înțelegerea textului citit (ViSQuAD), (2) Raționamentul (ViDrop) și (3) Interacțiunea (ViDialog).

Standardele VMLU 2025.

Noul set de standarde a fost lansat pe site-ul VMLU https://vmlu.ai/ pentru ca indivizii și grupurile de cercetare să își poată evalua modelele.

Eforturi de a însoți comunitatea de stăpânire a inteligenței artificiale

Experții VMLU au declarat că vor continua să cerceteze și să construiască seturi de evaluare mai diverse în diferite domenii, cu niveluri diferite de dificultate, pentru a evalua modelele lingvistice mari într-un mod mai cuprinzător și pentru a reflecta cu acuratețe tiparele de utilizare ale utilizatorilor.

În plus, VMLU își propune, de asemenea, să dezvolte un set de standarde de evaluare pentru siguranța și integritatea modelului LLM, pentru a se asigura că LLM-urile vietnameze sunt dezvoltate în mod responsabil.

Pentru a promova capacitatea și spiritul de stăpânire a noilor tehnologii în rândul vietnamezilor, standardele de evaluare ale VMLU vor continua să fie furnizate gratuit comunității de cercetare vietnameze în domeniul masteratului de drept.

Standardele VMLU 2025 au fost actualizate pe site-ul VMLU.

Ca pionier în domeniul inteligenței artificiale în Vietnam, Zalo AI însoțește întotdeauna comunitatea în cercetarea și dezvoltarea de soluții de inteligență artificială pentru utilizatorii vietnamezi.

Pe lângă platforma de evaluare și clasificare a capacităților principalelor modele lingvistice vietnameze, din 2017, Zalo AI organizează și Zalo AI Challenge și forumul anual Zalo AI Summit. Aceste evenimente nu numai că conectează comunitatea vietnameză de inteligență artificială, dar contribuie și la inspirarea și promovarea creării de produse tehnologice de inteligență artificială de către vietnamezi pentru a servi poporul vietnamez.

Sursă: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html