Modelele de inteligență artificială au nevoie de un set de standarde care să evalueze în profunzime capacitățile complexe

Dezvoltarea rapidă a modelelor moderne de inteligență artificială necesită standarde extinse de evaluare pentru capabilități complexe, creând un impuls pentru dezvoltarea de modele LLM de nivel înalt.

Raportul privind stadiul dezvoltării (LLM) din 2024 al VMLU (Platforma de învățare, evaluare și clasificare pentru programele de masterat în limba vietnameză) a arătat o creștere bruscă a numărului de programe de masterat în limba vietnameză. Mai exact, platforma VMLU a publicat 45 de programe de masterat în limba vietnameză în clasamente, a primit solicitări de evaluare de la peste 155 de organizații și persoane fizice și a sintetizat 691 de descărcări ale criteriilor de evaluare și 3.729 de evaluări ale programelor de masterat în limba vietnameză în 2024.

Multe organizații interne și străine utilizează VMLU, cum ar fi VinBigData, VNPT AI, Viettel Solutions, Universitatea de Tehnologie - VNU-HCM, UONLP x Ontocord - Universitatea din Oregon (SUA), DAMO Academy - Alibaba Group, echipele SDSRV - Samsung...

VMLU va lansa primul său set de criterii de evaluare pentru LLM în 2023.

Odată cu creșterea cantitativă a modelelor de masterat în drept (LLM), calitatea acestora este, de asemenea, din ce în ce mai îmbunătățită. Dacă în trecut, masterații în drept erau instruiți în jurul cunoștințelor de bază, acum dezvoltatorii se concentrează pe dezvoltarea mai multor abilități, cum ar fi înțelegerea textelor citite, schimbul de conversații sau raționamentul uman.

Ca răspuns la dezvoltarea din ce în ce mai puternică a modelelor LLM vietnameze avansate, VMLU a publicat noi seturi de standarde pentru a evalua în continuare capacitățile complexe ale modelelor.

Standarde care promovează excelența în domeniul masteratului (LLM)

Anterior, când piața nu avea standarde de calitate, multe grupuri de cercetare interne trebuiau să-și construiască propriile instrumente interne de evaluare, cu standarde proprii. Acest lucru limita evaluarea, precum și compararea calității modelului cu LLM-urile existente pe piață, pentru a avea strategii de instruire adecvate.

Pentru a rezolva această problemă, în noiembrie 2023, VMLU - primul set de standarde comune „Made in Vietnam” - a fost cercetat de o echipă de experți vietnamezi de renume și oferit gratuit comunității.

Setul standard de 10.880 de întrebări cu variante multiple de răspuns, care acoperă 58 de subiecte, împărțite pe mai multe niveluri, a ajutat dezvoltatorii să acceseze cu ușurință seturi de date generale de evaluare. În același timp, profitați de clasamentele VMLU pentru a compara direct modelele lor cu LLM-urile existente pe piață.

Dr. Dang Tran Thai, șeful Departamentului de Prelucrare a Limbajului Natural - VinBigData Virtual Assistant Technology Block, al cărui model ViGPT-1.6B-v1 se află în clasamentul modelelor de la zero (LLM antrenat de la zero) ale VMLU, a declarat: „VMLU are date relativ complete și cuprinzătoare pentru a evalua capacitatea de cunoaștere a LLM pentru limba vietnameză. VMLU nu este util doar pentru evaluarea calității LLM în fiecare etapă de dezvoltare, ci și o măsură a eficacității experimentelor noastre în timpul procesului de antrenament.”

„Aceasta va fi o «trambulă» pentru a promova dezvoltarea inteligenței artificiale în general și a masteratului în masterat în special, deoarece trebuie să avem standarde bune pentru a avea o bază pentru a antrena modele de înaltă calitate”, a adăugat dr. Dang Tran Thai.

Inginerul principal la Microsoft - Dr. Bach Hung Nguyen a afirmat, de asemenea, utilitatea VMLU în evaluarea performanței modelelor LLM în limba vietnameză, ajutând unitățile de dezvoltare să înțeleagă mai bine capacitățile modelului. În plus, Dr. Bach Hung Nguyen se așteaptă, de asemenea, ca VMLU să adauge un set de abilități utile, cum ar fi raționamentul, generarea de cod și rezumarea textului.

Noua versiune a VMLU își propune să perfecționeze modelele LLM de ordin superior

Recent, VMLU continuă să anunțe un nou set de standarde, care evaluează abilitățile de raționament și interacțiune ale unui LLM. Setul extins de standarde evaluează 3 abilități de bază ale unui LLM modern, inclusiv:

Înțelegerea textului citit (ViSQuAD) : 3.310 întrebări evaluează capacitatea de a înțelege textul în profunzime și de a răspunde la întrebări complexe bazate pe caracteristicile specifice ale limbii și contextului vietnamez.

Raționament (ViDrop) : 3.090 de întrebări pun la încercare abilitățile de raționament logic ale LLM prin sarcini precum compararea, numărarea și calculele aritmetice.

Interacțiune (ViDialog) : 210 dialoguri evaluează coerența, capacitatea de a înțelege contextul și de a aplica cunoștințe multidisciplinare (istorie, geografie, logică) în dialog.

Această actualizare nu numai că ajută dezvoltatorii să evalueze modelele mai cuprinzător, dar promovează și LLM pentru a crea valori utile pentru utilizatorii finali.

Noi standarde VMLU vor fi lansate în 2025.

Dr. Chau Thanh Duc, directorul departamentului de Cercetare și Dezvoltare în Inteligență Artificială de la Zalo AI - organizația care a dezvoltat VMLU, a declarat: „În prezent, există sute de standarde diferite în lume pentru a evalua capacitatea modelelor lingvistice mari. Cu toate acestea, numărul de standarde de evaluare specifice pentru limba vietnameză este foarte limitat. Odată cu lansarea standardelor în 2023 și 2025, sperăm să diversificăm aspectele de evaluare.”

Noul set de standarde a fost lansat pe site-ul VMLU https://vmlu.ai/ pentru ca indivizii și grupurile de cercetare să își poată evalua modelele.

Noul set de standarde a fost actualizat pe site-ul VMLU.

VMLU este o platformă pentru evaluarea și clasificarea modelelor vietnameze de LLM, construite de Zalo AI în colaborare cu Institutul Avansat de Știință și Tehnologie din Japonia (JAIST) și oferite gratuit comunității începând cu noiembrie 2023. Prin efortul de a însoți comunitatea vietnameză de inteligență artificială, VMLU contribuie la promovarea capacității poporului vietnamez de a stăpâni noile tehnologii. Astfel, contribuie la era dezvoltării tehnologice a țării cu o orientare inovatoare în știință, tehnologie, inovație și transformare digitală națională.

Sursă: https://znews.vn/mo-hinh-ai-dang-can-bo-tieu-chuan-danh-gia-sau-cac-nang-luc-phuc-tap-post1589901.html