Zalo AI та JAIST Institute об'єднують зусилля зі спільнотою для розробки передової програми LLM

Zalo AI та Японський передовий інститут науки і технологій (JAIST) щойно оголосили про набір стандартів для оцінки навичок міркування та взаємодії в LLM, що допоможуть в'єтнамській спільноті штучного інтелекту вдосконалити високорівневі моделі LLM.

Штучний інтелект (ШІ) стрімко розвивається та відкриває безпрецедентні можливості завдяки важливим досягненням у дослідженні моделей ШІ, створюючи передумови для просування застосувань, а також розробки продуктів для задоволення практичних потреб. У В'єтнамі, одразу після активного розвитку ChatGPT, який призвів до появи серії подібних моделей ШІ в усьому світі, вітчизняні дослідницькі групи з різними масштабами та потенціалами приєдналися до перегонів, створивши в'єтнамські моделі великої мови (LLM).

Поширення в'єтнамських моделей LLM вимагає набору загальних критеріїв оцінки, які допоможуть розробникам вимірювати якість моделі з метою розробки відповідних стратегій навчання.

Д-р Нгуєн Труонг Сон, науковий директор Zalo AI, розробника платформи, оцінив програму VMLU Vietnamese LLM: «В'єтнамському ринку бракує стандартів оцінки якості порівняно зі світом».

Платформа оцінювання VMLU LLM була розроблена Zalo AI та Японським передовим інститутом науки і технологій (JAIST).

За словами доктора Нгуєна Труонг Сона, ця реальність вимагає від в'єтнамської спільноти штучного інтелекту об'єднати зусилля для створення спільних стандартів, які допоможуть правильно та адекватно оцінювати в'єтнамські моделі штучного інтелекту, створюючи основу для розробки моделей дедалі кращої якості.

Сприяти розробці нових стандартів якості

У листопаді 2023 року Zalo AI та Японський передовий інститут науки і технологій (JAIST) співпрацюватимуть, щоб створити та безкоштовно надати спільноті набір стандартів для оцінки якості в'єтнамських моделей LLM під назвою VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Це перший набір стандартів «Зроблено у В'єтнамі», досліджений та представлений спільноті командою провідних в'єтнамських експертів.

Замість того, щоб створювати власні інструменти оцінювання з власними стандартами, в'єтнамські дослідницькі групи з LLM отримали доступ до комплексного та загального набору даних для оцінювання.

Стандарти VMLU зосереджені на 4 галузях, включаючи STEM, суспільні науки, гуманітарні науки та додаткові знання, зі зростаючим рівнем складності: початкова, середня, старша школа та професійна (бакалаврат та магістратура). Версія 2023 року, що містить 10 880 питань з вибором однієї правильної відповіді, що охоплюють 58 тем і розділені на багато рівнів, допомогла ефективно оцінити базові знання з магістра права (LLM).

До кінця 2024 року VMLU опублікувала 45 LLM у рейтингах, отримала запити на оцінку від понад 155 організацій та окремих осіб, а також підсумувала 691 завантаження критеріїв оцінки та 3729 оцінок LLM з платформи. Багато вітчизняних та іноземних організацій використовують стандарти VMLU, такі як VinBigData, VNPT AI, Viettel Solutions, Технологічний університет Хошиміна - VNU, UONLP x Ontocord - Університет Орегону (США), DAMO Academy - Alibaba Group, SDSRV teams - Samsung...

На новому етапі моделі LLM значно оновлені, що вимагає бенчмарків для глибшої оцінки складних компетенцій.

«Моделі LLM стають розумнішими, майже повністю здатними розуміти питання та правильно відповідати на них. Тому розробники більше зосереджуються на оснащенні LLM різноманітними можливостями, такими як розуміння прочитаного, планування, діалог та міркування, подібно до людських», – сказав професор Нгуєн Ле Мінь з Японського передового інституту науки і технологій (JAIST), партнера Zalo AI у розробці набору для оцінювання VMLU.

Відповідаючи на дедалі різноманітніші потреби розробників, VMLU нещодавно запустила новий набір стандартів для оцінки 3 навичок, включаючи (1) розуміння прочитаного (ViSQuAD), (2) міркування (ViDrop) та (3) взаємодію (ViDialog).

Стандарти VMLU 2025.

Новий набір стандартів було опубліковано на вебсайті VMLU https://vmlu.ai/ для того, щоб окремі особи та дослідницькі групи могли оцінювати свої моделі.

Зусилля щодо супроводу спільноти майстерності ШІ

Експерти VMLU заявили, що вони продовжуватимуть дослідження та створювати різноманітніші набори оцінювання в різних областях з різним рівнем складності, щоб більш повно та точно оцінювати великі мовні моделі, які відображають моделі використання користувачами.

Крім того, VMLU також прагне розробити набір стандартів оцінки безпеки та цілісності моделі LLM, щоб забезпечити відповідальну розробку в'єтнамських LLM.

Для розвитку потенціалу та духу оволодіння новими технологіями серед в'єтнамського народу, стандарти оцінювання VMLU й надалі надаватимуться безкоштовно в'єтнамській дослідницькій спільноті LLM.

Стандарти VMLU 2025 оновлено на вебсайті VMLU.

Як піонер у галузі штучного інтелекту у В'єтнамі, Zalo AI також завжди супроводжує спільноту у дослідженні та розробці рішень штучного інтелекту для в'єтнамських користувачів.

Окрім платформи для оцінки та ранжування можливостей основних в'єтнамських мовних моделей, з 2017 року Zalo AI також організовує Zalo AI Challenge та щорічний форум Zalo AI Summit. Ці заходи не лише об'єднують в'єтнамську спільноту штучного інтелекту, але й сприяють натхненню та просуванню створення продуктів технологій штучного інтелекту в'єтнамським народом для обслуговування в'єтнамського народу.

Джерело: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html