Zalo AI оголошує про безкоштовні стандарти оцінювання рівня володіння в'єтнамською мовою

VMLU (Vietnamese Multitask Language Understanding - розуміння в'єтнамської багатозадачної мови) був розроблений Zalo AI у співпраці з Японським передовим інститутом науки і технологій (JAIST), щоб допомогти спільноті досліджень і розробок штучного інтелекту у В'єтнамі мати більше інструментів для оцінки якості результатів в'єтнамських моделей генеративного штучного інтелекту.

Відповідно, це набір в'єтнамських стандартів оцінювання, який є багатогранним, багаторівневим та відповідає найрізноманітнішим потребам на сучасному ринку, маючи 10 880 питань з кількома варіантами відповідей, що охоплюють 58 різних тем.

zalo ai.jpg — Набір стандартів оцінювання володіння в'єтнамською мовою був досліджений та розроблений інженерами Zalo AI у співпраці з Інститутом JAIST для оцінки здатності розуміти та застосовувати в'єтнамською мовою моделі штучного інтелекту, особливо генеративний штучний інтелект.

Чому AI Vietnam потрібен повний набір стандартів оцінювання володіння в'єтнамською мовою?

Вибухове зростання ChatGPT створило нову гонку: генеративний штучний інтелект. Згідно зі статистикою, з моменту появи ChatGPT у світі існує близько 16 000 моделей, подібних до ChatGPT.

В'єтнам не виходить за рамки цієї тенденції, оскільки існує багато дослідницьких груп з різним масштабом та потенціалом, які хочуть експериментувати з генеративним штучним інтелектом, використовуючи в'єтнамську мову. Це призвело до потреби в наборі для оцінювання рівня володіння цими моделями штучного інтелекту в'єтнамською мовою, щоб виміряти рівень знань та мислення в'єтнамською мовою.

На сучасному ринку більшість дослідницьких груп LLM у В'єтнамі повинні створювати власні інструменти оцінювання з власними стандартами для своїх моделей. Це внутрішні інструменти оцінювання, які не були оприлюднені. Інструментарій оцінювання Zalo AI спрямований на загальні потреби, може бути загальним стандартом для моделей LLM та надається спільноті штучного інтелекту. Це допомагає невеликим дослідницьким групам отримати доступ до комплексних наборів даних оцінювання та дозволяє сторонам порівнювати результати одна з одною. Звідси це створює мотивацію для вдосконалення моделі.

Мотивація в'єтнамського штучного інтелекту приєднатися до світової хвилі генеративного штучного інтелекту

У листопаді 2023 року Zalo AI офіційно оголосила про стандарти оцінювання володіння в'єтнамською мовою VMLU. Це набір стандартів, досліджених та розроблених інженерами Zalo AI у співпраці з Інститутом JAIST для оцінки здатності розуміти та застосовувати в'єтнамську мову моделей штучного інтелекту, особливо генеративного штучного інтелекту.

Поява VMLU мотивувала окремих осіб, стартапи або невеликі дослідницькі групи розробляти нові в'єтнамські моделі штучного інтелекту. Це створює умови для нових досліджень, закладає основу для вимірювання точності та оновлення результатів базових моделей, допомагаючи завершити процес розробки в'єтнамськомовних програм штучного інтелекту, створених в'єтнамцями для обслуговування в'єтнамців.

Це також один із важливих факторів, що сприяє швидшому розвитку генеративного штучного інтелекту у В'єтнамі, наздоганяючи хвилю розвитку штучного інтелекту у світі.

Які стандарти оцінювання володіння в'єтнамською мовою?

Відповідно, це набір стандартів оцінювання в'єтнамської мови, який є багатогранним, багаторівневим та відповідає найрізноманітнішим потребам в'єтнамського ринку досліджень та розробок у сфері генеративного штучного інтелекту, зосереджуючись на двох основних частинах: даних (тестовому наборі даних) та наборі стандартів оцінювання як основи для тестування моделей штучного інтелекту, що застосовують в'єтнамську мову.

Зокрема, набір даних містить 10 880 питань з вибором однієї правильної відповіді, що охоплюють 58 різних тем. Кожна тема містить близько 200 питань і розподілена за 4 галузями, включаючи: STEM, соціальні науки, гуманітарні науки та широку категорію «Розширений». Завдяки цьому набору даних VMLU має стратифікацію складності з 4 рівнями: початковий, середній, старша школа та професійно-технічний – для університетів та аспірантів. Звідси інструментарій допомагає ефективно оцінити рівень володіння в'єтнамською мовою моделями штучного інтелекту як у елементарних знаннях, так і у вирішенні складних задач.

Крім того, щоб допомогти дослідницьким групам легко оцінити можливості своїх в'єтнамських моделей штучного інтелекту, команда інженерів Zalo AI розробила супровідні інструкції, щоб групи могли швидко та просто ними користуватися.

Зробіть свій внесок у в'єтнамську спільноту штучного інтелекту

Набір стандартів VMLU був створений як дослідницький продукт з метою сприяння розвитку в'єтнамської дослідницької спільноти штучного інтелекту зокрема та спільноти інформаційних технологій загалом, без стягнення плати з будь-яких користувачів, дослідницьких груп чи підприємств.

Раніше Zalo AI впровадила, розгорнула та організувала серію змагань та програм для в'єтнамської спільноти штучного інтелекту, таких як: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Ці заходи не лише створюють майданчик для в'єтнамської спільноти штучного інтелекту, але й заохочують застосування штучного інтелекту в житті, вирішують нагальні соціальні проблеми та задовольняють потреби мільйонів в'єтнамців.

Д-р Чау Тхань Дик, керівник дослідницького відділу Zalo AI – викладач Університету природничих наук Національного університету Хошиміна , підтвердив: «Zalo AI завжди прагне зробити свій внесок у в’єтнамську спільноту штучного інтелекту, створюючи мотивацію для розвитку в’єтнамського штучного інтелекту. З цього моменту ми очікуємо, що в’єтнамці створюватимуть все більше і більше продуктів штучного інтелекту для в’єтнамців».

Джерело