Моделі штучного інтелекту потребують набору стандартів, які глибоко оцінюють складні можливості

Швидкий розвиток сучасних моделей штучного інтелекту вимагає широких стандартів оцінки складних можливостей, що створює поштовх для розробки високорівневих моделей LLM.

Звіт про стан розвитку (LLM) VMLU (Платформи навчання, оцінювання та ранжування для програм LLM з в'єтнамської мови) за 2024 рік показав різке зростання кількості програм LLM, що зосереджені на в'єтнамській мові. Зокрема, платформа VMLU опублікувала 45 програм LLM у рейтингах, отримала запити на оцінку від понад 155 організацій та окремих осіб, а також підсумувала 691 завантаження критеріїв оцінювання та 3729 оцінок LLM з платформи у 2024 році.

Багато вітчизняних та іноземних організацій використовують VMLU, такі як VinBigData, VNPT AI, Viettel Solutions, Технологічний університет - VNU-HCM, UONLP x Ontocord - Університет Орегону (США), DAMO Academy - Alibaba Group, SDSRV teams - Samsung...

VMLU запустить свій перший набір критеріїв оцінювання LLM у 2023 році.

Поряд зі збільшенням кількості, якість моделей LLM також дедалі покращується. Якщо раніше LLM навчали базовим знанням, то зараз розробники зосереджуються на розширенні навичок, таких як розуміння прочитаного, спілкування або мислення, подібне до людського.

У відповідь на дедалі активніший розвиток передових в'єтнамських моделей LLM, VMLU опублікував нові набори стандартів для подальшої оцінки складних можливостей моделей.

Стандарти, що сприяють досконалості LLM

Раніше, коли на ринку не було стандартів якості, багатьом вітчизняним дослідницьким групам доводилося створювати власні внутрішні інструменти оцінювання з власними стандартами. Це обмежувало оцінювання, а також порівняння якості моделі з існуючими на ринку LLM для розробки відповідних стратегій навчання.

Щоб вирішити цю проблему, у листопаді 2023 року команда провідних в'єтнамських експертів дослідила та безкоштовно надала громаді VMLU – перший набір спільних стандартів «Зроблено у В'єтнамі».

Стандартний набір із 10 880 питань із вибором однієї правильної відповіді, що охоплюють 58 тем і розділені на багато рівнів, допоміг розробникам легко отримати доступ до загальних наборів даних для оцінювання. Водночас, скористайтеся рейтингами VMLU, щоб безпосередньо порівняти свої моделі з існуючими LLM на ринку.

Д-р Данг Тран Тай, керівник відділу обробки природної мови – технологічний блок віртуальних асистентів VinBigData, чия модель ViGPT-1.6B-v1 входить до рейтингу моделей «з нуля» (LLM, навчених з нуля) VMLU, сказав: «VMLU має відносно повні та вичерпні дані для оцінки знань LLM для в'єтнамців. VMLU корисний не лише для оцінки якості LLM на кожному етапі розробки, але й є мірою ефективності наших експериментів під час процесу навчання».

«Це буде «трампліном» для сприяння розвитку штучного інтелекту загалом і магістра права зокрема, оскільки ми повинні мати хороші стандарти, щоб мати основу для навчання високоякісних моделей», – додав доктор Данг Тран Тай.

Провідний інженер Microsoft, доктор Бах Хунг Нгуєн, також підтвердив корисність VMLU для оцінки продуктивності моделей LLM в'єтнамською мовою, допомагаючи розробникам краще зрозуміти можливості моделі. Крім того, доктор Бах Хунг Нгуєн також очікує, що VMLU додасть набір корисних навичок, таких як міркування, генерація коду та узагальнення тексту.

Нова версія VMLU спрямована на вдосконалення моделей LLM вищого порядку

Нещодавно VMLU продовжує оголошувати новий набір стандартів, що оцінюють здібності магістра права (LLM) до міркування та взаємодії. Розширений набір стандартів оцінює 3 основні навички сучасного магістра права, зокрема:

Розуміння прочитаного (ViSQuAD) : 3310 запитань оцінюють здатність глибоко розуміти текст та обробляти складні питання на основі специфічних характеристик в'єтнамської мови та контексту.

Логічне мислення (ViDrop) : 3090 питань перевіряють логічне мислення учнів магістра права за допомогою таких завдань, як порівняння, лічба та арифметичні обчислення.

Взаємодія (ViDialog) : 210 діалогів оцінюють зв'язність, здатність розуміти контекст та застосовувати міждисциплінарні знання (історія, географія, логіка) у діалозі.

Це оновлення не лише допомагає розробникам більш комплексно оцінювати моделі, але й сприяє створенню корисних цінностей для кінцевих користувачів за допомогою LLM.

Нові стандарти VMLU будуть випущені у 2025 році.

Д-р Чау Тхань Дик, директор з досліджень та розробок штучного інтелекту в Zalo AI – організації, яка розробила VMLU, сказав: «Наразі у світі існують сотні різних стандартів для оцінки можливостей великих мовних моделей. Однак кількість стандартів оцінювання, спеціально розроблених для в’єтнамської мови, дуже обмежена. З запуском стандартів у 2023 та 2025 роках ми сподіваємося урізноманітнити аспекти оцінювання».

Новий набір стандартів було опубліковано на вебсайті VMLU https://vmlu.ai/ для того, щоб окремі особи та дослідницькі групи могли оцінювати свої моделі.

Новий набір стандартів було оновлено на вебсайті VMLU.

VMLU — це платформа для оцінки та ранжування в'єтнамських моделей LLM, створених Zalo AI у співпраці з Японським інститутом передових наук і технологій (JAIST) та наданих спільноті безкоштовно з листопада 2023 року. Прагнучи підтримувати в'єтнамську спільноту штучного інтелекту, VMLU сприяє розвитку здатності в'єтнамського народу опановувати нові технології. Тим самим, вносячи свій внесок в еру технологічного розвитку країни з проривною орієнтацією на науку, технології, інновації та національну цифрову трансформацію.

Джерело: https://znews.vn/mo-hinh-ai-dang-can-bo-tieu-chuan-danh-gia-sau-cac-nang-luc-phuc-tap-post1589901.html