Zalo AI и Институт JAIST объединяют усилия с сообществом для разработки продвинутой программы магистратуры по праву

Zalo AI и Японский передовой институт науки и технологий (JAIST) только что анонсировали набор стандартов для оценки навыков рассуждения и взаимодействия LLM, помогая вьетнамскому сообществу ИИ совершенствовать высокоуровневые модели LLM.

Искусственный интеллект (ИИ) развивается стремительными темпами и открывает беспрецедентные возможности благодаря важным достижениям в исследовании моделей ИИ, создавая предпосылки для продвижения приложений и разработки продуктов для удовлетворения практических потребностей. Во Вьетнаме, сразу после бурного развития ChatGPT, которое привело к появлению ряда аналогичных моделей ИИ по всему миру, к этой гонке присоединились местные исследовательские группы разного масштаба и потенциала, создав вьетнамские большие языковые модели (LLM).

Распространение вьетнамских моделей LLM требует набора общих критериев оценки, которые помогут разработчикам измерять качество модели для разработки соответствующих стратегий обучения.

Доктор Нгуен Труонг Сон, научный директор компании Zalo AI, разработчика платформы, дал оценку программе магистра права VMLU Vietnamese: «На вьетнамском рынке отсутствуют стандарты оценки качества по сравнению с мировым».

Платформа оценки LLM VMLU была разработана Zalo AI и Японским передовым институтом науки и технологий (JAIST).

По словам доктора Нгуен Труонг Сона, эта реальность требует от вьетнамского сообщества ИИ объединения усилий для создания общих стандартов, которые помогут правильно и адекватно оценивать вьетнамские модели ИИ, создавая основу для разработки все более качественных моделей.

Содействовать разработке новых стандартов качества

В ноябре 2023 года Zalo AI и Японский передовой институт науки и технологий (JAIST) объединятся для разработки и бесплатного предоставления сообществу набора стандартов для оценки качества вьетнамских моделей LLM под названием VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Это первый набор стандартов «Make in Vietnam», разработанный и представленный сообществу группой ведущих вьетнамских экспертов.

Вместо того чтобы разрабатывать собственные инструменты оценки по собственным стандартам, вьетнамские исследовательские группы LLM получили доступ к комплексному и общему набору данных по оценке.

Стандарты VMLU охватывают 4 области, включая STEM, социальные науки, гуманитарные дисциплины и смежные дисциплины, с возрастающей сложностью: начальное, среднее, старшие классы и профессиональное образование (бакалавриат и магистратура). Версия 2023 года, включающая 10 880 вопросов с несколькими вариантами ответов, охватывающих 58 тем и разделенных на несколько уровней, помогла эффективно оценить базовые знания LLM.

К концу 2024 года VMLU опубликовала в рейтинге 45 программ LLM, получила запросы на оценку от более чем 155 организаций и частных лиц, а также суммировала 691 загрузку критериев оценки и 3729 оценок LLM с платформы. Многие отечественные и зарубежные организации используют стандарты VMLU, такие как VinBigData, VNPT AI, Viettel Solutions, Технологический университет Хошимина (VNU), UONLP x Ontocord (Орегонский университет, США), DAMO Academy (Alibaba Group), команды SDSRV (Samsung).

На новом этапе модели LLM существенно модернизируются и требуют контрольных показателей для более глубокой оценки сложных компетенций.

«Модели LLM становятся умнее, практически полностью обладая способностью понимать вопросы и правильно отвечать на них. Поэтому разработчики всё больше внимания уделяют наделению LLM разнообразными навыками, такими как понимание прочитанного, планирование, диалог и рассуждение, аналогичными человеческим», — отметил профессор Нгуен Ле Минь из Японского передового института науки и технологий (JAIST), партнёра Zalo AI по разработке оценочного набора VMLU.

Отвечая на все более разнообразные потребности разработчиков, VMLU недавно запустила новый набор стандартов для оценки 3 навыков, включая (1) понимание прочитанного (ViSQuAD), (2) рассуждение (ViDrop) и (3) взаимодействие (ViDialog).

Стандарты VMLU 2025.

Новый набор стандартов был опубликован на веб-сайте VMLU https://vmlu.ai/, чтобы отдельные лица и исследовательские группы могли оценить свои модели.

Усилия по сопровождению сообщества специалистов в области искусственного интеллекта

Эксперты VMLU заявили, что они продолжат исследования и создание более разнообразных оценочных наборов в разных областях с разными уровнями сложности, чтобы более полно оценивать большие языковые модели и точно отражать модели использования пользователями.

Кроме того, VMLU также намерена разработать набор стандартов оценки безопасности и целостности модели LLM, чтобы гарантировать ответственное развитие вьетнамских LLM.

Для повышения способности и духа вьетнамцев к освоению новых технологий стандарты оценки VMLU будут по-прежнему предоставляться бесплатно вьетнамскому исследовательскому сообществу LLM.

Стандарты VMLU 2025 были обновлены на веб-сайте VMLU.

Будучи пионером в области искусственного интеллекта во Вьетнаме, Zalo AI также всегда сопровождает сообщество в исследовании и разработке ИИ-решений для вьетнамских пользователей.

Помимо платформы для оценки и ранжирования возможностей основных моделей вьетнамского языка, с 2017 года Zalo AI также организует Zalo AI Challenge и ежегодный форум Zalo AI Summit. Эти мероприятия не только объединяют вьетнамское сообщество ИИ, но и способствуют вдохновению и продвижению создания вьетнамцами продуктов на основе ИИ для служения вьетнамскому народу.

Источник: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html