Zalo AI y el Instituto JAIST se unen con la comunidad para desarrollar un LLM avanzado

Zalo AI y el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST) acaban de anunciar un conjunto de estándares para evaluar las habilidades de razonamiento e interacción de LLM, acompañando a la comunidad de IA vietnamita en el perfeccionamiento de los modelos LLM de alto nivel.

La Inteligencia Artificial (IA) se está desarrollando de forma explosiva y ofrece oportunidades sin precedentes gracias a importantes avances en la investigación de modelos de IA, lo que sienta las bases para promover aplicaciones y desarrollar productos que satisfagan necesidades prácticas. En Vietnam, tras el sólido desarrollo de ChatGPT, que dio lugar al surgimiento de una serie de modelos de IA similares a nivel mundial, grupos de investigación nacionales con diferentes escalas y potenciales se han sumado a la iniciativa mediante la creación de modelos lingüísticos de gran tamaño (LLM) vietnamitas.

La proliferación de modelos LLM vietnamitas requiere un conjunto de criterios generales de evaluación para ayudar a los desarrolladores a medir la calidad del modelo para tener estrategias de entrenamiento adecuadas.

El Dr. Nguyen Truong Son, director científico de Zalo AI, la empresa desarrolladora de la plataforma, evaluó el LLM vietnamita de VMLU: "El mercado vietnamita carece de estándares de evaluación de calidad en comparación con el resto del mundo".

La plataforma de evaluación LLM VMLU fue desarrollada por Zalo AI y el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST).

Según el Dr. Nguyen Truong Son, esta realidad requiere que la comunidad de IA vietnamita se una para crear estándares comunes que ayuden a evaluar de manera adecuada y correcta los modelos de IA vietnamitas, creando una base para el desarrollo de modelos de calidad cada vez mejor.

Promover el desarrollo de nuevos estándares de calidad

En noviembre de 2023, Zalo AI y el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST) colaborarán para desarrollar y proporcionar gratuitamente a la comunidad un conjunto de estándares para evaluar la calidad de los modelos LLM vietnamitas, denominado VMLU (Conjunto de Referencia de Comprensión del Lenguaje Multitarea Vietnamita para Modelos de Lenguaje Grandes). Este es el primer conjunto de estándares "Hecho en Vietnam" investigado y lanzado a la comunidad por un equipo de destacados expertos vietnamitas.

En lugar de tener que construir sus propias herramientas de evaluación con sus propios estándares, los grupos de investigación LLM vietnamitas han podido acceder a un conjunto de datos de evaluación general e integral.

Los estándares VMLU se centran en cuatro áreas, incluyendo STEM, ciencias sociales, humanidades y extensión, con niveles de dificultad crecientes: Primaria, Secundaria, Bachillerato y Profesional (pregrado y posgrado). Con 10.880 preguntas de opción múltiple que abarcan 58 temas y se dividen en varios niveles, la versión 2023 ha ayudado a evaluar eficazmente los conocimientos básicos del Máster en Derecho (LLM).

A finales de 2024, VMLU había publicado 45 LLM en sus clasificaciones, recibido solicitudes de evaluación de más de 155 organizaciones e individuos, y resumido 691 descargas de los criterios de evaluación y 3729 evaluaciones de LLM desde la plataforma. Numerosas organizaciones nacionales e internacionales utilizan los estándares de VMLU, como VinBigData, VNPT AI, Viettel Solutions, Universidad Tecnológica de la Ciudad de Ho Chi Minh (VNU), UONLP x Ontocord (Universidad de Oregón, EE. UU.), DAMO Academy (Alibaba Group), SDSRV teams (Samsung).

En la nueva fase, los modelos LLM se actualizan considerablemente, lo que requiere puntos de referencia para evaluar más profundamente competencias complejas.

“Los modelos LLM se están volviendo más inteligentes, casi completamente capaces de comprender y responder preguntas correctamente. Por lo tanto, los desarrolladores se están enfocando más en dotar a los LLM con diversas capacidades, como comprensión lectora, planificación, diálogo y razonamiento similar al de los humanos”, afirmó el profesor Nguyen Le Minh, del Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST), socio de Zalo AI en el desarrollo del conjunto de evaluación VMLU.

En respuesta a las necesidades cada vez más diversas de los desarrolladores, VMLU lanzó recientemente un nuevo conjunto de estándares para evaluar tres habilidades que incluyen (1) Comprensión de lectura (ViSQuAD), (2) Razonamiento (ViDrop) y (3) Interacción (ViDialog).

Normas VMLU 2025.

El nuevo conjunto de estándares se ha lanzado en el sitio web de VMLU https://vmlu.ai/ para que las personas y los grupos de investigación evalúen sus modelos.

Esfuerzos para acompañar a la comunidad de dominio de la IA

Los expertos de VMLU dijeron que continuarán investigando y construyendo conjuntos de evaluación más diversos en diferentes dominios con distintos niveles de dificultad para evaluar modelos de lenguaje grandes de manera más completa y reflejar con mayor precisión los patrones de uso de los usuarios.

Además, VMLU también pretende desarrollar un conjunto de estándares de evaluación para la seguridad e integridad del modelo LLM para garantizar que los LLM vietnamitas se desarrollen de manera responsable.

Para promover la capacidad y el espíritu de dominio de las nuevas tecnologías entre los vietnamitas, los estándares de evaluación de VMLU seguirán proporcionándose de forma gratuita a la comunidad de investigación de LLM vietnamita.

Los estándares VMLU 2025 se han actualizado en el sitio web de VMLU.

Como pionero en el campo de la Inteligencia Artificial en Vietnam, Zalo AI también acompaña siempre a la comunidad en la investigación y el desarrollo de soluciones de IA para los usuarios vietnamitas.

Además de la plataforma para evaluar y clasificar las capacidades de los principales modelos lingüísticos vietnamitas, desde 2017, Zalo AI también organiza el Desafío Zalo AI y el foro anual Cumbre Zalo AI. Estos eventos no solo conectan a la comunidad vietnamita de IA, sino que también contribuyen a inspirar y promover la creación de productos de tecnología de IA por parte de los vietnamitas para servir a la población vietnamita.

Fuente: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html