La ingeniera de Zalo lleva tecnología vietnamita a la conferencia de IA líder en el mundo.

Seis años en Zalo le han permitido a Bui Thi Cuc profundizar en su pasión por la inteligencia artificial. Tras graduarse, trabajó en ciencia de datos y se convirtió en ingeniera sénior de IA en Zalo, representando al equipo de desarrollo de VMLU y presentando su investigación en la conferencia de la ACL (Asociación de Lingüística Computacional) en Viena, Austria, en el verano de 2025.

Esta se considera la conferencia académica líder sobre procesamiento del lenguaje natural, y atrae a más de 2000 investigadores cada año. Aquí se han presentado numerosos trabajos fundamentales sobre PLN antes de convertirse en estándares de la industria.

“Desde el primer día de la conferencia, me impresionó la magnitud y el abierto intercambio académico”, recordó Cúc. El ambiente de investigación fue constante de la mañana a la noche, con numerosos pósteres en exposición, largas discusiones técnicas y la presencia de laboratorios de Meta, Google, Apple y otros.

De Vietnam a Viena, Austria

El artículo de investigación de Bui Thi Cuc, titulado "Puntos de referencia ACL VMLU: un conjunto de herramientas de referencia integral para LLM vietnamitas", tiene como objetivo abordar la falta de herramientas de evaluación para modelos de idioma vietnamita a gran escala.

Lanzado en noviembre de 2023 por Zalo AI y el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST), VMLU ha proporcionado un conjunto común de estándares para ayudar a los desarrolladores de modelos de lenguaje (LLM) a gran escala dirigidos a usuarios vietnamitas a evaluar y desarrollar estrategias de entrenamiento adecuadas para sus modelos.

Bui Cuc afirmó que, durante el desarrollo de VMLU, los miembros se enfrentaron a numerosos desafíos, desde la creación de parámetros de referencia hasta la garantía de la calidad de los datos. Sin embargo, la fase más estresante fue el proceso de presentación de investigaciones. La tasa de aceptación de investigaciones en ACL es de tan solo un 25%, y tuvieron que competir con muchas grandes instituciones de investigación en IA a nivel mundial .

“Cuando recibimos los resultados en la Conferencia Borderline, es decir, cuando se aceptaron los hallazgos, todo el equipo estaba más satisfecho de lo esperado. Después, recopilé todos los comentarios del panel de revisión, los discutí con mi superior directo y finalmente convencí a los revisores para que aumentaran la puntuación para que el artículo de investigación fuera aceptado en la conferencia principal”, recordó Cúc.

Hermano Zalo 1

La Sra. Bui Thi Cuc, en representación del equipo de desarrollo de VMLU, presentó el proyecto de investigación en la conferencia ACL.

Este es el primer punto de referencia diseñado para evaluar la capacidad de comprensión del idioma vietnamita en modelos lingüísticos de gran tamaño. El punto de referencia incluye cuatro conjuntos de datos con 17 000 preguntas para evaluar las habilidades de cultura general, comprensión lectora, razonamiento y diálogo.

Según los ingenieros de Zalo, la mayoría de los puntos de referencia actuales están diseñados para inglés, lo que no refleja plenamente el contexto sintáctico, semántico y cultural del vietnamita. La traducción directa de conjuntos de preguntas del inglés al vietnamita suele generar imprecisiones o pérdida de matices semánticos.

Para explicar el marco de evaluación del LLM de forma sencilla, imaginemos que la IA es un estudiante que necesita un examen para evaluar sus habilidades. Actualmente, la mayoría de los exámenes se realizan en inglés, pero el equipo de IA de Zalo quería crear un examen en vietnamita para comprobar si la IA realmente comprende y utiliza el idioma.

El Sr. Nguyen Truong Son, Director Científico de Zalo AI, afirmó: «El sistema de evaluación VMLU proporciona una "medida" común para evaluar modelos de idioma vietnamita a gran escala. Tras su publicación, recibimos una gran cantidad de comentarios positivos de la comunidad investigadora de IA, tanto a nivel nacional como internacional. En el futuro, espero que VMLU se convierta en un estándar de evaluación ampliamente utilizado y aplicado, no solo en la comunidad académica, sino también en las empresas que desarrollan productos de IA».

Aplicación de IA a los productos de Zalo.

Más allá de su valor académico, VMLU tiene muchas aplicaciones potenciales en el desarrollo de productos de IA en Zalo.

Según Cúc, en primer lugar, el benchmark ayuda a evaluar la precisión y la comprensión lingüística de los modelos utilizados en Kiki Info, un asistente digital ciudadano. Esto permite al equipo identificar las limitaciones del modelo en habilidades específicas.

En segundo lugar, VMLU se utiliza como herramienta de prueba antes de implementar nuevas funciones de IA, como resumen de mensajes, sugerencias de respuestas automáticas o soporte de servicio al cliente.

En última instancia, con sus capacidades de evaluación conversacional, VMLU ayuda a Zalo a desarrollar chatbots empresariales con una comunicación que suena natural y se alinea con la cultura de comunicación vietnamita.

"Nuestro mayor objetivo es crear modelos de IA que entiendan el vietnamita de forma natural y precisa", afirmó Cúc.

Hermano Zalo 2

La joven ingeniera espera que VMLU continúe expandiéndose.

Al regresar de Viena, el joven ingeniero espera que VMLU continúe expandiéndose y se convierta en una plataforma para que muchos grupos de investigación nacionales comparen y evalúen modelos de manera unificada.

Espero que este conjunto de datos sea el punto de partida para que la comunidad vietnamita de IA se desarrolle con mayor fuerza en los próximos años. Queremos contribuir, aunque sea un poco, a que el vietnamita sea un idioma que los modelos globales de IA comprendan correctamente y procesen eficazmente.

Hermano Zalo 3