Seis años en Zalo le han permitido a Bui Thi Cuc profundizar en su pasión por la Inteligencia Artificial. Desde su puesto como científica de datos recién egresada de la universidad, Cuc se ha convertido en ingeniera sénior de IA en Zalo, representando al equipo de desarrollo de VMLU y presentando su investigación en la conferencia de la ACL (Asociación de Lingüística Computacional) en Viena, Austria, en el verano de 2025.

Esta se considera la conferencia académica líder sobre procesamiento del lenguaje natural, y atrae a más de 2000 investigadores cada año. Aquí se han presentado numerosos trabajos fundamentales sobre PLN antes de convertirse en estándares de la industria.

“Desde el primer día de la conferencia, me impresionó la magnitud y el abierto intercambio académico”, recordó Cúc. El ambiente de investigación fue constante de la mañana a la noche, con numerosos pósteres en exposición, largas discusiones técnicas y la presencia de laboratorios de Meta, Google, Apple y otros.

De Vietnam a Viena, Austria

La investigación de Bui Thi Cuc, titulada ACL VMLU Benchmarks: A complete benchmark toolkit for Vietnamese LLMs, tiene como objetivo abordar la falta de herramientas de evaluación para modelos de idioma vietnamita a gran escala.

Lanzado en noviembre de 2023 por Zalo AI y el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST), VMLU ha proporcionado un conjunto común de estándares para ayudar a los desarrolladores de modelos de lenguaje (LLM) a gran escala dirigidos a usuarios vietnamitas a evaluar y desarrollar estrategias de entrenamiento adecuadas para sus modelos.

La Sra. Cúc afirmó que, durante el desarrollo de VMLU, los miembros se enfrentaron a numerosos desafíos, desde la creación de parámetros de referencia hasta la garantía de la calidad de los datos. Sin embargo, la fase más estresante fue el proceso de presentación de investigaciones. La tasa de aceptación de investigaciones en ACL es de tan solo un 25%, y tuvieron que competir con muchas grandes instituciones de investigación en IA a nivel mundial .

“Cuando recibimos los resultados en la Conferencia Borderline, es decir, cuando se aceptaron los hallazgos, todo el equipo estaba más satisfecho de lo esperado. Después, recopilé todos los comentarios del panel de revisión, los discutí con mi superior directo y finalmente convencí a los revisores para que aumentaran la puntuación para que el artículo de investigación fuera aceptado en la conferencia principal”, recordó Cúc.

anh 1 (3).jpg

Este es el primer punto de referencia diseñado para evaluar la capacidad de comprensión del idioma vietnamita en modelos lingüísticos de gran tamaño. El punto de referencia incluye cuatro conjuntos de datos con 17 000 preguntas para evaluar las habilidades de cultura general, comprensión lectora, razonamiento y diálogo.

El Sr. Nguyen Truong Son, Director Científico de Zalo AI, afirmó: «El sistema de evaluación VMLU proporciona una 'medida' común para evaluar modelos de idioma vietnamita a gran escala. Tras su publicación, recibimos una gran cantidad de comentarios positivos de la comunidad investigadora de IA, tanto a nivel nacional como internacional. En el futuro, espero que VMLU se convierta en un estándar de evaluación ampliamente utilizado y aplicado, no solo en la comunidad académica, sino también en las empresas que desarrollan productos de IA».

Aplicación de IA a los productos de Zalo.

Más allá de su valor académico, VMLU tiene muchas aplicaciones potenciales en el desarrollo de productos de IA en Zalo.

Según Cúc, en primer lugar, el benchmark ayuda a evaluar la precisión y la comprensión lingüística de los modelos utilizados en Kiki Info, un asistente digital ciudadano. Esto permite al equipo identificar las limitaciones del modelo en habilidades específicas.

En segundo lugar, VMLU se utiliza como herramienta de prueba antes de implementar nuevas funciones de IA, como resumen de mensajes, sugerencias de respuestas automáticas o soporte de servicio al cliente.

En última instancia, con sus capacidades de evaluación conversacional, VMLU ayuda a Zalo a desarrollar chatbots empresariales con una comunicación que suena natural y se alinea con la cultura de comunicación vietnamita.

"Nuestro mayor objetivo es crear modelos de IA que entiendan el vietnamita de forma natural y precisa", afirmó Cúc.

foto 2.png

Al regresar de Viena, el joven ingeniero espera que VMLU continúe expandiéndose y se convierta en una plataforma para que muchos grupos de investigación nacionales comparen y evalúen modelos de manera unificada.

Espero que este conjunto de datos sea el punto de partida para que la comunidad vietnamita de IA se desarrolle con mayor fuerza en los próximos años. Queremos contribuir, aunque sea un poco, a que el vietnamita sea un idioma que los modelos globales de IA comprendan correctamente y procesen eficazmente.

anh 3.png
La Cumbre de IA de Zalo 2025, con el tema “Vietnam en la era de la IA-ificación”, se llevará a cabo a las 8:00 a. m. del sábado 20 de diciembre de 2025 en el Campus VNG , Zona de procesamiento de exportaciones de Tan Thuan, Ciudad Ho Chi Minh.
El evento se transmitirá en vivo en los canales de información oficiales de Zalo y se espera que atraiga a más de 400 ingenieros de IA para participar.
Regístrate para participar en: https://summit.zalo.ai/

Bich Dao

Fuente: https://vietnamnet.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-2471254.html