Zalo y la travesía de superar obstáculos para alcanzar las aspiraciones domésticas

Mientras el mundo observa el rápido progreso de las superpotencias en el campo de la IA, el equipo de ingeniería tecnológica de Zalo emprende un ambicioso viaje: dominar la inteligencia artificial en vietnamita.

La explosión de la inteligencia artificial generativa (IA generativa) ha cambiado por completo el panorama tecnológico mundial.

Desde que OpenAI lanzó ChatGPT a finales de 2022, han aparecido continuamente una serie de modelos LLM similares, aplicados en numerosos campos como la sanidad, la educación , las finanzas, el derecho... La competencia se ha vuelto feroz, no solo a escala empresarial sino también a escala nacional en términos de capacidad de entrenamiento, infraestructura informática y datos.

Grandes empresas como OpenAI, Google, Meta o Microsoft, con potencial financiero y condiciones favorables, invirtieron rápidamente miles de millones de dólares para adquirir miles de GPU de gama alta como la Nvidia H100, componente esencial para el entrenamiento de modelos LLM. El precio de las acciones de Nvidia se disparó durante ese período, reflejando la gran demanda mundial de infraestructura.

Mientras tanto, las empresas tecnológicas de los países en desarrollo, además de los problemas de costes, también se enfrentan a restricciones para importar y exportar equipos de chips de IA desde EE. UU. Esto conlleva una falta de equipos de formación y una menor competitividad en comparación con los gigantes tecnológicos. Zalo, con sus aspiraciones en el mercado nacional, no es una excepción.

En cuanto a los datos, los problemas de aprendizaje automático anteriores requerían grandes cantidades de datos de entrenamiento, pero para los modelos de lenguaje complejos, la cantidad de datos es enorme. Para obtener un modelo suficientemente bueno, el sistema LLM requiere decenas o incluso cientos de miles de millones de tokens de texto de entrada. Por otro lado, en términos de popularidad, el vietnamita no está a la par con el inglés y el chino. Esto ha multiplicado la dificultad para los desarrolladores de LLM vietnamitas.

En 2023, los grandes modelos de lenguaje (LLM), como GPT-3.5 y GPT-4, irrumpieron con fuerza en el mundo de la tecnología, y muchas empresas vietnamitas también optaron por modelos extranjeros perfeccionados para tomar un atajo y adelantarse en el proceso de entrenamiento de LLM.

Zalo optó por un camino diferente, más arduo, pero también más autónomo: el autoentrenamiento del modelo desde cero (modelo desde cero). Un camino que exige construirlo todo desde cero: desde los datos y la arquitectura del modelo hasta el proceso de entrenamiento completo. Esta decisión no buscaba competir con los gigantes, sino hacer realidad la aspiración del pueblo vietnamita: dominar el modelo LLM en su lengua materna.

“Anticipamos las dificultades y aun así decidimos entrar al mercado desde el principio. No competimos directamente con las grandes empresas, sino que elegimos un nicho de mercado donde podíamos destacar. Nuestra aspiración es crear un modelo que los vietnamitas controlen por completo, desde los datos hasta los algoritmos”, compartió el Dr. Nguyen Truong Son, Director Científico de Zalo AI.

A pesar de enfrentar numerosos obstáculos en tres áreas principales —infraestructura, datos y nivel de capacitación—, los ingenieros vietnamitas han encontrado soluciones proactivas para superar las dificultades. Esto demuestra el espíritu y la fuerza de voluntad del pueblo vietnamita en circunstancias difíciles, en particular, al superar los retos en el proceso de desarrollo del programa de Maestría en Derecho (LLM) para la población vietnamita.

Para capacitar a los ingenieros en LLM, se necesitaba la infraestructura adecuada. Sin embargo, en aquel entonces, las GPU como la Nvidia H100 eran prácticamente una rareza a nivel mundial. Mientras tanto, las grandes empresas las habían preordenado durante un año y habían pagado millones de dólares por adquirirlas. En Vietnam, Zalo también intentó comprar ocho servidores DGX H100, pero no fue fácil, ya que tenían que esperar a que llegara cada lote de entregas del fabricante.

Ante la falta de GPU de Nvidia, los ingenieros vietnamitas tuvieron que usar con flexibilidad GPU de consumo para experimentar con cada línea de código y ejecutar cada modelo pequeño. En lugar de esperar, se prepararon de forma proactiva para que, cuando dispusieran de equipos modernos, todo estuviera listo.

En lo que respecta a los datos, en lugar de depender de los recursos disponibles, Zalo invirtió en la construcción de un almacén de datos de alta calidad específicamente para el vietnamita, para compensar la grave escasez en comparación con el inglés y el chino.

Gracias a su estrategia de desarrollo flexible, Zalo logró reducir el tiempo de desarrollo de su modelo de lenguaje de gran tamaño de los 18 meses previstos a tan solo 6 meses. A finales de 2023, el modelo de lenguaje de gran tamaño vietnamita de Zalo se lanzó oficialmente en un evento que reunió a la comunidad tecnológica y de IA más destacada de Vietnam: la Cumbre de IA de Zalo. Allí, el modelo de lenguaje de gran tamaño de Zalo debutó en el desafío de Kahoot propuesto por Tinhte.vn y, sorprendentemente, superó a GPT 3.5, quedando solo por detrás de GPT4, el modelo de lenguaje de gran tamaño que en ese momento se consideraba el más potente del mundo.

Según la plataforma de evaluación VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), el modelo de Zalo es 1,5 veces más potente que el GPT-3.5 de OpenAI. Para finales de 2024, este modelo superará a grandes nombres como GPT-4 (OpenAI), Gemma-2-9B (Google) o Phi-3-small (Microsoft), quedando solo por detrás del LLaMA-3-70B de Meta en cuanto a capacidad de procesamiento del vietnamita en las clasificaciones de VMLU.

Zalo no se limita a la investigación, sino que está llevando gradualmente la tecnología del laboratorio a la vida real mediante la comercialización y popularización de productos de aplicación de LLM.

A principios de 2025, el asistente general de preguntas y respuestas Kiki Info —que operaba como cuenta oficial en la plataforma Zalo— atrajo a más de un millón de usuarios en menos de dos meses. Otra aplicación, Thiep AI, también alcanzó la impresionante cifra de 15 millones de tarjetas creadas y enviadas en tan solo dos meses.

La trayectoria de Zalo no se limita al deseo de una empresa de desarrollar tecnología. Forma parte de un panorama más amplio, donde Vietnam impulsa activamente la innovación mediante políticas como la Resolución 57-NQ/TW sobre desarrollo científico y tecnológico y transformación digital nacional. En particular, se hace hincapié en el campo de la inteligencia artificial.

El surgimiento y rápido desarrollo del LLM vietnamita de Zalo no solo representa un avance tecnológico para la empresa, sino también un testimonio de la capacidad inherente y la perseverancia del equipo tecnológico vietnamita.

Con la técnica de «entrenamiento desde cero» —entrenamiento de modelos desde cero— Zalo optó por un camino más largo, pero ayudó a Vietnam a dominar la IA. No solo en términos de resultados, sino también en todo el proceso, desde la arquitectura del modelo, los datos y los algoritmos, hasta los productos de aplicación. El éxito de Zalo también ha contribuido a que Vietnam se convierta en uno de los pocos países del sudeste asiático con un modelo de aprendizaje automático propio, un hito estratégico en el contexto de una competencia tecnológica global cada vez más feroz.

En el largo camino que le espera, Zalo no se conformará con un solo modelo o unos pocos productos, sino que continuará perfeccionándolo para servir a los usuarios y crear una plataforma de IA vietnamita de calidad competitiva: “El desarrollo de la IA de Zalo aún es un largo camino. Seguiremos optimizando el modelo tanto en amplitud como en profundidad, a la vez que promovemos su aplicación práctica. El objetivo final es crear productos de IA de calidad que sirvan de forma práctica a los vietnamitas”, añadió el Sr. Son.

El exitoso desarrollo del programa de Maestría en Derecho (LLM) vietnamita de Zalo no solo representa un hito para el sector empresarial, sino que también abre un futuro prometedor para la inteligencia artificial en Vietnam. La perseverancia y la ambición del pueblo vietnamita han sido clave para alcanzar estos valiosos resultados. El futuro de la IA en Vietnam no solo contará con una empresa como Zalo, sino también con una generación de ingenieros audaces que seguirán sus pasos, heredarán este legado y conquistarán el mundo de la tecnología.

Fuente: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html