La explosión de la IA generativa ha cambiado por completo el panorama tecnológico global.
Desde que OpenAI lanzó ChatGPT a fines de 2022, han aparecido continuamente una serie de modelos LLM similares, aplicados en muchos campos como la salud, la educación , las finanzas, el derecho, etc. La carrera se ha vuelto feroz, no solo a escala empresarial sino también a escala nacional en términos de capacidad de capacitación, infraestructura informática y datos.
Grandes empresas como OpenAI, Google, Meta o Microsoft, con potencial financiero y condiciones favorables, han invertido rápidamente miles de millones de dólares para adquirir miles de GPU de alta gama, como la Nvidia H100, el factor clave para el entrenamiento de modelos LLM. El precio de las acciones de Nvidia se disparó durante ese período, lo que refleja la necesidad mundial de infraestructura.
Mientras tanto, las empresas tecnológicas de países en desarrollo, además de los problemas de costos, también enfrentan restricciones para importar y exportar equipos de chips de IA desde EE. UU. Esto genera escasez de equipos de capacitación y una mayor lentitud en comparación con los gigantes tecnológicos. Con aspiraciones nacionales, Zalo no es la excepción.
En términos de datos, los problemas previos de aprendizaje automático requerían grandes cantidades de datos de entrenamiento, pero para modelos lingüísticos grandes, esta es una cantidad enorme. Para tener un modelo suficientemente bueno, el sistema LLM requiere decenas o incluso cientos de miles de millones de tokens de texto de entrada. Mientras tanto, en términos de popularidad, el vietnamita no está a la par con el inglés y el chino. Esto ha multiplicado la dificultad para los desarrolladores vietnamitas de LLM.
En 2023, los modelos de lenguaje grandes (LLM) como GPT-3.5 y GPT-4 han revolucionado el mundo tecnológico, y muchas empresas vietnamitas también han optado por modelos perfeccionados fabricados en el extranjero para tomar un atajo y adelantarse al proceso de formación LLM.
Zalo eligió un camino diferente, más arduo, pero más autónomo: autoentrenar el modelo desde cero (modelo desde cero). Un camino que requiere construir todo desde cero: desde los datos y la arquitectura del modelo hasta el proceso completo de entrenamiento. Esa decisión no fue para competir con los gigantes, sino para hacer realidad la aspiración del pueblo vietnamita: dominar el modelo LLM en su lengua materna.
“Anticipamos las dificultades y aun así decidimos sumarnos al juego desde el principio. No competimos directamente con los grandes, sino que elegimos un nicho de mercado donde podíamos destacar. Nuestra aspiración es construir un modelo que los vietnamitas controlen por completo, desde los datos hasta los algoritmos”, compartió el Dr. Nguyen Truong Son, director científico de Zalo AI.
A pesar de enfrentar numerosos obstáculos en tres factores principales: infraestructura, datos y nivel de capacitación, los ingenieros vietnamitas han encontrado soluciones proactivas para superar las dificultades. Esto demuestra el espíritu y la fuerza de voluntad del pueblo vietnamita en circunstancias difíciles, específicamente en este caso, superando los desafíos en el proceso de desarrollo de la Maestría en Derecho (LLM) para los vietnamitas.
Para formar a los ingenieros de LLM, estos necesitaban la infraestructura adecuada. Pero en aquel entonces, las GPU como la H100 de Nvidia eran prácticamente una rareza mundial. Mientras tanto, las grandes empresas las habían reservado durante un año y habían pagado millones de dólares para adquirirlas. En Vietnam, Zalo también intentó comprar ocho servidores DGX H100, pero no fue fácil, pues tenía que esperar cada lote de entregas del fabricante.
Ante la falta de GPUs Nvidia, los ingenieros vietnamitas tuvieron que usar GPUs civiles con flexibilidad para experimentar con cada línea de código y ejecutar cada pequeño modelo. En lugar de esperar, los ingenieros se prepararon proactivamente para que, al contar con equipos modernos, todo estuviera listo.
En términos de datos, en lugar de depender de los recursos disponibles, Zalo invirtió en la construcción de un almacén de datos de alta calidad específicamente para vietnamita, para compensar la grave escasez en comparación con el inglés y el chino.
Gracias a su estrategia de desarrollo flexible, Zalo ha logrado reducir el tiempo de desarrollo de su modelo de lenguaje extenso de los 18 meses previstos a 6 meses. A finales de 2023, el modelo de lenguaje extenso vietnamita de Zalo se lanzó oficialmente en el evento que reunió a la comunidad líder en tecnología e inteligencia artificial en Vietnam: Zalo AI Summit. Allí, el modelo LLM de Zalo debutó a través del desafío Kahoot de Tinhte.vn y sorprendentemente superó a GPT 3.5, solo por detrás de GPT4, el modelo LLM considerado el más sólido del mundo en aquel momento.
En la plataforma de evaluación VMLU (Conjunto de Referencia para la Comprensión del Lenguaje Multitarea Vietnamita para Modelos Lingüísticos Grandes), el modelo de Zalo alcanzó una capacidad 1,5 veces superior a la del GPT-3.5 de OpenAI. Para finales de 2024, este modelo superará a grandes nombres como GPT-4 (OpenAI), Gemma-2-9B (Google) o Phi-3-small (Microsoft), solo por detrás del LLaMA-3-70B de Meta en cuanto a capacidad de procesamiento vietnamita según la clasificación de VMLU.
Zalo no se limita a la investigación, sino que poco a poco va dando vida a la tecnología del laboratorio comercializando y popularizando los productos de aplicación de LLM.
A principios de 2025, el asistente de preguntas y respuestas Kiki Info, que operaba como cuenta oficial en la plataforma Zalo, atrajo a más de un millón de usuarios en menos de dos meses. Otra aplicación, Thiep AI, también alcanzó la impresionante cifra de 15 millones de tarjetas creadas y enviadas en tan solo dos meses.
La trayectoria de Zalo no se limita a una empresa que busca desarrollar tecnología. Es parte de un panorama más amplio: Vietnam promueve activamente la innovación, con políticas como la Resolución 57-NQ/TW sobre ciencia, desarrollo tecnológico y transformación digital nacional. En particular, se hace hincapié en el campo de la inteligencia artificial.
El surgimiento y el rápido desarrollo del LLM vietnamita de Zalo no es solo un avance tecnológico para una empresa, sino también un testimonio de la capacidad inherente y la perseverancia del equipo tecnológico vietnamita.
Con la técnica "desde cero" (entrenando modelos desde cero), Zalo optó por el camino largo, pero ayudó a Vietnam a dominar por completo la IA. No solo en términos de resultados, sino también en todo el proceso, desde la arquitectura del modelo, los datos y los algoritmos hasta las aplicaciones. El éxito de Zalo también ha ayudado a Vietnam a convertirse en uno de los pocos países del Sudeste Asiático que cuenta con un modelo LLM nacional, un hito estratégico en el contexto de una competencia tecnológica global cada vez más feroz.
En el largo camino que nos espera, Zalo no se detendrá en un solo modelo o unos pocos productos, sino que continuará perfeccionándolo para atender a los usuarios y crear una plataforma de IA vietnamita competitiva: «El desarrollo de IA de Zalo aún es largo. Seguiremos optimizando el modelo en profundidad y amplitud, a la vez que promovemos su aplicación práctica. El objetivo final es crear productos de IA de calidad que sean prácticos para los vietnamitas», añadió el Sr. Son.
El exitoso desarrollo del LLM vietnamita por parte de Zalo no solo representa un gran avance para una empresa, sino que también abre un futuro potencial para la inteligencia artificial vietnamita. La perseverancia y la ambición del pueblo vietnamita han guiado el camino hacia resultados valiosos. El futuro de la IA vietnamita no solo contará con un "Zalo", sino también con una generación de ingenieros valientes que seguirán, heredarán y conquistarán el mundo de la tecnología.
Fuente: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html
Kommentar (0)