El interés mundial por la IA está creciendo, y la mayor parte de la atención se centra en países con muchos de los modelos de IA líderes a nivel mundial, como Estados Unidos y China. El Sudeste Asiático, una de las regiones económicas más importantes del mundo, se está convirtiendo gradualmente en un nuevo foco de atención para la IA, con importantes avances que podrían interesar a legisladores, inversores y expertos en tecnología a nivel mundial.
En Vietnam, el Partido y el Gobierno también están decididos a impulsar la era del desarrollo tecnológico del país, como lo demuestra la Resolución 57-NQ/TW sobre Avances en el desarrollo científico y tecnológico, la innovación y la transformación digital nacional. Esta orientación ha impulsado a las empresas tecnológicas nacionales a invertir y aprovechar el potencial de la tecnología global avanzada.
Actualmente, Vietnam se ha convertido en uno de los pocos países del Sudeste Asiático que cuenta con un modelo nacional de idiomas de gran tamaño (LLM). En concreto, desde 2023, Zalo ha capacitado y lanzado con éxito un modelo LLM centrado en el vietnamita, investigado y desarrollado íntegramente por un equipo de ingenieros vietnamitas.
Elige entrenar desde cero y obtén resultados inesperados
Actualmente, los modelos de IA tienen dos técnicas de entrenamiento que incluyen: la técnica de modelo ajustado es el método de optimizar LLM previamente entrenados para crear nuevos LLM para fines especializados; la técnica de entrenamiento de modelo desde cero es el proceso de construcción de un modelo completamente nuevo, desde la inicialización de parámetros, la decisión sobre la arquitectura del modelo hasta el algoritmo de entrenamiento en un determinado conjunto de datos.
Entre ellas, muchas empresas eligen las técnicas de ajuste fino por sus ventajas, como su fácil implementación, el ahorro de recursos y la mayor eficiencia. Especialmente en el contexto de Vietnam, donde los equipos de capacitación y los datos son limitados, las técnicas de ajuste fino son una solución superior.
Sin embargo, Zalo optó por esta técnica de formación desde el principio. Con este método, todo el proceso y modelo de formación son propiedad y están completamente controlados por los vietnamitas. Gracias a ello, Vietnam se ha convertido en uno de los pocos países del Sudeste Asiático que posee un amplio modelo lingüístico (LLM) desarrollado a nivel nacional.
En su lanzamiento en 2023, el primer modelo lingüístico a gran escala de Zalo, con 7 mil millones de parámetros y centrado en vietnamita, alcanzó un rendimiento del 150 % en comparación con el GPT3.5 de OpenAI en el VMLU Vietnamese LLM Competency Benchmark. El tiempo de capacitación fue de tan solo 6 meses, mucho menor que el plan original de 18 meses. Este rápido proceso de capacitación sorprendió a todo el equipo de desarrollo de Zalo.
El modelo LLM de Zalo ocupó el tercer lugar en el desafío Kahoot en su primer lanzamiento en 2023 (Foto: Zalo).
En 2024, el modelo de 13 mil millones de parámetros de Zalo superó a los grandes nombres del mundo para afirmar su posición como los 2 mejores modelos LLM vietnamitas capacitados desde cero en el ranking de competencias LLM vietnamitas de VMLU.
Los resultados muestran que el nivel de entrenamiento de grandes modelos lingüísticos no es inferior al del mundo para desarrollar un modelo de IA propio de Vietnam, especialmente en el contexto de desarrollo inicial que enfrenta muchas dificultades.
Esfuerzos vietnamitas para desarrollar modelos de IA
El representante de Zalo afirmó que la formación LLM requiere tres elementos fundamentales: equipo de capacitación, datos y nivel técnico. Anteriormente, Vietnam aún presentaba numerosas limitaciones en estos tres aspectos. En concreto, mientras que grandes empresas a nivel mundial poseían miles de las GPU de alto rendimiento más recientes de Nvidia, los ingenieros vietnamitas no contaban con la infraestructura de servidores necesaria. Asimismo, el vietnamita se encuentra entre los que tienen menos recursos de datos que el inglés o el chino. Los recursos humanos y la experiencia en formación LLM de Vietnam también son limitados en comparación con los países desarrollados.
El equipo de Zalo en ese momento tuvo que investigar y experimentar con pequeñas GPU civiles para ganar conocimiento y capacidad de entrenamiento para LLM, listo tan pronto como estuviera disponible una gran infraestructura informática.
Los chips de entrenamiento de IA son escasos, por lo que, aunque Zalo ha pedido 8 servidores Nvidia DGX H100, no puede adquirir todos los dispositivos a la vez y debe esperar cada lote de entrega del fabricante. Por lo tanto, optimizar la infraestructura informática incompleta para ahorrar tiempo de entrenamiento también es un problema que el equipo de Zalo debe resolver.
Al mismo tiempo, también se invierte en datos de formación de calidad para compensar la falta de fuentes de datos vietnamitas.
Aunque partía de una posición difícil en comparación con las grandes empresas del mundo, Zalo decidió sumarse a la iniciativa con el objetivo de desarrollar con éxito el modelo de IA propio de Vietnam. Consultamos con investigadores e ingenieros de numerosos institutos de investigación líderes a nivel mundial para desarrollar una estrategia de desarrollo adecuada.
Los logros actuales motivan a los ingenieros de Zalo a seguir optimizando el modelo para aumentar su cantidad y mejorar su calidad. Al mismo tiempo, aprovechan su aplicabilidad para crear numerosos productos de IA de primera clase para los usuarios vietnamitas", comentó el Dr. Nguyen Truong Son, Director Científico de Zalo AI.
Servidor DGX H100 que Zalo encargó a Nvidia (Foto: Zalo).
Gracias a una adaptación flexible en las difíciles etapas iniciales del desarrollo, Zalo ha logrado gradualmente hitos exitosos, avanzando hacia el dominio de la tecnología de IA global tal como es hoy.
Actualmente, el modelo de IA de Zalo no solo tiene éxito en términos de investigación en capacitación, sino que también se aplica, promoviendo el acceso y la explotación del valor de las nuevas tecnologías avanzadas para los vietnamitas.
A principios de este año, Zalo lanzó el Asistente de Preguntas y Respuestas de Kiki Info, que funciona como una Cuenta Oficial (OA) en la plataforma de mensajería de Zalo. El asistente facilita preguntas y respuestas sobre diversos temas de la vida, la creación de contenido y el entretenimiento. Según las estadísticas de Zalo, un millón de usuarios han accedido a la cuenta OA de Kiki Info en menos de dos meses.
El modelo LLM de Zalo se aplica para desarrollar Kiki Info Assistant (Foto: Zalo).
Otra aplicación del modelo LLM de Zalo son las tarjetas con IA, que también alcanzaron el hito de 15 millones de tarjetas creadas y enviadas en tan solo dos meses. Esta es una aplicación que interesa a muchos usuarios de Zalo para felicitar a familiares y amigos en festividades importantes.
Actualmente, Zalo continúa ampliando y desarrollando aplicaciones de grandes modelos lingüísticos y promete aportar muchos valores útiles a los usuarios domésticos.
Fuente: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm
Kommentar (0)