Zalo e a jornada de superação de obstáculos para conquistar aspirações domésticas

Enquanto o mundo observa o rápido progresso no campo da IA ​​das superpotências, a equipe de engenharia de tecnologia da Zalo inicia uma jornada de ambição: dominar a inteligência artificial em vietnamita.

A explosão da inteligência artificial generativa (IA Generativa) mudou completamente o cenário tecnológico global.

Desde que a OpenAI lançou o ChatGPT no final de 2022, uma série de modelos LLM semelhantes surgiram continuamente, aplicados em muitos campos, como saúde, educação , finanças, direito... A corrida se tornou acirrada, não apenas em escala empresarial, mas também em escala nacional, em termos de capacidade de treinamento, infraestrutura de computação e dados.

Grandes empresas como OpenAI, Google, Meta ou Microsoft, com potencial financeiro e condições favoráveis, investiram "rapidamente" bilhões de dólares para adquirir milhares de GPUs de ponta, como a Nvidia H100 — o principal fator para o treinamento de modelos LLM. O preço das ações da Nvidia disparou durante esse período, refletindo a sede mundial por infraestrutura.

Enquanto isso, empresas de tecnologia em países em desenvolvimento, além de questões de custo, também enfrentam restrições à importação e exportação de equipamentos de chips de IA dos EUA. Isso leva à falta de equipamentos de treinamento e a uma "lentidão" em comparação com gigantes da tecnologia. Com aspirações nacionais, a Zalo não é exceção.

Em termos de dados, problemas anteriores de aprendizado de máquina exigiam grandes quantidades de dados de treinamento, mas, para modelos de linguagem de grande porte, essa é uma quantidade enorme de dados. Para ter um modelo suficientemente bom, o sistema LLM requer dezenas ou até centenas de bilhões de tokens de texto de entrada. Enquanto isso, em termos de popularidade, o vietnamita não está "no mesmo nível" do inglês e do chinês. Isso multiplicou a dificuldade para os desenvolvedores de LLM vietnamitas.

Em 2023, modelos de grandes linguagens (LLM), como GPT-3.5 e GPT-4, conquistaram o mundo da tecnologia, e muitas empresas vietnamitas também escolheram modelos estrangeiros aprimorados para pegar um atalho e progredir no processo de treinamento de LLM.

A Zalo escolheu um caminho diferente — mais árduo, porém mais autônomo: autotreinar o modelo do zero (from-scratch model). Um caminho que exige que tudo seja construído do zero — desde os dados, a arquitetura do modelo até todo o processo de treinamento. Essa decisão não foi para competir com os gigantes, mas para realizar a aspiração do povo vietnamita: dominar o modelo LLM em sua língua materna.

“Antecipamos as dificuldades e, mesmo assim, decidimos entrar no jogo cedo. Não competimos diretamente com os "grandes", mas escolhemos um nicho de mercado onde poderíamos ter um desempenho melhor. Nossa aspiração é construir um modelo que os vietnamitas controlem completamente – dos dados aos algoritmos”, compartilhou o Dr. Nguyen Truong Son, Diretor de Ciência da Zalo AI.

Apesar de enfrentarem muitos obstáculos em três fatores principais, incluindo infraestrutura, dados e nível de treinamento, os engenheiros vietnamitas encontraram soluções proativas para superar as dificuldades. Isso demonstra o espírito e a força de vontade do povo vietnamita em circunstâncias difíceis, especificamente neste caso, superando desafios no processo de desenvolvimento de LLM para o povo vietnamita.

Para treinar o LLM, os engenheiros precisavam da infraestrutura adequada. Mas, naquela época, GPUs como a H100 da Nvidia eram quase "raridades globais". Enquanto isso, grandes empresas as encomendavam por um ano e pagavam milhões de dólares para adquiri-las. No Vietnã, a Zalo também tentou comprar 8 servidores DGX H100, mas não foi fácil, tendo que esperar cada lote de entregas do fabricante.

Na ausência de GPUs Nvidia, os engenheiros vietnamitas tiveram que usar GPUs de consumo de forma flexível para experimentar em cada linha de código e executar cada modelo pequeno. Em vez de esperar, os engenheiros se prepararam proativamente para que, quando tivessem equipamentos modernos, tudo estivesse pronto.

Em termos de dados, em vez de depender dos recursos disponíveis, a Zalo investiu na construção de um data warehouse de alta qualidade especificamente para vietnamita, para compensar a grave escassez em comparação ao inglês e ao chinês.

Graças à sua estratégia de desenvolvimento flexível, a Zalo reduziu com sucesso o tempo de desenvolvimento do seu modelo de linguagem de grande porte dos 18 meses previstos para 6 meses. No final de 2023, o modelo de linguagem de grande porte vietnamita da Zalo foi lançado oficialmente em um evento que reuniu a comunidade líder em tecnologia e IA do Vietnã: o Zalo AI Summit. O modelo LLM da Zalo estreou no desafio Kahoot lançado pela Tinhte.vn e surpreendentemente ultrapassou o GPT 3.5, ficando atrás apenas do GPT4, o modelo LLM considerado o mais forte do mundo na época.

Com base na plataforma de avaliação VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), o modelo da Zalo é 1,5 vez mais poderoso que o GPT-3.5 da OpenAI. Até o final de 2024, este modelo ultrapassará grandes nomes como GPT-4 (OpenAI), Gemma-2-9B (Google) ou Phi-3-small (Microsoft), ficando atrás apenas do LLaMA-3-70B da Meta em termos de capacidade de processamento em vietnamita no ranking da VMLU.

Não parando apenas na pesquisa, a Zalo está gradualmente dando vida à tecnologia do laboratório, comercializando e popularizando produtos de aplicação da LLM.

No início de 2025, o assistente geral de perguntas e respostas Kiki Info — operado como uma conta oficial na plataforma Zalo — atraiu mais de 1 milhão de usuários em menos de 2 meses. Outro aplicativo, o Thiep AI, também atingiu a impressionante marca de 15 milhões de cartões criados e enviados em apenas 2 meses.

A trajetória da Zalo não se resume apenas a uma empresa que busca desenvolver tecnologia. É uma parte de um cenário mais amplo – onde o Vietnã promove agressivamente a inovação, com políticas da Resolução 57-NQ/TW sobre desenvolvimento científico e tecnológico e transformação digital nacional. Em particular, o campo da inteligência artificial é enfatizado.

O surgimento e o rápido desenvolvimento do LLM vietnamita da Zalo não são apenas um avanço tecnológico para uma empresa, mas também uma prova da capacidade inerente e da perseverança da equipe de tecnologia vietnamita.

Com a técnica "do zero" – treinar modelos do zero –, a Zalo escolheu o caminho mais longo, mas ajudou o Vietnã a dominar verdadeiramente a IA. Não apenas em termos de resultados, mas também em todo o processo, desde a arquitetura do modelo, dados, algoritmos e produtos de aplicação. O sucesso da Zalo também ajudou o Vietnã a se tornar um dos poucos países do Sudeste Asiático a possuir um modelo nacional de LLM – um marco estratégico no contexto da competição tecnológica global cada vez mais acirrada.

Na longa jornada que temos pela frente, a Zalo não se limitará a um modelo ou a alguns produtos, mas continuará a aperfeiçoá-lo para atender aos usuários e criar uma plataforma de IA vietnamita com qualidade competitiva: “A jornada de desenvolvimento de IA da Zalo ainda é longa. Continuaremos a otimizar o modelo em amplitude e profundidade, ao mesmo tempo em que promovemos a aplicação prática. O objetivo final é criar produtos de IA de qualidade que atendam aos vietnamitas na prática”, acrescentou o Sr. Son.

O desenvolvimento bem-sucedido do LLM vietnamita pela Zalo não é apenas um avanço para os negócios, mas também abre um futuro potencial para a inteligência artificial vietnamita. A perseverança e a aspiração do povo vietnamita conduziram a jornada rumo a resultados valiosos. O futuro da IA ​​vietnamita não terá apenas um "Zalo", mas também uma geração de engenheiros corajosos para seguir, herdar e conquistar o mundo da tecnologia.

Fonte: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html