Engenheira da Zalo leva tecnologia vietnamita para a principal conferência mundial de IA.

Seis anos na Zalo permitiram que Bui Thi Cuc desenvolvesse ainda mais sua paixão por inteligência artificial. De um emprego em ciência de dados logo após a graduação, Cuc tornou-se engenheira sênior de IA na Zalo, representando a equipe de desenvolvimento da VMLU e apresentando pesquisas na conferência da ACL (Associação de Linguística Computacional) em Viena, Áustria, no verão de 2025.

Esta é considerada a principal conferência acadêmica sobre processamento de linguagem natural, atraindo mais de 2.000 pesquisadores a cada ano. Muitos trabalhos fundamentais em PLN foram apresentados aqui antes de se tornarem padrões da indústria.

“Desde o primeiro dia da conferência, fiquei impressionado com a dimensão e a troca acadêmica aberta”, recordou Cúc. O ambiente de pesquisa era constante do amanhecer ao anoitecer, com inúmeros pôsteres em exposição, longas discussões técnicas e a presença de laboratórios da Meta, Google, Apple e outras empresas.

Do Vietnã a Viena, Áustria

O artigo de pesquisa de Bui Thi Cuc, intitulado "ACL VMLU Benchmarks: Um conjunto abrangente de ferramentas de avaliação para modelos de linguagem vietnamita em larga escala", visa suprir a carência de ferramentas de avaliação para modelos de linguagem vietnamita em larga escala.

Lançado em novembro de 2023 pela Zalo AI e pelo Instituto Avançado de Ciência e Tecnologia do Japão (JAIST), o VMLU forneceu um conjunto comum de padrões para ajudar os desenvolvedores de modelos de linguagem em larga escala (LLM) voltados para usuários vietnamitas a avaliar e desenvolver estratégias de treinamento adequadas para seus modelos.

Bui Cuc afirmou que, durante o desenvolvimento do VMLU, os membros enfrentaram inúmeros desafios, desde a criação de benchmarks até a garantia da qualidade dos dados. No entanto, a fase mais estressante foi o processo de submissão de pesquisas. A taxa de aceitação de pesquisas na ACL é de apenas cerca de 25%, e eles tiveram que competir com muitas grandes instituições de pesquisa em IA em todo o mundo .

“Quando recebemos os resultados da Conferência Borderline – ou seja, quando as descobertas foram aceitas – toda a equipe ficou mais feliz do que o esperado. Depois disso, reuni todos os comentários da banca examinadora, discuti com meu gerente direto e, finalmente, convenci os revisores a aumentarem a nota para que o artigo fosse aceito na conferência principal”, relembrou Cúc.

A Sra. Bui Thi Cuc, representando a equipe de desenvolvimento da VMLU, apresentou o projeto de pesquisa na conferência da ACL.

Este é o primeiro benchmark desenvolvido para avaliar a capacidade de compreensão da língua vietnamita em grandes modelos de linguagem. O benchmark inclui quatro conjuntos de dados com 17.000 questões para avaliar habilidades em: conhecimento geral, compreensão de leitura, raciocínio e diálogo.

Segundo os engenheiros da Zalo, a maioria dos benchmarks atuais foi projetada para o inglês, o que não reflete totalmente o contexto sintático, semântico e cultural do vietnamita. Traduzir diretamente conjuntos de perguntas do inglês para o vietnamita geralmente resulta em imprecisões ou perda de nuances semânticas.

Para explicar a estrutura de avaliação do LLM em termos simples, imagine a IA como um aluno que precisa fazer uma prova para testar suas habilidades. Atualmente, a maioria das provas é em inglês, mas a equipe de IA da Zalo queria criar uma prova em vietnamita para testar se a IA realmente entende e usa o vietnamita bem.

O Sr. Nguyen Truong Son, Diretor de Ciência da Zalo AI, afirmou: “O sistema de avaliação VMLU fornece uma ‘medida’ comum para avaliar modelos de linguagem vietnamita em larga escala. Após sua publicação, recebemos muitos comentários positivos da comunidade de pesquisa em IA, tanto nacional quanto internacionalmente. No futuro, espero que o VMLU se torne um padrão de avaliação amplamente utilizado e aplicado, não apenas na comunidade acadêmica, mas também em empresas que desenvolvem produtos de IA.”

Aplicando IA aos produtos da Zalo.

Além de seu valor acadêmico, o VMLU possui muitas aplicações potenciais no desenvolvimento de produtos de IA na Zalo.

Segundo Cúc, em primeiro lugar, o benchmark ajuda a avaliar a precisão e a compreensão da linguagem dos modelos utilizados no produto Kiki Info, um assistente digital para cidadãos. Isso permite à equipe identificar as limitações do modelo em habilidades específicas.

Em segundo lugar, o VMLU é usado como ferramenta de teste antes da implementação de novos recursos de IA, como resumo de mensagens, sugestões de respostas automáticas ou suporte ao atendimento ao cliente.

Em última análise, com seus recursos de avaliação conversacional, o VMLU ajuda a Zalo a desenvolver chatbots corporativos com comunicação natural, alinhada à cultura de comunicação vietnamita.

"Nosso maior objetivo é criar modelos de IA que entendam o vietnamita de forma natural e precisa", disse Cúc.

A jovem engenheira espera que a VMLU continue a se expandir.

De volta de Viena, o jovem engenheiro espera que a VMLU continue a se expandir e se torne uma plataforma para que muitos grupos de pesquisa nacionais comparem e avaliem modelos de forma unificada.

“Espero que este conjunto de dados seja o ponto de partida para que a comunidade vietnamita de IA se desenvolva com mais força nos próximos anos. Queremos contribuir, mesmo que minimamente, para que o vietnamita se torne uma língua que os modelos globais de IA compreendam corretamente e processem com eficácia.”