Seis anos na Zalo permitiram que Bui Thi Cuc desenvolvesse ainda mais sua paixão por Inteligência Artificial. De cientista de dados recém-formada na universidade, Cuc tornou-se engenheira sênior de IA na Zalo, representando a equipe de desenvolvimento da VMLU e apresentando pesquisas na conferência da ACL (Associação de Linguística Computacional) em Viena, Áustria, no verão de 2025.

Esta é considerada a principal conferência acadêmica sobre processamento de linguagem natural, atraindo mais de 2.000 pesquisadores a cada ano. Muitos trabalhos fundamentais em PLN foram apresentados aqui antes de se tornarem padrões da indústria.

“Desde o primeiro dia da conferência, fiquei impressionado com a dimensão e a troca acadêmica aberta”, recordou Cúc. O ambiente de pesquisa era constante do amanhecer ao anoitecer, com inúmeros pôsteres em exposição, longas discussões técnicas e a presença de laboratórios da Meta, Google, Apple e outras empresas.

Do Vietnã a Viena, Áustria

A pesquisa de Bui Thi Cuc, intitulada ACL VMLU Benchmarks: Um conjunto abrangente de ferramentas de avaliação para modelos de linguagem vietnamita em larga escala, visa suprir a carência de ferramentas de avaliação para esses modelos.

Lançado em novembro de 2023 pela Zalo AI e pelo Instituto Avançado de Ciência e Tecnologia do Japão (JAIST), o VMLU forneceu um conjunto comum de padrões para ajudar os desenvolvedores de modelos de linguagem em larga escala (LLM) voltados para usuários vietnamitas a avaliar e desenvolver estratégias de treinamento adequadas para seus modelos.

A Sra. Cúc afirmou que, durante o desenvolvimento do VMLU, os membros enfrentaram inúmeros desafios, desde a criação de benchmarks até a garantia da qualidade dos dados. No entanto, a fase mais estressante foi o processo de submissão de pesquisas. A taxa de aceitação de pesquisas na ACL é de apenas cerca de 25%, e eles tiveram que competir com muitas grandes instituições de pesquisa em IA em todo o mundo .

“Quando recebemos os resultados da Conferência Borderline – ou seja, quando as descobertas foram aceitas – toda a equipe ficou mais feliz do que o esperado. Depois disso, reuni todos os comentários da banca examinadora, discuti com meu gerente direto e, finalmente, convenci os revisores a aumentarem a nota para que o artigo fosse aceito na conferência principal”, relembrou Cúc.

anh 1 (3).jpg

Este é o primeiro benchmark desenvolvido para avaliar a capacidade de compreensão da língua vietnamita em grandes modelos de linguagem. O benchmark inclui quatro conjuntos de dados com 17.000 questões para avaliar habilidades em: conhecimento geral, compreensão de leitura, raciocínio e diálogo.

O Sr. Nguyen Truong Son, Diretor de Ciência da Zalo AI, afirmou: “O sistema de avaliação VMLU fornece uma 'medida' comum para avaliar modelos de linguagem vietnamita em larga escala. Após sua publicação, recebemos muitos comentários positivos da comunidade de pesquisa em IA, tanto nacional quanto internacionalmente. No futuro, espero que o VMLU se torne um padrão de avaliação amplamente utilizado e aplicado, não apenas na comunidade acadêmica, mas também em empresas que desenvolvem produtos de IA.”

Aplicando IA aos produtos da Zalo.

Além de seu valor acadêmico, o VMLU possui muitas aplicações potenciais no desenvolvimento de produtos de IA na Zalo.

Segundo Cúc, em primeiro lugar, o benchmark ajuda a avaliar a precisão e a compreensão da linguagem dos modelos utilizados no produto Kiki Info, um assistente digital para cidadãos. Isso permite à equipe identificar as limitações do modelo em habilidades específicas.

Em segundo lugar, o VMLU é usado como ferramenta de teste antes da implementação de novos recursos de IA, como resumo de mensagens, sugestões de respostas automáticas ou suporte ao atendimento ao cliente.

Em última análise, com seus recursos de avaliação conversacional, o VMLU ajuda a Zalo a desenvolver chatbots corporativos com comunicação natural, alinhada à cultura de comunicação vietnamita.

"Nosso maior objetivo é criar modelos de IA que entendam o vietnamita de forma natural e precisa", disse Cúc.

foto 2.png

De volta de Viena, o jovem engenheiro espera que a VMLU continue a se expandir e se torne uma plataforma para que muitos grupos de pesquisa nacionais comparem e avaliem modelos de forma unificada.

“Espero que este conjunto de dados seja o ponto de partida para que a comunidade vietnamita de IA se desenvolva com mais força nos próximos anos. Queremos contribuir, mesmo que minimamente, para que o vietnamita se torne uma língua que os modelos globais de IA compreendam corretamente e processem com eficácia.”

imagem 3.png
O Zalo AI Summit 2025, com o tema “O Vietnã na Era da Inteligência Artificial”, será realizado às 8h da manhã do sábado, 20 de dezembro de 2025, no Campus VNG , Zona de Processamento de Exportação de Tan Thuan, Cidade de Ho Chi Minh.
O evento será transmitido ao vivo nos canais oficiais de informação da Zalo e espera-se que atraia a participação de mais de 400 engenheiros de IA.
Inscreva-se para participar em: https://summit.zalo.ai/

Bich Dao

Fonte: https://vietnamnet.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-2471254.html