Zalo AI e JAIST Institute unem forças com a comunidade para desenvolver LLM avançado

A Inteligência Artificial (IA) está se desenvolvendo de forma explosiva e abrindo oportunidades sem precedentes graças a avanços importantes na pesquisa de modelos de IA, criando a premissa para promover aplicações e desenvolver produtos que atendam a necessidades práticas. No Vietnã, logo após o forte desenvolvimento do ChatGPT, que levou ao nascimento de uma série de modelos de IA semelhantes em todo o mundo, grupos de pesquisa nacionais com diferentes escalas e potenciais se juntaram à corrida, construindo modelos de linguagem ampla (LLM) vietnamita.

A proliferação de modelos LLM vietnamitas exige um conjunto de critérios gerais de avaliação para ajudar os desenvolvedores a medir a qualidade do modelo, a fim de ter estratégias de treinamento apropriadas.

O Dr. Nguyen Truong Son, diretor científico da Zalo AI, desenvolvedora da plataforma, avaliou o LLM vietnamita da VMLU: "O mercado vietnamita carece de padrões de avaliação de qualidade quando comparado ao mercado mundial."

A plataforma de avaliação VMLU LLM foi desenvolvida pela Zalo AI e pelo Instituto Avançado de Ciência e Tecnologia do Japão (JAIST).

De acordo com o Dr. Nguyen Truong Son, essa realidade exige que a comunidade de IA vietnamita se una para criar padrões comuns para ajudar a avaliar de forma adequada e adequada os modelos de IA vietnamitas, criando uma base para o desenvolvimento de modelos de qualidade cada vez melhor.

Promover o desenvolvimento de novos padrões de qualidade

Em novembro de 2023, a Zalo AI e o Instituto Avançado de Ciência e Tecnologia do Japão (JAIST) cooperarão para desenvolver e disponibilizar gratuitamente à comunidade um conjunto de padrões para avaliar a qualidade dos modelos de LLM vietnamitas, denominado VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Este é o primeiro conjunto de padrões "Make in Vietnam" pesquisado e lançado à comunidade por uma equipe de renomados especialistas vietnamitas.

Em vez de ter que criar suas próprias ferramentas de avaliação com seus próprios padrões, os grupos de pesquisa de LLM vietnamitas conseguiram acessar um conjunto de dados de avaliação abrangente e geral.

Os padrões da VMLU concentram-se em quatro áreas, incluindo STEM, ciências sociais, humanidades e extensão, com níveis de dificuldade crescentes: Ensino Fundamental, Médio, Ensino Médio e Profissional (graduação e pós-graduação). Com 10.880 questões de múltipla escolha, abrangendo 58 tópicos, divididos em vários níveis, a versão de 2023 ajudou a avaliar com eficácia os conhecimentos básicos do Mestrado em Direito.

Até o final de 2024, a VMLU havia publicado 45 LLMs no ranking, recebido solicitações de avaliação de mais de 155 organizações e indivíduos e contabilizado 691 downloads dos critérios de avaliação e 3.729 avaliações de LLMs da plataforma. Muitas organizações nacionais e estrangeiras utilizam os padrões da VMLU, como VinBigData, VNPT AI, Viettel Solutions, Universidade de Tecnologia da Cidade de Ho Chi Minh - VNU, UONLP x Ontocord - Universidade do Oregon (EUA), DAMO Academy - Alibaba Group, equipes SDSRV - Samsung...

Na nova fase, os modelos de LLM são fortemente atualizados, exigindo benchmarks para avaliar mais profundamente competências complexas.

"Os modelos de LLM estão se tornando mais inteligentes, quase totalmente capazes de compreender e responder perguntas corretamente. Portanto, os desenvolvedores estão se concentrando mais em equipar os LLMs com capacidades diversas, como compreensão de leitura, planejamento, diálogo e raciocínio semelhantes aos humanos", disse o professor Nguyen Le Minh, do Instituto Avançado de Ciência e Tecnologia do Japão (JAIST), parceiro da Zalo AI no desenvolvimento do conjunto de avaliação VMLU.

Respondendo às necessidades cada vez mais diversas dos desenvolvedores, a VMLU lançou recentemente um novo conjunto de padrões para avaliar três habilidades, incluindo (1) Compreensão de Leitura (ViSQuAD), (2) Raciocínio (ViDrop) e (3) Interação (ViDialog).

Normas VMLU 2025.

O novo conjunto de padrões foi lançado no site da VMLU https://vmlu.ai/ para que indivíduos e grupos de pesquisa avaliem seus modelos.

Esforços para acompanhar a comunidade de domínio da IA

Especialistas da VMLU disseram que continuarão pesquisando e construindo conjuntos de avaliação mais diversos em diferentes domínios com diferentes níveis de dificuldade para avaliar grandes modelos de linguagem de forma mais abrangente e refletir com precisão os padrões de uso dos usuários.

Além disso, a VMLU também pretende desenvolver um conjunto de padrões de avaliação para a segurança e integridade do modelo LLM para garantir que os LLMs vietnamitas sejam desenvolvidos de forma responsável.

Para promover a capacidade e o espírito de domínio de novas tecnologias do povo vietnamita, os padrões de avaliação da VMLU continuarão a ser fornecidos gratuitamente à comunidade de pesquisa de LLM vietnamita.

Os padrões VMLU 2025 foram atualizados no site da VMLU.

Como pioneira no campo da Inteligência Artificial no Vietnã, a Zalo AI também sempre acompanha a comunidade na pesquisa e no desenvolvimento de soluções de IA para usuários vietnamitas.

Além da plataforma para avaliar e classificar as capacidades dos principais modelos da língua vietnamita, desde 2017, a Zalo AI também organiza o Zalo AI Challenge e o fórum anual Zalo AI Summit. Esses eventos não apenas conectam a comunidade vietnamita de IA, mas também contribuem para inspirar e promover a criação de produtos de tecnologia de IA por vietnamitas para servir ao povo vietnamita.

Fonte: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html