Zalo AI anuncia padrões gratuitos de avaliação de proficiência em vietnamita

[anúncio_1]

O VMLU (Vietnamese Multitask Language Understanding) foi desenvolvido pela Zalo AI em colaboração com o Instituto Avançado de Ciência e Tecnologia do Japão (JAIST) para ajudar a comunidade de pesquisa e desenvolvimento de IA no Vietnã a ter mais ferramentas para avaliar a qualidade da saída dos modelos de IA generativa vietnamita.

Portanto, este é um conjunto de padrões de avaliação vietnamita multifacetados e multiníveis que atende às mais diversas necessidades do mercado atualmente, com 10.880 questões de múltipla escolha abrangendo 58 tópicos diferentes.

zalo ai.jpg — O conjunto de padrões de avaliação de proficiência em vietnamita foi pesquisado e desenvolvido pelos engenheiros da Zalo AI em colaboração com o JAIST para avaliar a capacidade de entender e aplicar a linguagem vietnamita de modelos de IA, especialmente IA generativa.

Por que a AI Vietnam precisa de um conjunto completo de padrões de avaliação de proficiência na língua vietnamita?

O crescimento explosivo do ChatGPT criou uma nova raça: a IA Generativa. Segundo estatísticas, desde a introdução do ChatGPT, existem atualmente cerca de 16.000 modelos semelhantes ao ChatGPT no mundo .

O Vietnã não está fora dessa tendência, pois há muitos grupos de pesquisa com diferentes escalas e potenciais que também desejam experimentar IA Generativa usando o vietnamita. Isso levou à necessidade de um conjunto de avaliações de proficiência em vietnamita para esses modelos de IA, a fim de mensurar o nível de conhecimento e raciocínio dos vietnamitas.

No mercado atual, a maioria dos grupos de pesquisa de Mestrado em Administração (LLM) no Vietnã precisa criar seus próprios kits de ferramentas de avaliação com padrões próprios para seus modelos. Essas são ferramentas de avaliação internas que não foram divulgadas publicamente. O kit de ferramentas de avaliação da Zalo AI atende a necessidades gerais, pode ser um padrão comum para modelos de LLM e é fornecido à comunidade de IA. Isso ajuda pequenos grupos de pesquisa a acessar conjuntos abrangentes de dados de avaliação e permite que as partes comparem os resultados entre si. A partir daí, gera motivação para aprimorar o modelo.

Motivando a IA vietnamita a se juntar à onda mundial de IA generativa

Em novembro de 2023, a Zalo AI anunciou oficialmente os padrões de avaliação de proficiência em vietnamita da VMLU. Trata-se de um conjunto de padrões pesquisados e desenvolvidos por engenheiros da Zalo AI em colaboração com o Instituto JAIST para avaliar a capacidade de compreensão e aplicação da língua vietnamita em modelos de IA, especialmente IA Generativa.

O nascimento da VMLU motivou indivíduos, startups ou pequenos grupos de pesquisa a desenvolver novos modelos de IA vietnamita. Isso cria condições para novas pesquisas, estabelece as bases para medir a precisão e aprimorar os resultados de modelos básicos, ajudando a concluir o processo de desenvolvimento de aplicativos de IA em língua vietnamita, criados por vietnamitas para servir aos vietnamitas.

Este também é um dos fatores importantes que promovem o desenvolvimento da IA Generativa no Vietnã para ir mais rápido, acompanhando a onda de desenvolvimento da IA no mundo.

Quais são os padrões de avaliação de proficiência na língua vietnamita?

Portanto, este é um conjunto de padrões de avaliação da língua vietnamita multifacetados e multiníveis que atende às mais diversas necessidades do mercado de pesquisa e desenvolvimento de IA generativa vietnamita, com foco em duas partes principais: Dados (conjunto de dados de teste) e um conjunto de padrões de avaliação, como base para testar modelos de IA que aplicam a língua vietnamita.

Especificamente, o conjunto de dados inclui 10.880 questões de múltipla escolha abrangendo 58 tópicos diferentes. Cada tópico contém cerca de 200 questões e está distribuído em 4 áreas, incluindo: STEM, Ciências Sociais, Humanas e uma ampla categoria "Expandida". Com este conjunto de dados, a VMLU possui uma estratificação de dificuldade em 4 níveis: Ensino Fundamental, Ensino Médio, Ensino Médio e Profissionalizante – para universidades e pós-graduações. A partir daí, o kit de ferramentas ajuda a avaliar com eficácia a proficiência em vietnamita de modelos de IA, tanto em conhecimentos básicos quanto na resolução de problemas complexos.

Além disso, para ajudar grupos de pesquisa a avaliar facilmente as capacidades de seus modelos de IA vietnamitas, a equipe de engenharia de IA da Zalo elaborou instruções para que os grupos possam usá-los de forma rápida e simples.

Contribua para a comunidade vietnamita de IA

O conjunto de padrões VMLU nasceu como um produto de pesquisa com o objetivo de contribuir e desenvolver a comunidade de pesquisa de IA vietnamita em particular e a comunidade de tecnologia da informação em geral, sem cobrar de nenhum usuário, grupo de pesquisa ou empresa.

Anteriormente, a Zalo AI implementou, implantou e organizou uma série de competições e programas para a comunidade de IA vietnamita, como: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Essas atividades não apenas criam um playground para a comunidade de IA vietnamita, mas também incentivam a aplicação da IA na vida, resolvem problemas sociais urgentes e atendem às necessidades de milhões de vietnamitas.

O Dr. Chau Thanh Duc, Chefe do Departamento de Pesquisa em IA da Zalo e Professor da Universidade de Ciências Naturais da Universidade Nacional da Cidade de Ho Chi Minh, afirmou: “A Zalo AI sempre busca contribuir para a comunidade de IA vietnamita, gerando motivação para o desenvolvimento da IA vietnamita. A partir daí, esperamos cada vez mais produtos de IA feitos por vietnamitas, para vietnamitas.”

Fonte