A Zalo AI anuncia padrões gratuitos de avaliação de proficiência em vietnamita.

O VMLU (Vietnamese Multitask Language Understanding) foi desenvolvido pela Zalo AI em colaboração com o Instituto Avançado de Ciência e Tecnologia do Japão (JAIST) para ajudar a comunidade de pesquisa e desenvolvimento de IA no Vietnã a ter mais ferramentas para avaliar a qualidade dos resultados de modelos de IA generativa em vietnamita.

Assim sendo, este é um conjunto de normas de avaliação vietnamitas multifacetadas e multiníveis, que atende às mais diversas necessidades do mercado atual, com 10.880 questões de múltipla escolha abrangendo 58 tópicos diferentes.

O conjunto de padrões de avaliação de proficiência em vietnamita foi pesquisado e desenvolvido por engenheiros da Zalo AI em colaboração com o Instituto JAIST para avaliar a capacidade de compreender e aplicar a língua vietnamita em modelos de IA, especialmente IA generativa.

Por que a AI Vietnam precisa de um conjunto completo de padrões de avaliação de proficiência em língua vietnamita?

O crescimento explosivo do ChatGPT criou uma nova corrida: a IA Generativa. Segundo as estatísticas, desde o lançamento do ChatGPT, existem atualmente cerca de 16.000 modelos semelhantes ao ChatGPT no mundo .

O Vietnã não está fora dessa tendência, com muitos grupos de pesquisa de diferentes escalas e potenciais interessados ​​em experimentar IA generativa usando o vietnamita. Isso levou à necessidade de um conjunto de ferramentas de avaliação de proficiência em vietnamita para esses modelos de IA, a fim de mensurar o nível de conhecimento e raciocínio nesse idioma.

No mercado atual, a maioria dos grupos de pesquisa em LLM (Literatura Lidálmica e Metodologia) no Vietnã precisa desenvolver seus próprios conjuntos de ferramentas de avaliação com padrões específicos para seus modelos. Essas ferramentas de avaliação internas não são disponibilizadas ao público. O conjunto de ferramentas de avaliação da Zalo AI visa atender às necessidades gerais, podendo servir como um padrão comum para modelos de LLM e sendo disponibilizado para a comunidade de IA. Isso auxilia pequenos grupos de pesquisa a acessar conjuntos de dados de avaliação abrangentes e permite a comparação de resultados entre as partes, o que gera motivação para o aprimoramento dos modelos.

Motivando a IA vietnamita a se juntar à onda mundial de IA generativa.

Em novembro de 2023, a Zalo AI anunciou oficialmente os padrões de avaliação de proficiência em língua vietnamita VMLU. Trata-se de um conjunto de padrões pesquisados ​​e desenvolvidos por engenheiros da Zalo AI em colaboração com o Instituto JAIST para avaliar a capacidade de modelos de IA, especialmente IA generativa, de compreender e aplicar a língua vietnamita.

O surgimento da VMLU motivou indivíduos, startups e pequenos grupos de pesquisa a desenvolverem novos modelos de IA em vietnamita. Isso cria condições para novas pesquisas, estabelece as bases para medir a precisão e aprimorar os resultados de modelos básicos, ajudando a concluir o processo de desenvolvimento de aplicativos de IA em língua vietnamita, criados por vietnamitas para servir ao povo vietnamita.

Este é também um dos fatores importantes que impulsionam o desenvolvimento da IA ​​generativa no Vietnã, permitindo que ela acompanhe a onda de desenvolvimento da IA ​​no mundo.

Quais são os padrões de avaliação da proficiência em língua vietnamita?

Assim, este é um conjunto de padrões de avaliação da língua vietnamita que é multifacetado e multinível, atendendo às mais diversas necessidades do mercado de pesquisa e desenvolvimento de IA generativa no Vietnã, com foco em duas partes principais: Dados (conjunto de dados de teste) e um conjunto de padrões de avaliação, como base para testar modelos de IA que aplicam a língua vietnamita.

Especificamente, o conjunto de dados inclui 10.880 questões de múltipla escolha abrangendo 58 tópicos diferentes. Cada tópico possui cerca de 200 questões e está distribuído em 4 áreas, incluindo: STEM (Ciência, Tecnologia, Engenharia e Matemática), Ciências Sociais, Humanidades e uma categoria ampla "Expandida". Com esse conjunto de dados, o VMLU possui uma estratificação de dificuldade com 4 níveis: Ensino Fundamental, Ensino Médio, Ensino Superior e Profissionalizante (para estudantes de graduação e pós-graduação). A partir daí, a ferramenta auxilia na avaliação eficaz da proficiência em língua vietnamita de modelos de IA, tanto em conhecimentos básicos quanto na resolução de problemas complexos.

Além disso, para ajudar os grupos de pesquisa a avaliarem facilmente a capacidade de seus modelos de IA em vietnamita, a equipe de engenharia de IA da Zalo criou instruções complementares para que os grupos possam usá-los de forma rápida e simples.

Contribua para a comunidade de IA vietnamita.

O conjunto de padrões VMLU nasceu como um produto de pesquisa com o objetivo de contribuir e desenvolver a comunidade de pesquisa em IA do Vietnã em particular e a comunidade de tecnologia da informação em geral, sem cobrar de usuários, grupos de pesquisa ou empresas.

Anteriormente, a Zalo AI implementou, implantou e organizou uma série de competições e programas para a comunidade de IA vietnamita, como o Zalo AI Challenge, o Zalo AI Hackathon e o Zalo AI Summit. Essas atividades não apenas criam um ambiente de experimentação para a comunidade de IA do Vietnã, mas também incentivam a aplicação da IA ​​na vida cotidiana, resolvem problemas sociais urgentes e atendem às necessidades de milhões de vietnamitas.

O Dr. Chau Thanh Duc, chefe do Departamento de Pesquisa em IA da Zalo e professor da Universidade de Ciências Naturais da Universidade Nacional de Ho Chi Minh , afirmou: “A Zalo AI sempre teve como objetivo contribuir para a comunidade de IA vietnamita, incentivando o desenvolvimento da IA ​​no Vietnã. A partir daí, esperamos que surjam cada vez mais produtos de IA criados por vietnamitas, para vietnamitas”.

Fonte: https://vietnamnet.vn/zalo-ai-cong-bo-bo-tieu-chuan-danh-gia-nang-luc-tieng-viet-mien-phi-2214815.html