A GPT Pho coloca o Vietnã no mapa mundial da tecnologia.

Pho GPT significa Pho - Generative Pre-trained Transformer (Transformador Pré-treinado Generativo) e é um grande projeto de modelo de linguagem dedicado ao vietnamita, implementado pela equipe de engenharia da VinAI - membro da Vingroup Corporation.

Acompanhe o ritmo da tecnologia mundial

O Pho GPT utiliza código aberto em vez de software proprietário como o ChatGPT da OpenAI. Isso significa que o código-fonte do Pho GPT é público, disponível e os usuários podem contribuir para o desenvolvimento do Pho GPT por meio de aplicações personalizadas.

Segundo a apresentação da VinAI, o Pho GPT possui 7,5 bilhões de parâmetros, construído sobre a plataforma de decodificação Transformer. Este modelo é treinado do zero, utilizando as técnicas mais avançadas disponíveis, como o mecanismo Flash Attention e a extrapolação do comprimento do contexto AliBi.

Essas técnicas não apenas ajudam o Pho GPT a compreender o contexto mais profundamente, mas também aumentam a capacidade do aplicativo de dialogar e interagir naturalmente durante o uso. Isso torna o modelo uma ferramenta versátil e multifuncional, capaz de atender às diversas necessidades linguísticas dos usuários.

Sr. Bui Hai Hung, Diretor Geral da VinAI.

Ao falar sobre a importância do surgimento do Pho GPT, o Sr. Bui Hai Hung, Diretor Geral da VinAI, afirmou que o objetivo do projeto é desenvolver modelos semelhantes ao ChatGPT para a língua e a cultura vietnamitas. O Pho GPT possui a capacidade de compreender e escrever em vietnamita de uma forma superior às tecnologias de linguagem de gerações anteriores. O modelo também foi treinado do zero com um conjunto de dados vietnamita, sem depender de nenhum outro modelo existente, garantindo o domínio de uma tecnologia essencial e avançada para o Vietnã.

Vale mencionar que, justamente quando o mundo estava empolgado com o surgimento do Chat GPT, um ano depois, o Pho GPT apareceu no Vietnã. Segundo Bui Hai Hung, a VinAI é pioneira no Sudeste Asiático ao lançar um modelo de linguagem abrangente com código aberto. Poucas semanas depois, um produto similar foi lançado em Singapura.

Aprimorando a IA vietnamita

Os resultados da comparação entre a versão Pho GPT-7B5-Instruct e o modelo proprietário ChatGPT (GPT-3.5-turbo), bem como outros modelos de código aberto, mostram que o Pho GPT ocupa o segundo lugar, ficando atrás apenas do ChatGPT na maioria das categorias de avaliação.

O Pho GPT apresenta muitas diferenças em comparação com outros modelos de linguagem, especialmente o ChatGPT. Ele foi projetado para entender e escrever em vietnamita de forma natural, refletindo o contexto, a gramática, o vocabulário e as expressões do povo vietnamita. Permite a interação com os usuários sobre tópicos relacionados à cultura, história, geografia, sociedade, entretenimento, esportes e outros aspectos do Vietnã.

Além disso, o Pho GPT é de código aberto e flexível. Os usuários podem desenvolver aplicativos personalizados e exclusivos, especialmente aqueles que exigem alta segurança, sem depender de fontes de software proprietárias.

Ao mesmo tempo, a prioridade do Pho GPT também é o alto desempenho e a economia de custos, com treinamento utilizando as mais recentes técnicas de otimização, ajudando a reduzir o tamanho e aumentar a velocidade da aplicação. O Pho GPT também pode ser executado em plataformas computacionais menores, contribuindo para a redução de custos e a economia de recursos.

Treinado com um banco de dados vietnamita de até 41 GB, incluindo 1 GB de texto da Wikipédia e uma variante de 40 GB com duplicatas removidas do conjunto de dados de notícias, e utilizando a biblioteca llm-foundry do MosaicML, o Pho GPT consegue gerar fragmentos de texto de acordo com as solicitações do usuário, como artigos, poemas, músicas, ensaios, discursos, introduções... O Pho GPT também pode criar conteúdo criativo e humorístico, como contos, comentários, provérbios, mensagens, tweets, memes... Além disso, ele dialoga com os usuários sobre diversos tópicos, como atualidades, educação, saúde, viagens, culinária, esportes, entretenimento... O Pho GPT também pode responder a perguntas dos usuários, fornecer informações, conselhos, suporte e esclarecer dúvidas...

Além disso, o Pho GPT pode traduzir textos ou tipos de texto de diferentes naturezas, como documentos oficiais, comerciais, acadêmicos, literários, etc., do vietnamita para outros idiomas e vice-versa.

Outra característica notável é que o Pho GPT analisa e processa parágrafos de texto, como resumir, classificar, rotular, extrair informações, detectar emoções, detectar erros, aprimorar o estilo de escrita...

No futuro, a equipe de desenvolvimento do Pho GPT afirmou que continuará a aprimorar o modelo e a expandir o projeto para outros idiomas, especialmente na região do Sudeste Asiático.

“O nascimento do Pho GPT marca a primeira vez que o Vietnã tem a oportunidade de alcançar o resto do mundo neste campo tecnológico avançado e possuir um modelo de linguagem robusto com código aberto, específico para o povo vietnamita, otimizado para o idioma vietnamita e independente do resto do mundo. Isso é motivo de orgulho para a VinAI em particular e para o povo vietnamita em geral”, acrescentou o representante da VinAI.

Ao comentar sobre o potencial e as oportunidades de desenvolvimento do Pho GPT no futuro próximo, o Sr. Tran Duy Dong, Vice-Ministro do Planejamento e Investimento, enfatizou: “A IA será uma das áreas em que o Vietnã tem grande potencial para se desenvolver fortemente e em breve alcançar o nível mundial. O Ministério sempre apoiará e acompanhará a comunidade de IA em particular, e a comunidade científica e tecnológica em geral, para desenvolver um ecossistema de inovação abrangente e dinâmico, contribuindo para o desenvolvimento geral do país”.

Fonte