Poucos parâmetros, muitos dados

[anúncio_1]

O PaLM 2, o mais recente modelo de grande linguagem (LLM) do Google anunciado na semana passada, usa quase cinco vezes a quantidade de dados de treinamento que seu antecessor de 2022, permitindo programação, matemática e criação de conteúdo mais avançadas.

Na Conferência de Desenvolvedores Google I/O, a gigante das buscas apresentou o PaLM 2 — um modelo de linguagem treinado em 3,6 trilhões de tokens. Esses tokens são sequências de palavras — os blocos de construção usados para treinar o LLM a prever a próxima palavra.

A versão anterior do PaLM foi lançada em 2022 e foi cunhada com 780 bilhões de tokens.

O CEO do Google, Sundar Pichai, apresentou no evento Google I/O da semana passada o mais recente modelo de linguagem de grande porte da empresa, o PaLM 2

Embora o Google tenha divulgado suas proezas de IA em buscas, e-mails, processamento de texto e planilhas, a empresa tem relutado em divulgar o tamanho ou os detalhes de seus conjuntos de dados de treinamento. A OpenAI também mantém em segredo os detalhes de seu mais recente algoritmo de treinamento LLM, o GPT-4.

As empresas de tecnologia atribuem o motivo à natureza competitiva de seus negócios. Tanto o Google quanto a OpenAI estão correndo para atrair usuários com chatbots em vez de mecanismos de busca tradicionais.

Compacto, potente e econômico

O Google afirma que o PaLM 2 é menor que seus antecessores, treinando com 340 bilhões de parâmetros, em comparação com 540 bilhões da versão anterior. Isso mostra que a tecnologia da empresa está se tornando mais eficiente na execução de tarefas complexas.

Para conseguir isso, o PaLM 2 usa uma nova técnica chamada “otimização de computação estendida”, que oferece “melhor desempenho geral, incluindo inferência mais rápida com menos parâmetros que reduzem a sobrecarga”.

O mais recente modelo de IA de linguagem do Google, treinado em mais de 100 idiomas, executa uma variedade de tarefas para 25 recursos e produtos, incluindo o chatbot experimental Bard. O PaLM 2 está disponível em quatro versões com base no tamanho, do menor ao maior: Gecko, Otter, Bison e Unicorn.

De acordo com documentação pública, o PaLM 2 é mais poderoso do que qualquer modelo existente. O LlaMA do Facebook, lançado em fevereiro, foi treinado em 1,4 trilhão de tokens. Enquanto isso, a OpenAI divulgou publicamente o tamanho dos dados de treinamento para o ChatGPT, uma versão do GPT-3, com 300 bilhões de tokens.

A explosão de aplicações de IA gerou polêmica em torno da tecnologia. No início deste ano, El Mahdi El Mhamdi, cientista sênior do Google Research, renunciou em protesto contra a falta de transparência do gigante das buscas.

Esta semana, o CEO da OpenAI, Sam Altman, também testemunhou perante o subcomitê do Judiciário do Senado dos EUA sobre privacidade e tecnologia no contexto da IA se tornando mais difundida, onde o "pai" do ChatGPT concordou com os legisladores que novas regulamentações são necessárias para governar a IA.

(De acordo com a CNBC)

Fonte