Menos parâmetros, mais dados

O PaLM 2, o mais recente modelo de linguagem de grande escala (LLM) do Google, anunciado na semana passada, utiliza quase cinco vezes mais dados de treinamento em comparação com seu antecessor de 2022, permitindo que ele programe, resolva problemas e crie conteúdo mais avançado.

Na conferência para desenvolvedores Google I/O, a gigante das buscas apresentou o PaLM 2 – um modelo de treinamento de linguagem baseado em 3,6 trilhões de tokens. Esses tokens são sequências de palavras – os blocos de construção usados no treinamento do LLM para prever a próxima palavra que aparecerá.

A versão anterior do PaLM foi lançada em 2022 e treinada usando 780 bilhões de tokens.

Na semana passada, durante o evento Google I/O, o CEO do Google, Sundar Pichai, apresentou o mais recente modelo de linguagem da empresa, o PaLM 2.

Embora o Google demonstre constantemente o poder da IA em tarefas de busca, e-mail, processamento de texto e planilhas, a empresa reluta em divulgar o tamanho ou os detalhes de seus conjuntos de dados de treinamento. A OpenAI também mantém confidenciais os detalhes de seu mais recente parâmetro de treinamento de aprendizado de máquina, o GPT-4.

As empresas de tecnologia explicam isso citando a natureza competitiva de seus negócios. Tanto o Google quanto a OpenAI estão competindo para atrair usuários com chatbots em vez de mecanismos de busca tradicionais.

Compacto, potente e com excelente custo-benefício.

O Google afirmou que o PaLM 2 é mais compacto que seus antecessores, tendo sido treinado com 340 bilhões de parâmetros em comparação com os 540 bilhões da versão anterior. Isso demonstra que a tecnologia da empresa está se tornando mais eficiente na execução de tarefas complexas.

Para alcançar esse objetivo, o PaLM 2 utiliza uma nova técnica chamada "otimização computacional estendida", que proporciona "melhor desempenho geral, incluindo inferência mais rápida com menos parâmetros, reduzindo assim os custos operacionais".

O mais recente modelo de linguagem de IA do Google, treinado em mais de 100 idiomas, está executando diversas tarefas para 25 recursos e produtos, incluindo o chatbot experimental Bard. O PaLM 2 está disponível em quatro versões com base no tamanho, da menor para a maior: Gecko, Otter, Bison e Unicorn.

De acordo com documentos disponíveis publicamente, o PaLM 2 é mais poderoso do que qualquer modelo existente. O LlaMA do Facebook, lançado em fevereiro, foi treinado com 1,4 trilhão de tokens. Enquanto isso, a última vez que a OpenAI divulgou publicamente o tamanho dos dados de treinamento do ChatGPT foi na versão GPT-3, com 300 bilhões de tokens.

A explosão de aplicações de IA gerou controvérsia em torno da tecnologia. No início deste ano, El Mahdi, cientista sênior do Google Research, renunciou em protesto contra a falta de transparência da gigante das buscas.

Esta semana, o CEO da OpenAI, Sam Altman, também testemunhou perante o Subcomitê Judiciário do Senado dos EUA sobre privacidade e tecnologia no contexto da crescente prevalência da IA. Lá, o criador do ChatGPT concordou com os legisladores de que novas regulamentações são necessárias para governar a IA.

(Segundo a CNBC)

Fonte