Meno parametri, più dati

PaLM 2, l'ultimo modello linguistico di grandi dimensioni (LLM) di Google, annunciato la scorsa settimana, utilizza quasi cinque volte la quantità di dati di addestramento rispetto al suo predecessore del 2022, consentendogli di programmare, risolvere problemi e creare contenuti più avanzati.

Alla conferenza per sviluppatori Google I/O, il colosso della ricerca ha presentato PaLM 2, un modello di addestramento linguistico basato su 3,6 trilioni di token. Questi token sono stringhe di parole, ovvero gli elementi costitutivi utilizzati nell'addestramento dei modelli linguistici per prevedere la parola successiva.

La versione precedente di PaLM è stata rilasciata nel 2022 ed è stata addestrata utilizzando 780 miliardi di token.

Durante l'evento Google I/O della scorsa settimana, il CEO di Google, Sundar Pichai, ha presentato il più recente modello di linguaggio di programmazione dell'azienda, PaLM 2.

Sebbene Google mostri costantemente la potenza dell'IA nelle attività di ricerca, posta elettronica, elaborazione testi e fogli di calcolo, l'azienda è restia a divulgare le dimensioni o i dettagli dei suoi set di dati di addestramento. Anche OpenAI mantiene riservati i dettagli del suo più recente parametro di addestramento LLM, GPT-4.

Le aziende tecnologiche spiegano questo fenomeno citando la natura competitiva del loro settore. Sia Google che OpenAI sono in competizione per attirare utenti con prodotti basati su chatbot anziché con i tradizionali motori di ricerca.

Compatto, potente ed economico.

Google ha dichiarato che PaLM 2 è più compatto dei suoi predecessori, essendo stato addestrato con 340 miliardi di parametri rispetto ai 540 miliardi della versione precedente. Ciò dimostra che la tecnologia dell'azienda sta diventando più efficiente nell'esecuzione di compiti complessi.

Per raggiungere questo obiettivo, PaLM 2 utilizza una nuova tecnica chiamata "ottimizzazione del calcolo esteso", che offre "prestazioni complessive migliori, tra cui un'inferenza più rapida con un minor numero di parametri, riducendo così i costi operativi".

Il più recente modello linguistico di intelligenza artificiale di Google, addestrato in oltre 100 lingue, svolge diverse funzioni per 25 prodotti e funzionalità, tra cui il chatbot sperimentale Bard. PaLM 2 è disponibile in quattro versioni in base alle dimensioni, dalla più piccola alla più grande: Gecko, Otter, Bison e Unicorn.

Secondo documenti disponibili pubblicamente, PaLM 2 è più potente di qualsiasi modello esistente. LlaMA di Facebook, lanciato a febbraio, è stato addestrato su 1,4 trilioni di token. Nel frattempo, l'ultima volta che OpenAI ha reso pubblica la dimensione dei dati di addestramento per ChatGPT è stata per la versione GPT-3 con 300 miliardi di token.

L'esplosione delle applicazioni di intelligenza artificiale ha generato controversie intorno a questa tecnologia. All'inizio di quest'anno, El Mahdi, ricercatore senior presso Google Research, si è dimesso per protestare contro la mancanza di trasparenza del colosso della ricerca.

Questa settimana, Sam Altman, CEO di OpenAI, ha anche testimoniato davanti alla sottocommissione giudiziaria del Senato degli Stati Uniti in merito alla privacy e alla tecnologia nel contesto della crescente diffusione dell'intelligenza artificiale. In tale occasione, il creatore di ChatGPT si è detto d'accordo con i legislatori sulla necessità di nuove normative per disciplinare l'IA.

(Secondo la CNBC)

Fonte