Weinig parameters, veel data

PaLM 2, het nieuwste grote taalmodel (LLM) van Google, dat vorige week werd aangekondigd, gebruikt bijna vijf keer zoveel trainingsdata als zijn voorganger uit 2022. Daardoor is het model geschikt voor geavanceerdere programmering, wiskunde en het creëren van content.

Tijdens de Google I/O Developers Conference introduceerde de zoekgigant PaLM 2 – een taalmodel dat is getraind met 3,6 biljoen tokens. Deze tokens zijn reeksen woorden – de bouwstenen waarmee de LLM wordt getraind om het volgende woord te voorspellen.

De vorige versie van PaLM werd uitgebracht in 2022 en bevatte 780 miljard tokens.

Google CEO Sundar Pichai introduceerde tijdens het Google I/O-evenement van vorige week het nieuwste grote taalmodel van het bedrijf: PaLM 2.

Hoewel Google zijn AI-vaardigheden op het gebied van zoeken, e-mail, tekstverwerking en spreadsheets aanprijst, aarzelt het bedrijf om de omvang of details van zijn trainingsdatasets te onthullen. OpenAI heeft ook de details van zijn nieuwste LLM-trainingsspecificatie, GPT-4, geheim gehouden.

Techbedrijven wijten de reden hiervoor aan de competitieve aard van hun activiteiten. Zowel Google als OpenAI proberen gebruikers te werven met chatbotproducten in plaats van met traditionele zoekmachines.

Compact, krachtig, kosteneffectief

Google zegt dat PaLM 2 kleiner is dan zijn voorgangers en getraind wordt met 340 miljard parameters, vergeleken met de 540 miljard parameters van de vorige versie. Dit toont aan dat de technologie van het bedrijf steeds efficiënter wordt in het uitvoeren van complexe taken.

Om dit te bereiken, maakt PaLM 2 gebruik van een nieuwe techniek genaamd “extended computing optimization”, die “betere algehele prestaties levert, inclusief snellere inferentie met minder parameters die de overhead verminderen.”

Googles nieuwste taal-AI-model, getraind in meer dan 100 talen, voert diverse taken uit voor 25 functies en producten, waaronder de experimentele chatbot Bard. PaLM 2 is verkrijgbaar in vier versies, van klein naar groot: Gecko, Otter, Bison en Unicorn.

Volgens openbare documentatie is PaLM 2 krachtiger dan elk bestaand model. Facebooks LlaMA, uitgebracht in februari, werd getraind met 1,4 biljoen tokens. OpenAI maakte onlangs de trainingsdatagrootte bekend voor ChatGPT, een versie van GPT-3, met 300 miljard tokens.

De explosie aan AI-toepassingen heeft geleid tot controverse rond de technologie. Eerder dit jaar nam El Mahdi El Mhamdi, senior wetenschapper bij Google Research, ontslag uit protest tegen het gebrek aan transparantie van de zoekgigant.

Deze week getuigde Sam Altman, CEO van OpenAI, ook voor de subcommissie van de Amerikaanse Senaatscommissie Justitie over privacy en technologie in de context van de toenemende populariteit van AI. Daar was de 'vader' van ChatGPT het eens met wetgevers dat er nieuwe regelgeving nodig is om AI te reguleren.

(Volgens CNBC)

Bron