Weinig parameters, veel data

PaLM 2, het nieuwste grote taalmodel (LLM) van Google dat vorige week werd aangekondigd, gebruikt bijna vijf keer zoveel trainingsdata als zijn voorganger uit 2022, waardoor het geavanceerdere programmering, wiskunde en contentcreatie mogelijk maakt.

Tijdens de Google I/O Developer Conference introduceerde de zoekgigant PaLM 2 – een taalmodel dat is getraind met 3,6 biljoen tokens. Deze tokens zijn reeksen woorden – de bouwstenen waarmee LLM wordt getraind om het volgende woord te voorspellen.

De vorige versie van PaLM werd uitgebracht in 2022 en bevatte 780 miljard tokens.

Google CEO Sundar Pichai introduceerde vorige week op het Google I/O-evenement het nieuwste grote taalmodel van het bedrijf, PaLM 2

Hoewel Google zijn AI-vaardigheden op het gebied van zoeken, e-mail, tekstverwerking en spreadsheets aanprijst, aarzelt het bedrijf om de omvang of details van zijn trainingsdatasets bekend te maken. OpenAI houdt ook de details van zijn nieuwste LLM-trainingsalgoritme, GPT-4, geheim.

Techbedrijven wijten de reden aan de competitieve aard van hun activiteiten. Zowel Google als OpenAI proberen gebruikers aan te trekken met chatbots in plaats van traditionele zoekmachines.

Compact, krachtig, kosteneffectief

Google zegt dat PaLM 2 kleiner is dan zijn voorgangers en traint met 340 miljard parameters, vergeleken met 540 miljard voor de vorige versie. Dit toont aan dat de technologie van het bedrijf steeds efficiënter wordt in het uitvoeren van complexe taken.

Om dit te bereiken, maakt PaLM 2 gebruik van een nieuwe techniek genaamd “extended computing optimization”, die “betere algehele prestaties levert, inclusief snellere inferentie met minder parameters die de overhead verminderen.”

Googles nieuwste taal-AI-model, getraind in meer dan 100 talen, voert diverse taken uit voor 25 functies en producten, waaronder de experimentele chatbot Bard. PaLM 2 is verkrijgbaar in vier versies, van klein naar groot: Gecko, Otter, Bison en Unicorn.

Volgens openbare documentatie is PaLM 2 krachtiger dan elk bestaand model. Facebooks LlaMA, uitgebracht in februari, werd getraind met 1,4 biljoen tokens. OpenAI maakte onlangs de trainingsdatagrootte bekend voor ChatGPT, een versie van GPT-3, met 300 miljard tokens.

De explosie aan AI-toepassingen heeft geleid tot controverse rond de technologie. Eerder dit jaar nam El Mahdi El Mhamdi, senior wetenschapper bij Google Research, ontslag uit protest tegen het gebrek aan transparantie van de zoekgigant.

Deze week getuigde Sam Altman, CEO van OpenAI, ook voor de subcommissie van de Amerikaanse Senaatscommissie Justitie over privacy en technologie in de context van de toenemende verspreiding van AI. De 'vader' van ChatGPT was het daar met wetgevers eens dat er nieuwe regelgeving nodig is om AI te reguleren.

(Volgens CNBC)

Bron