Minder parameters, meer data.

PaLM 2, Google's nieuwste grote taalmodel (LLM), dat vorige week werd aangekondigd, gebruikt bijna vijf keer zoveel trainingsdata als zijn voorganger uit 2022, waardoor het in staat is om te programmeren, problemen op te lossen en geavanceerdere content te creëren.

Tijdens de Google I/O-ontwikkelaarsconferentie introduceerde de zoekgigant PaLM 2 – een taalmodel gebaseerd op 3,6 biljoen tokens. Deze tokens zijn woordreeksen – de bouwstenen die in de LLM-training worden gebruikt om het volgende woord te voorspellen dat zal verschijnen.

De vorige versie van PaLM werd uitgebracht in 2022 en getraind met 780 miljard tokens.

Tijdens het Google I/O-evenement van vorige week introduceerde Google-CEO Sundar Pichai het nieuwste grote taalmodel van het bedrijf, PaLM 2.

Hoewel Google voortdurend de kracht van AI demonstreert in zoekopdrachten, e-mail, tekstverwerking en spreadsheets, is het bedrijf terughoudend met het onthullen van de omvang of details van zijn trainingsdatasets. OpenAI houdt de details van zijn nieuwste LLM-trainingsparameter, GPT-4, eveneens geheim.

Technologiebedrijven verklaren dit door te verwijzen naar de concurrentie in hun branche. Zowel Google als OpenAI wedijveren om gebruikers aan te trekken met chatbotproducten in plaats van traditionele zoekmachines.

Compact, krachtig en kosteneffectief.

Google heeft aangegeven dat PaLM 2 compacter is dan zijn voorgangers, omdat het is getraind met 340 miljard parameters in vergelijking met 540 miljard parameters in de vorige versie. Dit toont aan dat de technologie van het bedrijf steeds efficiënter wordt in het uitvoeren van complexe taken.

Om dit te bereiken, gebruikt PaLM 2 een nieuwe techniek genaamd "extended computing optimization", die zorgt voor "betere algehele prestaties, waaronder snellere inferentie met minder parameters, waardoor de operationele kosten worden verlaagd".

Het nieuwste AI-taalmodel van Google, getraind in meer dan 100 talen, voert diverse taken uit voor 25 functies en producten, waaronder de experimentele chatbot Bard. PaLM 2 is verkrijgbaar in vier versies, gebaseerd op grootte, van klein naar groot: Gecko, Otter, Bison en Unicorn.

Volgens openbaar beschikbare documenten is PaLM 2 krachtiger dan elk bestaand model. Facebooks LlaMA, dat in februari werd gelanceerd, werd getraind op 1,4 biljoen tokens. De laatste keer dat OpenAI de omvang van de trainingsdata voor ChatGPT openbaar maakte, was voor de GPT-3-versie met 300 miljard tokens.

De explosieve groei van AI-toepassingen heeft tot controverse rondom de technologie geleid. Eerder dit jaar nam El Mahdi, een senior wetenschapper bij Google Research, ontslag uit protest tegen het gebrek aan transparantie van de zoekgigant.

Deze week getuigde Sam Altman, CEO van OpenAI, ook voor de Senaatscommissie Justitie van de VS, subcommissie privacy en technologie, in de context van de toenemende prevalentie van AI. Daar was de bedenker van ChatGPT het eens met de wetgevers dat nieuwe regelgeving nodig is om AI te reguleren.

(Volgens CNBC)

Bron: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html