Få parametrar, mycket data

[annons_1]

PaLM 2, Googles senaste stora språkmodell (LLM) som tillkännagavs förra veckan, använder nästan fem gånger så mycket träningsdata som sin föregångare från 2022, vilket gör att den kan utföra mer avancerad programmering, matematik och innehållsskapande.

På Google I/O Developer Conference introducerade sökjätten PaLM 2 – en språkmodell som tränats på 3,6 biljoner tokens. Dessa tokens är ordsekvenser – byggstenarna som används för att träna LLM att förutsäga nästa ord.

Den tidigare versionen av PaLM släpptes 2022 och präglades med 780 miljarder tokens.

Googles VD Sundar Pichai presenterade företagets senaste stora språkmodell PaLM 2 vid förra veckans Google I/O-evenemang.

Medan Google har skrytit om sin AI-förmåga inom sökning, e-post, ordbehandling och kalkylblad, har företaget varit ovilligt att avslöja storleken eller detaljerna kring sina träningsdataset. OpenAI håller också detaljerna kring sin senaste LLM-träningsalgoritm, GPT-4, hemliga.

Teknikföretag menar att orsaken är deras företags konkurrensutsatta natur. Både Google och OpenAI kämpar för att attrahera användare med chatbotar snarare än traditionella sökmotorer.

Kompakt, kraftfull, kostnadseffektiv

Google säger att PaLM 2 är mindre än sina föregångare och tränar med 340 miljarder parametrar jämfört med 540 miljarder för den tidigare versionen. Detta visar att företagets teknik blir effektivare för att utföra komplexa uppgifter.

För att uppnå detta använder PaLM 2 en ny teknik som kallas "utökad beräkningsoptimering", vilket ger "bättre prestanda överlag, inklusive snabbare inferens med färre parametrar som minskar overhead".

Googles senaste AI-modell för språk, tränad på över 100 språk, utför en mängd olika uppgifter för 25 funktioner och produkter, inklusive den experimentella chattroboten Bard. PaLM 2 finns i fyra versioner baserat på storlek, från minst till störst: Gecko, Otter, Bison och Unicorn.

Enligt offentlig dokumentation är PaLM 2 kraftfullare än någon befintlig modell. Facebooks LlaMA, som släpptes i februari, tränades på 1,4 biljoner tokens. Samtidigt avslöjade OpenAI senast träningsdatastorleken för ChatGPT, en version av GPT-3, med 300 miljarder tokens.

Explosionen av AI-applikationer har skapat kontroverser kring tekniken. Tidigare i år avgick El Mahdi El Mhamdi, seniorforskare på Google Research, i protest mot sökjättens bristande transparens.

Denna vecka vittnade OpenAIs VD Sam Altman också inför den amerikanska senatens underkommitté för rättsväsendet om integritet och teknik i samband med att AI blir alltmer utbredd, där "fadern" till ChatGPT höll med lagstiftarna om att nya regler behövs för att styra AI.

(Enligt CNBC)

[annons_2]
Källa