Färre parametrar, mer data

[annons_1]

PaLM 2, Googles senaste stora språkmodell (LLM), som tillkännagavs förra veckan, använder nästan fem gånger så mycket träningsdata jämfört med sin föregångare från 2022, vilket gör det möjligt att programmera, lösa problem och skapa mer avancerat innehåll.

På utvecklarkonferensen Google I/O introducerade sökjätten PaLM 2 – en språkträningsmodell baserad på 3,6 biljoner tokens. Dessa tokens är ordsträngar – byggstenarna som används i LLM-träning för att förutsäga nästa ord som kommer att dyka upp.

Den tidigare versionen av PaLM släpptes 2022 och tränades med 780 miljarder tokens.

Vid förra veckans Google I/O-evenemang presenterade Googles VD Sundar Pichai företagets senaste stora språkmodell, PaLM 2.

Även om Google ständigt visar upp kraften hos AI inom sökning, e-post, ordbehandling och kalkylblad, är företaget ovilligt att avslöja storleken på eller detaljerna i sina träningsdataset. OpenAI håller också detaljerna i sin senaste LLM-träningsparameter, GPT-4, konfidentiella.

Teknikföretag förklarar detta med att hänvisa till den konkurrensutsatta karaktären hos deras verksamhet. Både Google och OpenAI tävlar om att attrahera användare med chatbot-produkter istället för traditionella sökmotorer.

Kompakt, kraftfull och kostnadseffektiv.

Google uppgav att PaLM 2 är mer kompakt än sina föregångare, efter att ha tränats med 340 miljarder parametrar jämfört med 540 miljarder parametrar i den tidigare versionen. Detta visar att företagets teknik blir effektivare när det gäller att utföra komplexa uppgifter.

För att uppnå detta använder PaLM 2 en ny teknik som kallas "utökad beräkningsoptimering", vilket ger "bättre prestanda överlag, inklusive snabbare inferens med färre parametrar, vilket minskar driftskostnaderna".

Googles senaste AI-språkmodell, tränad i över 100 språk, utför olika uppgifter för 25 funktioner och produkter, inklusive den experimentella chatboten Bard. PaLM 2 finns i fyra versioner baserat på storlek, från minst till störst: Gecko, Otter, Bison och Unicorn.

Enligt offentligt tillgängliga dokument är PaLM 2 kraftfullare än någon befintlig modell. Facebooks LlaMA, som lanserades i februari, tränades på 1,4 biljoner tokens. Samtidigt var den senaste gången OpenAI offentligt avslöjade storleken på träningsdata för ChatGPT GPT-3-versionen med 300 miljarder tokens.

Explosionen av AI-applikationer har skapat kontroverser kring tekniken. Tidigare i år avgick El Mahdi, seniorforskare på Google Research, i protest mot sökjättens bristande transparens.

Denna vecka vittnade även OpenAI:s VD Sam Altman inför den amerikanska senatens underkommitté för rättsväsendet om integritet och teknologi i samband med AI:s ökande utbredning. Där höll skaparen av ChatGPT med lagstiftarna om att nya regler behövs för att styra AI.

(Enligt CNBC)

[annons_2]
Källa