Færre parametere, mer data

[annonse_1]

PaLM 2, Googles nyeste store språkmodell (LLM), som ble annonsert forrige uke, bruker nesten fem ganger så mye treningsdata sammenlignet med forgjengeren fra 2022, noe som gjør det mulig å programmere, løse problemer og lage mer avansert innhold.

På Google I/O-utviklerkonferansen introduserte søkegiganten PaLM 2 – en språkopplæringsmodell basert på 3,6 billioner tokens. Disse tokensene er ordstrenger – byggesteinene som brukes i LLM-opplæring for å forutsi det neste ordet som vil dukke opp.

Den forrige versjonen av PaLM ble utgitt i 2022 og trent med 780 milliarder tokens.

På forrige ukes Google I/O-arrangement introduserte Googles administrerende direktør Sundar Pichai selskapets nyeste store språkmodell, PaLM 2.

Selv om Google stadig viser frem kraften til AI i søk, e-post, tekstbehandling og regnearkoppgaver, er selskapet motvillig til å avsløre størrelsen eller detaljene i treningsdatasettene sine. OpenAI holder også detaljene om sin nyeste LLM-treningsparameter, GPT-4, konfidensielle.

Teknologiselskaper forklarer dette med den konkurransepregede naturen til virksomheten sin. Både Google og OpenAI kjemper om å tiltrekke seg brukere med chatbot-produkter i stedet for tradisjonelle søkemotorer.

Kompakt, kraftig og kostnadseffektiv.

Google uttalte at PaLM 2 er mer kompakt enn forgjengerne, etter å ha blitt trent med 340 milliarder parametere sammenlignet med 540 milliarder parametere i forrige versjon. Dette viser at selskapets teknologi blir mer effektiv i å utføre komplekse oppgaver.

For å oppnå dette bruker PaLM 2 en ny teknikk kalt «utvidet databehandlingsoptimalisering», som gir «bedre totalytelse, inkludert raskere inferens med færre parametere, og dermed reduserer driftskostnadene».

Googles nyeste AI-språkmodell, trent på over 100 språk, utfører ulike oppgaver for 25 funksjoner og produkter, inkludert den eksperimentelle chatboten Bard. PaLM 2 kommer i fire versjoner basert på størrelse, fra minste til største: Gekko, Oter, Bison og Enhjørning.

Ifølge offentlig tilgjengelige dokumenter er PaLM 2 kraftigere enn noen eksisterende modell. Facebooks LlaMA, som ble lansert i februar, ble trent på 1,4 billioner tokens. I mellomtiden var GPT-3-versjonen med 300 milliarder tokens siste gang OpenAI offentlig avslørte størrelsen på treningsdataene for ChatGPT.

Eksplosjonen av AI-applikasjoner har skapt kontrovers rundt teknologien. Tidligere i år trakk El Mahdi, en seniorforsker ved Google Research, seg i protest mot søkegigantens manglende åpenhet.

Denne uken vitnet også OpenAI-sjef Sam Altman for det amerikanske senatet i justisdepartementet om personvern og teknologi i sammenheng med AIs økende utbredelse. Der var skaperen av ChatGPT enig med lovgiverne om at det er behov for nye forskrifter for å styre AI.

(Ifølge CNBC)

[annonse_2]
Kilde