Få parametere, mye data

[annonse_1]

PaLM 2, Googles nyeste store språkmodell (LLM) som ble annonsert forrige uke, bruker nesten fem ganger så mye treningsdata som forgjengeren fra 2022, noe som gjør at den kan utføre mer avansert programmering, matematikk og innholdsproduksjon.

På Google I/O Developer Conference introduserte søkegiganten PaLM 2 – en språkmodell trent på 3,6 billioner tokens. Disse tokensene er ordsekvenser – byggesteinene som brukes til å trene LLM til å forutsi det neste ordet.

Den forrige versjonen av PaLM ble utgitt i 2022 og ble preget med 780 milliarder tokens.

Googles administrerende direktør Sundar Pichai introduserte selskapets nyeste store språkmodell PaLM 2 på forrige ukes Google I/O-arrangement.

Selv om Google har skrytt av sin AI-kompetanse innen søk, e-post, tekstbehandling og regneark, har selskapet vært motvillig til å avsløre størrelsen eller detaljene i treningsdatasettene sine. OpenAI holder også detaljene i sin nyeste LLM-treningsalgoritme, GPT-4, hemmelig.

Teknologiselskaper tilskriver årsaken til den konkurransepregede naturen til virksomhetene deres. Både Google og OpenAI kjemper om å tiltrekke seg brukere med chatboter i stedet for tradisjonelle søkemotorer.

Kompakt, kraftig, kostnadseffektiv

Google sier at PaLM 2 er mindre enn forgjengerne, og trener med 340 milliarder parametere sammenlignet med 540 milliarder for den forrige versjonen. Dette viser at selskapets teknologi blir mer effektiv til å utføre komplekse oppgaver.

For å oppnå dette bruker PaLM 2 en ny teknikk kalt «utvidet databehandlingsoptimalisering», som gir «bedre totalytelse, inkludert raskere inferens med færre parametere som reduserer overhead».

Googles nyeste språkmodell for kunstig intelligens, trent på over 100 språk, utfører en rekke oppgaver for 25 funksjoner og produkter, inkludert den eksperimentelle chatboten Bard. PaLM 2 kommer i fire versjoner basert på størrelse, fra minste til største: gekko, oter, bison og enhjørning.

Ifølge offentlig dokumentasjon er PaLM 2 kraftigere enn noen eksisterende modell. Facebooks LlaMA, som ble utgitt i februar, ble trent på 1,4 billioner tokens. I mellomtiden offentliggjorde OpenAI sist størrelsen på treningsdataene for ChatGPT, en versjon av GPT-3, med 300 milliarder tokens.

Eksplosjonen av AI-applikasjoner har skapt kontrovers rundt teknologien. Tidligere i år trakk El Mahdi El Mhamdi, en seniorforsker ved Google Research, seg i protest mot søkegigantens manglende åpenhet.

Denne uken vitnet også OpenAI-sjef Sam Altman for det amerikanske senatet i justisdepartementets underkomité for personvern og teknologi i sammenheng med at AI blir mer utbredt, der «faren» til ChatGPT var enig med lovgiverne i at det er behov for nye forskrifter for å styre AI.

(Ifølge CNBC)

[annonse_2]
Kilde