Få parametere, mye data

[annonse_1]

PaLM 2, Googles nyeste store språkmodell (LLM), som ble annonsert forrige uke, bruker nesten fem ganger så mye treningsdata som forgjengeren fra 2022, noe som gjør at den kan utføre mer avansert programmering, matematikk og innholdsproduksjon.

På Google I/O Developers Conference introduserte søkegiganten PaLM 2 – en språkmodell trent på 3,6 billioner tokens. Disse tokensene er ordsekvenser – byggesteinene som brukes til å trene LLM til å forutsi det neste ordet.

Den forrige versjonen av PaLM ble utgitt i 2022 og ble preget med 780 milliarder tokens.

Googles administrerende direktør Sundar Pichai introduserte selskapets nyeste store språkmodell, PaLM 2, på forrige ukes Google I/O-arrangement.

Selv om Google har skrytt av sin AI-kompetanse innen søk, e-post, tekstbehandling og regneark, har selskapet vært motvillig til å avsløre størrelsen eller detaljene i treningsdatasettene sine. OpenAI har også holdt detaljene i sin nyeste LLM-opplæringsspesifikasjon, GPT-4, hemmelige.

Teknologiselskaper tilskriver årsaken til den konkurransepregede naturen til virksomhetene sine. Både Google og OpenAI kjemper om å tiltrekke seg brukere med chatbot-produkter i stedet for tradisjonelle søkemotorer.

Kompakt, kraftig, kostnadseffektiv

Google sier at PaLM 2 er mindre enn forgjengerne, og trenes med 340 milliarder parametere sammenlignet med forrige versjons 540 milliarder parametere. Dette viser at selskapets teknologi blir mer effektiv til å utføre komplekse oppgaver.

For å oppnå dette bruker PaLM 2 en ny teknikk kalt «utvidet databehandlingsoptimalisering», som gir «bedre totalytelse, inkludert raskere inferens med færre parametere som reduserer overhead».

Googles nyeste språkmodell for kunstig intelligens, trent på over 100 språk, utfører en rekke oppgaver for 25 funksjoner og produkter, inkludert den eksperimentelle chatboten Bard. PaLM 2 kommer i fire versjoner basert på størrelse, fra minste til største: gekko, oter, bison og enhjørning.

Ifølge offentlig dokumentasjon er PaLM 2 kraftigere enn noen eksisterende modell. Facebooks LlaMA, som ble utgitt i februar, ble trent på 1,4 billioner tokens. I mellomtiden offentliggjorde OpenAI sist størrelsen på treningsdataene for ChatGPT, en versjon av GPT-3, med 300 milliarder tokens.

Eksplosjonen av AI-applikasjoner har skapt kontrovers rundt teknologien. Tidligere i år trakk El Mahdi El Mhamdi, en seniorforsker ved Google Research, seg i protest mot søkegigantens manglende åpenhet.

Denne uken vitnet OpenAI-sjef Sam Altman også for det amerikanske senatet i justisdepartementets underkomité for personvern og teknologi i sammenheng med at AI blir mer populært, hvor «faren» til ChatGPT var enig med lovgiverne om at nye forskrifter er nødvendige for å styre AI.

(Ifølge CNBC)

[annonse_2]
Kilde