PaLM 2, Googles nyeste store språkmodell (LLM), som ble annonsert forrige uke, bruker nesten fem ganger så mye treningsdata sammenlignet med forgjengeren fra 2022, noe som gjør det mulig å programmere, løse problemer og lage mer avansert innhold.
På Google I/O-utviklerkonferansen introduserte søkegiganten PaLM 2 – en språkopplæringsmodell basert på 3,6 billioner tokens. Disse tokensene er ordstrenger – byggesteinene som brukes i LLM-opplæring for å forutsi det neste ordet som vil dukke opp.
Den forrige versjonen av PaLM ble utgitt i 2022 og trent med 780 milliarder tokens.
Selv om Google stadig viser frem kraften til AI i søk, e-post, tekstbehandling og regnearkoppgaver, er selskapet motvillig til å avsløre størrelsen eller detaljene i treningsdatasettene sine. OpenAI holder også detaljene om sin nyeste LLM-treningsparameter, GPT-4, konfidensielle.
Teknologiselskaper forklarer dette med den konkurransepregede naturen til virksomheten sin. Både Google og OpenAI kjemper om å tiltrekke seg brukere med chatbot-produkter i stedet for tradisjonelle søkemotorer.
Kompakt, kraftig og kostnadseffektiv.
Google uttalte at PaLM 2 er mer kompakt enn forgjengerne, etter å ha blitt trent med 340 milliarder parametere sammenlignet med 540 milliarder parametere i forrige versjon. Dette viser at selskapets teknologi blir mer effektiv i å utføre komplekse oppgaver.
For å oppnå dette bruker PaLM 2 en ny teknikk kalt «utvidet databehandlingsoptimalisering», som gir «bedre totalytelse, inkludert raskere inferens med færre parametere, og dermed reduserer driftskostnadene».
Googles nyeste AI-språkmodell, trent på over 100 språk, utfører ulike oppgaver for 25 funksjoner og produkter, inkludert den eksperimentelle chatboten Bard. PaLM 2 kommer i fire versjoner basert på størrelse, fra minste til største: Gekko, Oter, Bison og Enhjørning.
Ifølge offentlig tilgjengelige dokumenter er PaLM 2 kraftigere enn noen eksisterende modell. Facebooks LlaMA, som ble lansert i februar, ble trent på 1,4 billioner tokens. I mellomtiden var GPT-3-versjonen med 300 milliarder tokens siste gang OpenAI offentlig avslørte størrelsen på treningsdataene for ChatGPT.
Eksplosjonen av AI-applikasjoner har skapt kontrovers rundt teknologien. Tidligere i år trakk El Mahdi, en seniorforsker ved Google Research, seg i protest mot søkegigantens manglende åpenhet.
Denne uken vitnet også OpenAI-sjef Sam Altman for det amerikanske senatet i justisdepartementet om personvern og teknologi i sammenheng med AIs økende utbredelse. Der var skaperen av ChatGPT enig med lovgiverne om at det er behov for nye forskrifter for å styre AI.
(Ifølge CNBC)
[annonse_2]
Kilde
Kommentar (0)