Puțini parametri, multe date

PaLM 2, cel mai recent model de limbaj mare (LLM) al Google anunțat săptămâna trecută, folosește de aproape cinci ori mai multe date de antrenament decât predecesorul său din 2022, permițându-i să facă programări, matematică și creare de conținut mai avansate.

La Conferința Dezvoltatorilor Google I/O, gigantul căutărilor a prezentat PaLM 2 - un model lingvistic antrenat pe baza a 3,6 trilioane de token-uri. Aceste token-uri sunt secvențe de cuvinte - elementele constitutive folosite pentru a antrena LLM să prezică următorul cuvânt.

Versiunea anterioară a PaLM a fost lansată în 2022 și a fost creată cu 780 de miliarde de tokenuri.

CEO-ul Google, Sundar Pichai, a prezentat la evenimentul Google I/O de săptămâna trecută cel mai recent model lingvistic mare al companiei, PaLM 2.

Deși Google și-a lăudat priceperea în domeniul inteligenței artificiale în căutare, e-mail, procesare de text și foi de calcul, compania a fost reticentă în a dezvălui dimensiunea sau detaliile seturilor sale de date de antrenament. OpenAI păstrează, de asemenea, secrete detaliile celui mai recent algoritm de antrenament LLM, GPT-4.

Companiile de tehnologie atribuie motivul naturii competitive a afacerilor lor. Atât Google, cât și OpenAI se întrec în a atrage utilizatori cu ajutorul chatbot-urilor, mai degrabă decât al motoarelor de căutare tradiționale.

Compact, puternic, rentabil

Google spune că PaLM 2 este mai mic decât predecesoarele sale, antrenându-se cu 340 de miliarde de parametri, comparativ cu 540 de miliarde cât avea versiunea anterioară. Acest lucru arată că tehnologia companiei devine mai eficientă în îndeplinirea sarcinilor complexe.

Pentru a realiza acest lucru, PaLM 2 folosește o nouă tehnică numită „optimizare extinsă a calculului”, care oferă „performanțe generale mai bune, inclusiv inferențe mai rapide cu mai puțini parametri care reduc costurile generale”.

Cel mai recent model de inteligență artificială lingvistică de la Google, antrenat în peste 100 de limbi, îndeplinește o varietate de sarcini pentru 25 de funcții și produse, inclusiv chatbot-ul experimental Bard. PaLM 2 este disponibil în patru versiuni în funcție de dimensiune, de la cea mai mică la cea mai mare: Gecko, Vidră, Bizon și Unicorn.

Conform documentației publice, PaLM 2 este mai puternic decât orice model existent. LlaMA de la Facebook, lansat în februarie, a fost antrenat pe baza a 1,4 trilioane de tokenuri. Între timp, OpenAI a dezvăluit public ultima dată dimensiunea datelor de antrenament pentru ChatGPT, o versiune a GPT-3, cu 300 de miliarde de tokenuri.

Explozia aplicațiilor de inteligență artificială a creat controverse în jurul acestei tehnologii. La începutul acestui an, El Mahdi El Mhamdi, un om de știință senior la Google Research, a demisionat în semn de protest față de lipsa de transparență a gigantului de căutare.

Săptămâna aceasta, CEO-ul OpenAI, Sam Altman, a depus mărturie și în fața Subcomisiei Judiciare a Senatului SUA pentru Confidențialitate și Tehnologie în contextul răspândirii tot mai mari a IA, unde „părintele” ChatGPT a fost de acord cu legislatorii că sunt necesare noi reglementări pentru a guverna IA.

(Conform CNBC)

Sursă: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html