Mai puțini parametri, mai multe date

PaLM 2, cel mai recent model de limbaj mare (LLM) de la Google, anunțat săptămâna trecută, folosește de aproape cinci ori mai multe date de antrenament în comparație cu predecesorul său din 2022, permițându-i să programeze, să rezolve probleme și să creeze conținut mai avansat.

La conferința dezvoltatorilor Google I/O, gigantul căutărilor a introdus PaLM 2 – un model de instruire lingvistică bazat pe 3,6 trilioane de token-uri. Aceste token-uri sunt șiruri de cuvinte – elementele constitutive folosite în instruirea LLM pentru a prezice următorul cuvânt care va apărea.

Versiunea anterioară a PaLM a fost lansată în 2022 și a fost antrenată folosind 780 de miliarde de tokenuri.

La evenimentul Google I/O de săptămâna trecută, CEO-ul Google, Sundar Pichai, a prezentat cel mai recent model lingvistic important al companiei, PaLM 2.

Deși Google demonstrează constant puterea inteligenței artificiale în căutări, e-mailuri, procesare de text și foi de calcul, compania este reticentă în a dezvălui dimensiunea sau detaliile seturilor sale de date de antrenament. OpenAI păstrează, de asemenea, confidențialitatea detaliilor celui mai recent parametru de antrenament LLM, GPT-4.

Companiile de tehnologie explică acest lucru invocând natura competitivă a afacerii lor. Atât Google, cât și OpenAI se întrec în a atrage utilizatori cu produse chatbot în loc de motoare de căutare tradiționale.

Compact, puternic și rentabil.

Google a declarat că PaLM 2 este mai compact decât predecesoarele sale, fiind antrenat cu 340 de miliarde de parametri, comparativ cu 540 de miliarde de parametri în versiunea anterioară. Acest lucru demonstrează că tehnologia companiei devine mai eficientă în îndeplinirea sarcinilor complexe.

Pentru a realiza acest lucru, PaLM 2 folosește o nouă tehnică numită „optimizare extinsă a calculului”, care oferă „performanțe generale mai bune, inclusiv inferențe mai rapide cu mai puțini parametri, reducând astfel costurile de operare”.

Cel mai recent model lingvistic bazat pe inteligență artificială de la Google, antrenat în peste 100 de limbi, îndeplinește diverse sarcini pentru 25 de funcții și produse, inclusiv chatbot-ul experimental Bard. PaLM 2 este disponibil în patru versiuni în funcție de dimensiune, de la cea mai mică la cea mai mare: Gecko, Otter, Bison și Unicorn.

Conform documentelor disponibile publicului, PaLM 2 este mai puternic decât orice model existent. LlaMA de la Facebook, lansat în februarie, a fost antrenat pe 1,4 trilioane de tokenuri. Între timp, ultima dată când OpenAI a dezvăluit public dimensiunea datelor de antrenament pentru ChatGPT a fost versiunea GPT-3 cu 300 de miliarde de tokenuri.

Explozia aplicațiilor de inteligență artificială a generat controverse în jurul acestei tehnologii. La începutul acestui an, El Mahdi, un om de știință senior la Google Research, a demisionat în semn de protest față de lipsa de transparență a gigantului de căutare.

Săptămâna aceasta, CEO-ul OpenAI, Sam Altman, a depus mărturie și în fața Subcomisiei Judiciare a Senatului SUA pentru confidențialitate și tehnologie, în contextul prevalenței tot mai mari a inteligenței artificiale. Acolo, creatorul ChatGPT a fost de acord cu legislatorii că sunt necesare noi reglementări pentru a guverna inteligența artificială.

(Conform CNBC)

Sursă