Kevés paraméter, sok adat

[hirdetés_1]

A PaLM 2, a Google legújabb nagyméretű nyelvi modellje (LLM), amelyet a múlt héten jelentettek be, közel ötször annyi betanítási adatot használ, mint a 2022-es elődje, így fejlettebb programozási, matematikai és tartalomkészítési feladatokat tud végezni.

A Google I/O fejlesztői konferencián a keresőóriás bemutatta a PaLM 2-t, egy 3,6 billió tokenen képzett nyelvi modellt. Ezek a tokenek szósorozatok – az LLM következő szó előrejelzésére való betanításának építőelemei.

A PaLM előző verzióját 2022-ben adták ki, és 780 milliárd tokennel verték.

Sundar Pichai, a Google vezérigazgatója a múlt heti Google I/O rendezvényen mutatta be a vállalat legújabb nagyméretű nyelvi modelljét, a PaLM 2-t.

Miközben a Google a keresés, az e-mail, a szövegszerkesztés és a táblázatkezelés terén szerzett mesterséges intelligencia-képességeit dicsekedett, a vállalat vonakodott nyilvánosságra hozni a betanítási adatkészletek méretét vagy részleteit. Az OpenAI a legújabb LLM betanítási algoritmusának, a GPT-4-nek a részleteit is titokban tartja.

A techcégek az okot üzleti tevékenységük versenyképességében látják. Mind a Google, mind az OpenAI versenyez azért, hogy a hagyományos keresőmotorok helyett chatbotokkal vonzzák a felhasználókat.

Kompakt, nagy teljesítményű, költséghatékony

A Google szerint a PaLM 2 kisebb, mint elődei, és 340 milliárd paraméterrel képes betanítani a rendszert az előző verzió 540 milliárdjával szemben. Ez azt mutatja, hogy a vállalat technológiája egyre hatékonyabbá válik az összetett feladatok végrehajtásában.

Ennek eléréséhez a PaLM 2 egy új, „kiterjesztett számítási optimalizálásnak” nevezett technikát használ, amely „jobb általános teljesítményt nyújt, beleértve a gyorsabb következtetést kevesebb paraméterrel, ami csökkenti a terhelést”.

A Google legújabb, több mint 100 nyelven betanított nyelvi mesterséges intelligencia modellje 25 funkció és termék számára végez különféle feladatokat, beleértve a kísérleti Bard chatbotot is. A PaLM 2 méret alapján négy változatban kapható, a legkisebbtől a legnagyobbig: Gecko, Otter, Bison és Unicorn.

A nyilvános dokumentáció szerint a PaLM 2 erősebb, mint bármelyik létező modell. A Facebook februárban kiadott LlaMA-ját 1,4 billió tokennel képezték ki. Eközben az OpenAI legutóbb nyilvánosan nyilvánosságra hozta a GPT-3 egy verziójának, a ChatGPT-nek a betanítási adatméretét, amely 300 milliárd tokent tartalmaz.

A mesterséges intelligencia alkalmazásai robbanásszerűen terjedtek, és vitákat váltottak ki a technológiával kapcsolatban. Idén év elején El Mahdi El Mhamdi, a Google Research vezető tudósa lemondott, tiltakozásul a keresőóriás átláthatóságának hiánya miatt.

Ezen a héten Sam Altman, az OpenAI vezérigazgatója az amerikai szenátus igazságügyi albizottsága előtt is tanúvallomást tett az adatvédelemmel és a technológiával kapcsolatban a mesterséges intelligencia egyre szélesebb körű elterjedésének kontextusában, ahol a ChatGPT „atyja” egyetértett a törvényhozókkal abban, hogy új szabályozásra van szükség a mesterséges intelligencia irányításához.

(A CNBC szerint)

[hirdetés_2]
Forrás