Kevesebb paraméter, több adat

[hirdetés_1]

A múlt héten bejelentett PaLM 2, a Google legújabb nagyméretű nyelvi modellje (LLM), közel ötször annyi betanítási adatot használ, mint a 2022-es elődje, így lehetővé teszi a programozást, a problémamegoldást és a fejlettebb tartalmak létrehozását.

A Google I/O fejlesztői konferencián a keresőóriás bemutatta a PaLM 2-t – egy 3,6 billió tokenen alapuló nyelvi betanítási modellt. Ezek a tokenek szóláncok – az LLM-tanításban használt építőelemek, amelyek a következőként megjelenő szó előrejelzésére szolgálnak.

A PaLM előző verzióját 2022-ben adták ki, és 780 milliárd tokennel tanították be.

A múlt heti Google I/O rendezvényen Sundar Pichai, a Google vezérigazgatója bemutatta a vállalat legújabb nagy nyelvi modelljét, a PaLM 2-t.

Bár a Google folyamatosan bemutatja a mesterséges intelligencia erejét a keresésben, az e-mailezésben, a szövegszerkesztésben és a táblázatkezelésben, a vállalat vonakodik nyilvánosságra hozni a betanítási adatkészletek méretét vagy részleteit. Az OpenAI a legújabb LLM betanítási paraméterének, a GPT-4-nek az adatait is bizalmasan kezeli.

A technológiai vállalatok ezt üzleti tevékenységük versenyképességével magyarázzák. Mind a Google, mind az OpenAI versenyez azért, hogy a hagyományos keresőmotorok helyett chatbot termékekkel vonzzák a felhasználókat.

Kompakt, nagy teljesítményű és költséghatékony.

A Google kijelentette, hogy a PaLM 2 kompaktabb, mint elődei, mivel 340 milliárd paraméterrel lett betanítva az előző verzió 540 milliárd paraméterével szemben. Ez azt mutatja, hogy a vállalat technológiája egyre hatékonyabbá válik az összetett feladatok végrehajtásában.

Ennek eléréséhez a PaLM 2 egy új, „kiterjesztett számítási optimalizálásnak” nevezett technikát alkalmaz, amely „jobb általános teljesítményt nyújt, beleértve a gyorsabb következtetést kevesebb paraméterrel, ezáltal csökkentve az üzemeltetési költségeket”.

A Google legújabb, több mint 100 nyelven betanított mesterséges intelligencia alapú nyelvi modellje 25 funkció és termék, köztük a kísérleti Bard chatbot számára végez különféle feladatokat. A PaLM 2 méret alapján négy változatban kapható, a legkisebbtől a legnagyobbig: Gecko, Otter, Bison és Unicorn.

Nyilvánosan elérhető dokumentumok szerint a PaLM 2 erősebb, mint bármelyik létező modell. A Facebook LlaMA-ját, amelyet februárban indítottak el, 1,4 billió tokennel képezték ki. Eközben az OpenAI legutóbb a GPT-3 verziónál hozta nyilvánosságra a ChatGPT betanítási adatméretét, 300 milliárd tokennel.

A mesterséges intelligencia alkalmazásai robbanásszerűen terjedtek, és vitákat váltottak ki a technológiával kapcsolatban. Idén év elején El Mahdi, a Google Research vezető tudósa lemondott, tiltakozásul a keresőóriás átláthatatlansága ellen.

Ezen a héten Sam Altman, az OpenAI vezérigazgatója az Egyesült Államok Szenátusának Igazságügyi Albizottsága előtt is tanúvallomást tett az adatvédelemről és a technológiáról a mesterséges intelligencia egyre növekvő elterjedésének kontextusában. Ott a ChatGPT megalkotója egyetértett a törvényhozókkal abban, hogy új szabályozásra van szükség a mesterséges intelligencia irányításához.

Hozzászólás (0)