Málo parametrů, spousta dat

PaLM 2, nejnovější model pro velké jazyky (LLM) od Googlu, který byl oznámen minulý týden, využívá téměř pětkrát více trénovacích dat než jeho předchůdce z roku 2022, což mu umožňuje pokročilejší programování, matematiku a tvorbu obsahu.

Na konferenci Google I/O Developer Conference tento vyhledávací gigant představil PaLM 2 – jazykový model trénovaný na 3,6 bilionu tokenů. Tyto tokeny jsou sekvence slov – stavební bloky používané k trénování LLM k predikci dalšího slova.

Předchozí verze PaLM byla vydána v roce 2022 a bylo do ní vydáno 780 miliard tokenů.

Generální ředitel Googlu Sundar Pichai na minulý týden na konferenci Google I/O představil nejnovější model pro velké jazyky společnosti PaLM 2.

Ačkoli Google vychvaluje své schopnosti v oblasti umělé inteligence ve vyhledávání, e-mailu, zpracování textu a tabulek, společnost se zdráhá zveřejnit velikost ani podrobnosti o svých trénovacích datových sadách. OpenAI také tají podrobnosti o svém nejnovějším trénovacím algoritmu LLM, GPT-4.

Technologické společnosti to připisují konkurenční povaze svých podniků. Google i OpenAI se předhánějí v přilákání uživatelů pomocí chatbotů namísto tradičních vyhledávačů.

Kompaktní, výkonný, cenově dostupný

Google uvádí, že PaLM 2 je menší než jeho předchůdci a trénuje s 340 miliardami parametrů oproti 540 miliardám u předchozí verze. To ukazuje, že technologie společnosti se stává efektivnější při provádění složitých úkolů.

K dosažení tohoto cíle používá PaLM 2 novou techniku zvanou „rozšířená výpočetní optimalizace“, která poskytuje „lepší celkový výkon, včetně rychlejší inference s menším počtem parametrů, což snižuje režijní náklady“.

Nejnovější model umělé inteligence od Googlu, trénovaný ve více než 100 jazycích, provádí řadu úkolů pro 25 funkcí a produktů, včetně experimentálního chatbota Bard. PaLM 2 se dodává ve čtyřech verzích podle velikosti, od nejmenší po největší: Gekon, Vydra, Bizon a Jednorožec.

Podle veřejné dokumentace je PaLM 2 výkonnější než jakýkoli existující model. LlaMA od Facebooku, vydaná v únoru, byla trénována na 1,4 bilionu tokenů. Mezitím OpenAI naposledy veřejně zveřejnila velikost trénovacích dat pro ChatGPT, verzi GPT-3, s 300 miliardami tokenů.

Exploze aplikací umělé inteligence vyvolala kolem této technologie kontroverze. Začátkem tohoto roku rezignoval El Mahdi El Mhamdi, vedoucí vědecký pracovník ve společnosti Google Research, na protest proti nedostatečné transparentnosti vyhledávacího giganta.

Tento týden generální ředitel společnosti OpenAI Sam Altman také svědčil před podvýborem pro soukromí a technologie amerického Senátu v kontextu stále většího rozšíření umělé inteligence, kde „otec“ ChatGPT souhlasil s legislativci, že pro řízení umělé inteligence jsou zapotřebí nové regulace.

(Podle CNBC)

Zdroj