Málo parametrů, spousta dat

PaLM 2, nejnovější model pro velké jazyky (LLM) od Googlu, oznámený minulý týden, využívá téměř pětkrát více trénovacích dat než jeho předchůdce z roku 2022, což mu umožňuje pokročilejší programování, matematiku a tvorbu obsahu.

Na konferenci vývojářů Google I/O tento vyhledávací gigant představil PaLM 2 – jazykový model trénovaný na 3,6 bilionu tokenů. Tyto tokeny jsou sekvence slov – stavební bloky používané k trénování LLM k predikci dalšího slova.

Předchozí verze PaLM byla vydána v roce 2022 a bylo do ní vydáno 780 miliard tokenů.

Generální ředitel společnosti Google Sundar Pichai na minulý týden na konferenci Google I/O představil nejnovější model velkých programovacích jazyků společnosti PaLM 2.

Ačkoli Google vychvaluje své schopnosti v oblasti umělé inteligence ve vyhledávání, e-mailu, zpracování textu a tabulek, společnost se zdráhá odhalit velikost ani podrobnosti o svých trénovacích datových sadách. OpenAI také utajuje podrobnosti o své nejnovější trénovací specifikaci LLM, GPT-4.

Technologické společnosti připisují důvod konkurenční povaze svých podniků. Google i OpenAI se předhánějí v přilákání uživatelů pomocí chatbotů namísto tradičních vyhledávačů.

Kompaktní, výkonný, cenově dostupný

Google uvádí, že PaLM 2 je menší než jeho předchůdci a je trénován s 340 miliardami parametrů, oproti 540 miliardám parametrů u předchozí verze. To ukazuje, že technologie společnosti se stává efektivnější při provádění složitých úkolů.

K dosažení tohoto cíle používá PaLM 2 novou techniku ​​zvanou „rozšířená výpočetní optimalizace“, která poskytuje „lepší celkový výkon, včetně rychlejší inference s menším počtem parametrů, což snižuje režijní náklady“.

Nejnovější model umělé inteligence od Googlu, trénovaný ve více než 100 jazycích, provádí řadu úkolů pro 25 funkcí a produktů, včetně experimentálního chatbota Bard. PaLM 2 se dodává ve čtyřech verzích podle velikosti, od nejmenší po největší: Gekon, Vydra, Bizon a Jednorožec.

Podle veřejné dokumentace je PaLM 2 výkonnější než jakýkoli existující model. LlaMA od Facebooku, vydaná v únoru, byla trénována na 1,4 bilionu tokenů. Mezitím OpenAI naposledy veřejně zveřejnila velikost trénovacích dat pro ChatGPT, verzi GPT-3, s 300 miliardami tokenů.

Exploze aplikací umělé inteligence vyvolala kolem této technologie kontroverze. Začátkem tohoto roku rezignoval El Mahdi El Mhamdi, vedoucí vědecký pracovník společnosti Google Research, na protest proti nedostatečné transparentnosti vyhledávacího giganta.

Tento týden generální ředitel společnosti OpenAI Sam Altman také svědčil před podvýborem pro soukromí a technologie amerického Senátu v kontextu rostoucí popularity umělé inteligence, kde „otec“ ChatGPT souhlasil s legislativci, že pro řízení umělé inteligence jsou zapotřebí nové regulace.

(Podle CNBC)

Zdroj: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html