Méně parametrů, více dat

PaLM 2, nejnovější model velkých jazyků (LLM) od Googlu, oznámený minulý týden, využívá téměř pětkrát více trénovacích dat ve srovnání se svým předchůdcem z roku 2022, což mu umožňuje programovat, řešit problémy a vytvářet pokročilejší obsah.

Na vývojářské konferenci Google I/O představil vyhledávací gigant PaLM 2 – model jazykového tréninku založený na 3,6 bilionu tokenů. Tyto tokeny jsou řetězce slov – stavební bloky používané v trénování LLM k předpovídání dalšího slova, které se objeví.

Předchozí verze PaLM byla vydána v roce 2022 a byla natrénována s využitím 780 miliard tokenů.

Na minulý týdenní akci Google I/O představil generální ředitel Googlu Sundar Pichai nejnovější model programovacích jazyků společnosti PaLM 2.

Přestože Google neustále předvádí sílu umělé inteligence ve vyhledávání, e-mailu, zpracování textu a tabulkových procesorů, společnost se zdráhá zveřejnit velikost nebo podrobnosti o svých trénovacích datových sadách. OpenAI také uchovává podrobnosti o svém nejnovějším trénovacím parametru LLM, GPT-4, v tajnosti.

Technologické společnosti to vysvětlují konkurenční povahou svého podnikání. Google i OpenAI se předhánějí v přilákání uživatelů pomocí chatbotů namísto tradičních vyhledávačů.

Kompaktní, výkonný a cenově dostupný.

Google uvedl, že PaLM 2 je kompaktnější než jeho předchůdci, jelikož byl trénován s 340 miliardami parametrů oproti 540 miliardám parametrů v předchozí verzi. To ukazuje, že technologie společnosti se stává efektivnější při provádění složitých úkolů.

K dosažení tohoto cíle používá PaLM 2 novou techniku zvanou „rozšířená výpočetní optimalizace“, která poskytuje „lepší celkový výkon, včetně rychlejší inference s menším počtem parametrů, a tím snižuje provozní náklady“.

Nejnovější jazykový model umělé inteligence od Googlu, trénovaný ve více než 100 jazycích, provádí různé úkoly pro 25 funkcí a produktů, včetně experimentálního chatbota Bard. PaLM 2 se dodává ve čtyřech verzích podle velikosti, od nejmenší po největší: Gekon, Vydra, Bizon a Jednorožec.

Podle veřejně dostupných dokumentů je PaLM 2 výkonnější než jakýkoli existující model. LlaMA od Facebooku, spuštěná v únoru, byla trénována na 1,4 bilionu tokenů. Mezitím OpenAI naposledy veřejně zveřejnila velikost trénovacích dat pro ChatGPT u verze GPT-3 s 300 miliardami tokenů.

Exploze aplikací umělé inteligence vyvolala kolem této technologie kontroverze. Začátkem tohoto roku rezignoval El Mahdi, vedoucí vědecký pracovník společnosti Google Research, na protest proti nedostatečné transparentnosti vyhledávacího giganta.

Tento týden generální ředitel společnosti OpenAI Sam Altman také svědčil před justičním podvýborem Senátu USA o ochraně soukromí a technologiích v kontextu rostoucího rozšíření umělé inteligence. Tvůrce ChatGPT tam souhlasil s legislativci, že je zapotřebí nová regulace pro řízení umělé inteligence.

(Podle CNBC)

Zdroj