Model umělé inteligence R1 od čínského startupu DeepSeek, který při svém spuštění v lednu způsobil rozruch na americkém akciovém trhu, byl odhalen v recenzované studii, která ukazuje, jak společnost vyvinula výkonný LLM za cenu pouhých zhruba 300 000 dolarů.
Model R1 byl navržen tak, aby vynikal v úlohách uvažování, jako je matematika a programování, a stal se tak nízkonákladovým konkurentem nástrojů vyvinutých americkými technologickými korporacemi.
Jedná se o model s „otevřenou váhou“, který je k dispozici ke stažení zdarma a v současné době je nejoblíbenějším modelem na platformě Hugging Face s více než 10,9 miliony stažení.
Aktualizovaná studie v časopise Nature, založená na lednovém rukopisu, poprvé odhaluje, že náklady na trénování R1 činily pouze 294 000 dolarů, kromě přibližně 6 milionů dolarů za vytvoření podkladového modelu.
Toto číslo je výrazně nižší než desítky milionů dolarů, které podle odhadů utratili konkurenti.
DeepSeek uvádí, že R1 byl trénován primárně s využitím čipu Nvidia H800 – typu, jehož vývoz do Číny USA zakázaly od roku 2023.
Průlom R1 spočívá v aplikaci metody „čistého posilovacího učení“, což znamená, že model je metodou pokus-omyl odměňován za poskytnutí správných odpovědí, místo aby se učil z příkladů vybraných člověkem. Model také sám hodnotí své úsilí pomocí interního odhadu, techniky zvané „relativní optimalizace skupinových politik“, která zvyšuje efektivitu.
Podle výzkumníka Huana Suna (Ohio State University) „důkladný proces vzájemného hodnocení pomáhá ověřit hodnotu a spolehlivost modelu. Ostatní společnosti by měly udělat totéž.“
Lewis Tunstall, inženýr strojového učení ve společnosti Hugging Face, se domnívá, že to vytváří důležitý precedens, protože transparentnost ve vývoji umělé inteligence pomáhá přesněji posuzovat rizika.
DeepSeek tvrdí, že R1 nebyl trénován s využitím dat z modelů OpenAI, ačkoli uznává, že základní model byl trénován na webových datech – která mohou zahrnovat obsah generovaný umělou inteligencí.
Odborníci se domnívají, že i když je obtížné to definitivně ověřit, současné důkazy naznačují, že k dosažení vysokého výkonu postačují pouze metody vylepšování.
V benchmarku ScienceAgentBench se R1 neumístil na prvním místě v přesnosti, ale dosáhl dobré rovnováhy mezi efektivitou a náklady. Výzkumníci se nyní snaží aplikovat metodu DeepSeek k vylepšení schopností uvažování stávajících LLM a také ji rozšířit do oblastí nad rámec matematiky a programování.
Podle Tunstalla R1 „zahájila revoluci“ ve vývoji umělé inteligence.
Zdroj: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp
Komentář (0)