Školení DeepSeek je levné, nyní je k dispozici ještě levnější inference

Výzkumníci ze společnosti DeepSeek oznámili nový experimentální model s názvem V3.2-exp, který je navržen tak, aby výrazně snížil náklady na inferenci při použití v operacích s dlouhým kontextem.

DeepSeek oznámil model v příspěvku na Hugging Face a také zveřejnil odkaz na akademický článek na GitHubu.

Nejdůležitější funkcí komplexního nového modelu se nazývá DeepSeek Sparse Attention. Systém v podstatě používá modul zvaný „lightning indexer“ k upřednostnění konkrétních výňatků z kontextového okna.

DeepSeek oznamuje nákladově efektivní inferenční model.

Samostatný systém nazývaný „systém jemnozrnného výběru tokenů“ poté vybírá z těchto úryvků konkrétní tokeny, které se načtou do omezeného okna pozornosti modulu. Dohromady umožňují modelům řídké pozornosti pracovat s dlouhými úseky kontextu s relativně malým zatížením serveru.

Pro operace s dlouhým kontextem jsou výhody systému značné. Předběžné testování DeepSeeku ukazuje, že náklady na jednoduché volání inferenční funkce (API) lze v dlouhodobých kontextových scénářích snížit až na polovinu.

Pro vytvoření robustnějšího hodnocení je zapotřebí dalšího testování, ale vzhledem k tomu, že model je otevřený a volně dostupný na Hugging Face, nemělo by trvat dlouho, než budou moci testy třetích stran vyhodnotit tvrzení v článku.

Na rozdíl od jiných modelů AI Chatbotů, které spotřebovávají hodně energie, DeepSeek jde směrem k úspoře nákladů od školení až po provoz.

Nový model společnosti DeepSeek je jedním z řady nedávných průlomů, které řeší problém nákladů na inferenci – v podstatě jde o náklady na server spojené s provozem předtrénovaného modelu umělé inteligence, na rozdíl od nákladů na jeho trénování.

V případě DeepSeeku hledali vědci způsoby, jak zefektivnit základní architekturu transformátoru – a zjistili, že je třeba provést významná vylepšení.

Společnost DeepSeek se sídlem v Číně je v šílenství kolem umělé inteligence neobvyklou postavou, zejména pro ty, kteří vnímají výzkum v oblasti umělé inteligence jako konkurenci mezi USA a Čínou. Společnost letos udělala velký rozruch se svým modelem R1, který je trénován primárně pomocí posilovacího učení za mnohem nižší cenu než jeho američtí konkurenti.

Model však nedokázal nastartovat totální revoluci v oblasti školení umělé inteligence, kterou někteří předpovídali, a společnost se v následujících měsících pomalu stáhla z centra pozornosti.

Nový přístup „řídké pozornosti“ pravděpodobně nezpůsobí tolik pobouření jako R1 – ale i tak by mohl naučit americké poskytovatele služeb některým tolik potřebným trikům, které pomohou udržet nízké náklady na inferenci.

https://techcrunch.com/2025/09/29/deepseek-releases-sparse-attention-model-that-cuts-api-costs-in-half/

Zdroj: https://khoahocdoisong.vn/deepseek-dao-tao-da-re-nay-con-co-ban-suy-luan-re-hon-post2149057353.html