Instruirea DeepSeek este ieftină, acum există inferențe și mai ieftine

Cercetătorii de la DeepSeek au anunțat un nou model experimental numit V3.2-exp, conceput pentru a reduce semnificativ costul inferenței atunci când este utilizat în operațiuni cu context lung.

DeepSeek a anunțat modelul într-o postare pe Hugging Face și a publicat, de asemenea, o lucrare academică legată de acesta pe GitHub.

Cea mai importantă caracteristică a noului model complex se numește DeepSeek Sparse Attention. În esență, sistemul folosește un modul numit „indexator fulger” pentru a prioritiza fragmente specifice din fereastra contextuală.

DeepSeek anunță un model de inferență rentabil.

Un sistem separat, numit „sistem de selecție a jetoanelor cu granulație fină”, selectează apoi jetoane specifice din acele fragmente pentru a le încărca în fereastra de atenție limitată a modulului. Combinate, acestea permit modelelor de atenție dispersată să opereze pe porțiuni lungi de context cu o încărcare relativ mică a serverului.

Pentru operațiunile în context lung, beneficiile sistemului sunt semnificative. Testele preliminare ale DeepSeek arată că, în scenariile cu context lung, costul unui apel simplu al funcției de inferență (API) poate fi redus cu până la jumătate.

Sunt necesare teste suplimentare pentru a construi o evaluare mai robustă, dar, din moment ce modelul este deschis și disponibil gratuit pe Hugging Face, nu ar trebui să dureze mult până când testele terțe vor putea evalua afirmațiile din lucrare.

Spre deosebire de alte modele de Chatbot cu inteligență artificială care consumă multă energie, DeepSeek merge în direcția economisirii costurilor de la instruire la operare.

Noul model al DeepSeek face parte dintr-o serie de descoperiri recente care abordează problema costului inferenței - în esență, costul serverului pentru rularea unui model de inteligență artificială pre-antrenat, spre deosebire de costul antrenării acestuia.

În cazul DeepSeek, cercetătorii căutau modalități de a face arhitectura de bază a transformatorului mai eficientă și au descoperit că este nevoie de îmbunătățiri semnificative.

Cu sediul în China, DeepSeek este o figură neobișnuită în nebunia inteligenței artificiale, mai ales pentru cei care văd cercetarea în domeniul inteligenței artificiale ca pe o competiție între SUA și China. Compania a făcut furori la începutul acestui an cu modelul său R1, antrenat în principal folosind învățarea prin consolidare la un cost mult mai mic decât concurenții săi americani.

Cu toate acestea, modelul nu a reușit să declanșeze revoluția la scară largă în instruirea în domeniul inteligenței artificiale, așa cum au prezis unii, iar compania s-a retras încet din lumina reflectoarelor în lunile care au urmat.

Noua abordare bazată pe „atenție redusă” este puțin probabil să provoace la fel de multă indignare ca R1 — dar ar putea totuși să le ofere furnizorilor de servicii din SUA câteva trucuri extrem de necesare pentru a menține costurile inferențelor la un nivel scăzut.

https://techcrunch.com/2025/09/29/deepseek-releases-sparse-attention-model-that-cuts-api-costs-in-half/

Sursă: https://khoahocdoisong.vn/deepseek-dao-tao-da-re-nay-con-co-ban-suy-luan-re-hon-post2149057353.html