Noi cercetări dezvăluie secretul succesului DeepSeek

Modelul de inteligență artificială R1 al startup-ului chinez DeepSeek – care a șocat piața bursieră din SUA la lansarea sa în ianuarie – a fost publicat în primul studiu evaluat de colegi, arătând cum a dezvoltat un LLM puternic pentru doar aproximativ 300.000 de dolari.

R1 este conceput să exceleze în sarcini de raționament precum matematica și programarea, ceea ce îl face un rival cu costuri reduse pentru instrumentele dezvoltate de giganții tehnologici americani.

Acesta este un model „cu greutate deschisă”, care poate fi descărcat gratuit și este în prezent cel mai popular model de pe platforma Hugging Face, cu peste 10,9 milioane de descărcări.

Studiul Nature, o actualizare a unui manuscris din ianuarie, a dezvăluit pentru prima dată că antrenamentul R1 a costat doar 294.000 de dolari, pe lângă aproximativ 6 milioane de dolari cheltuiți pentru construirea modelului de bază.

Această cifră este mult mai mică decât zecile de milioane de dolari pe care se spune că le-ar fi cheltuit concurenții.

DeepSeek a declarat că R1 a fost antrenat în principal folosind cipuri Nvidia H800, al căror export în China a fost interzis de SUA din 2023.

Descoperirea revoluționară a R1 a constat în utilizarea „învățării pure prin consolidare”, în care modelul este antrenat prin încercări și erori și recompensat pentru răspunsuri corecte, în loc să învețe din exemple alese de oameni. De asemenea, își evaluează propriile eforturi folosind estimări interne, o tehnică numită „optimizare relativă a politicilor de grup”, care ajută la creșterea performanței.

„Procesul riguros de evaluare inter pares ajută la validarea valorii și fiabilității modelului”, spune cercetătorul Huan Sun (Universitatea de Stat din Ohio). „Și alte firme ar trebui să facă același lucru.”

Lewis Tunstall, inginer specializat în învățare automată la Hugging Face, a declarat că acesta este un precedent important, deoarece transparența în dezvoltarea inteligenței artificiale ajută la evaluarea mai precisă a riscurilor.

DeepSeek susține că R1 nu a fost antrenat folosind date din modelele OpenAI, deși admite că modelul subiacent a fost antrenat pe date web - care ar putea include conținut generat de inteligența artificială.

Experții spun că, deși este dificil de verificat în mod absolut, dovezile actuale sugerează că simpla îmbunătățire este suficientă pentru a obține performanțe ridicate.

În testul ScienceAgentBench, R1 nu a ocupat primul loc în clasamentul preciziei, dar a atins un echilibru bun între eficiență și cost. Cercetătorii doresc acum să aplice metoda DeepSeek pentru a îmbunătăți capacitățile de raționament ale LLM-urilor existente, precum și pentru a o extinde în domenii dincolo de matematică și programare.

Potrivit domnului Tunstall, R1 a „demarat o revoluție” în dezvoltarea inteligenței artificiale.

(TTXVN/Vietnam+)

Sursă: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp