Ny forskning avslører hemmeligheten bak DeepSeeks suksess

Ifølge DeepSeek ble ikke R1-modellen for kunstig intelligens trent ved hjelp av data fra OpenAIs modell, selv om de erkjente at basismodellen ble trent på nettdata – som kunne inkludere AI-generert innhold.

Den kinesiske oppstartsbedriften DeepSeeks R1-modell for kunstig intelligens – som sjokkerte det amerikanske aksjemarkedet da den ble lansert i januar – har blitt publisert i den første fagfellevurderte studien, som viser hvordan de utviklet en kraftig LLM for bare rundt 300 000 dollar.

R1 er designet for å utmerke seg i resonneringsoppgaver som matematikk og programmering, noe som gjør den til en rimelig konkurrent til verktøy utviklet av amerikanske teknologigiganter.

Dette er en modell med «åpen vekt» som er gratis å laste ned, og som for øyeblikket er den mest populære modellen på Hugging Face-plattformen, med over 10,9 millioner nedlastinger.

Nature-studien, en oppdatering av et manuskript fra januar, avslørte først at opplæring av R1 bare kostet 294 000 dollar, i tillegg til omtrent 6 millioner dollar brukt på å bygge basismodellen.

Dette tallet er mye lavere enn de titalls millioner dollarene som konkurrentene skal ha brukt.

DeepSeek sa at R1 primært ble trent ved hjelp av Nvidia H800-brikker, som USA har forbudt å eksportere til Kina siden 2023.

R1s gjennombrudd var bruken av «ren forsterkningslæring», der modellen trenes på prøving og feiling og belønnes for riktige svar, i stedet for å lære fra eksempler valgt av mennesker. Den scorer også sin egen innsats ved hjelp av interne estimater, en teknikk som kalles «relativ gruppepolicyoptimalisering», som bidrar til å forbedre ytelsen.

«Den grundige fagfellevurderingsprosessen bidrar til å validere modellens verdi og pålitelighet», sier forsker Huan Sun (Ohio State University). «Andre firmaer burde gjøre det samme.»

Lewis Tunstall, en maskinlæringsingeniør hos Hugging Face, sa at dette er en viktig presedens fordi åpenhet i AI-utvikling bidrar til å vurdere risikoer mer nøyaktig.

DeepSeek hevder at R1 ikke ble trent ved hjelp av data fra OpenAIs modeller, selv om de innrømmer at den underliggende modellen ble trent på nettdata – som kan inkludere AI-generert innhold.

Eksperter sier at selv om det er vanskelig å bekrefte absolutt, tyder nåværende bevis på at ren forbedring er tilstrekkelig for å oppnå høy ytelse.

På ScienceAgentBench-testen toppet ikke R1 nøyaktighetslisten, men den fant en god balanse mellom effektivitet og kostnad. Forskerne ønsker nå å bruke DeepSeeks metode for å forbedre resonneringsevnen til eksisterende LLM-er, samt utvide den til områder utover matematikk og programmering.

Ifølge Tunstall har R1 «startet en revolusjon» innen utvikling av kunstig intelligens.

(TTXVN/Vietnam+)

Kilde: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp