Penelitian baru mengungkap rahasia kesuksesan DeepSeek

Model kecerdasan buatan R1 dari perusahaan rintisan Tiongkok DeepSeek – yang menggemparkan pasar saham AS saat diluncurkan pada bulan Januari – telah dipublikasikan dalam studi peer-review pertama, yang menunjukkan bagaimana perusahaan tersebut mengembangkan LLM yang canggih hanya dengan biaya sekitar $300.000.

R1 dirancang untuk unggul dalam tugas-tugas penalaran seperti matematika dan pemrograman, menjadikannya pesaing berbiaya rendah bagi alat yang dikembangkan oleh raksasa teknologi AS.

Ini adalah model “berat terbuka” yang dapat diunduh secara gratis dan saat ini merupakan model paling populer di platform Hugging Face, dengan lebih dari 10,9 juta unduhan.

Studi Nature, pembaruan naskah bulan Januari, pertama kali mengungkapkan bahwa pelatihan R1 hanya menghabiskan biaya $294.000, selain sekitar $6 juta yang dihabiskan untuk membangun model dasar.

Angka ini jauh lebih rendah dibandingkan puluhan juta dolar yang dikatakan telah dikeluarkan para pesaingnya.

DeepSeek mengatakan R1 dilatih terutama menggunakan chip Nvidia H800, yang telah dilarang diekspor oleh AS ke China sejak 2023.

Terobosan R1 adalah penggunaan "pembelajaran penguatan murni", di mana model dilatih melalui uji coba dan diberi penghargaan atas jawaban yang benar, alih-alih belajar dari contoh yang dipilih manusia. R1 juga menilai upayanya sendiri menggunakan estimasi internal, sebuah teknik yang disebut "optimasi kebijakan grup relatif", yang membantu meningkatkan kinerja.

“Proses peninjauan sejawat yang ketat membantu memvalidasi nilai dan keandalan model,” ujar peneliti Huan Sun (Universitas Negeri Ohio). “Perusahaan lain seharusnya melakukan hal yang sama.”

Lewis Tunstall, seorang insinyur pembelajaran mesin di Hugging Face, mengatakan ini adalah preseden penting karena transparansi dalam pengembangan AI membantu menilai risiko secara lebih akurat.

DeepSeek mengklaim R1 tidak dilatih menggunakan data dari model OpenAI, meskipun mengakui model yang mendasarinya dilatih pada data web — yang dapat mencakup konten yang dihasilkan AI.

Para ahli mengatakan bahwa meskipun sulit untuk memverifikasi secara mutlak, bukti saat ini menunjukkan bahwa peningkatan murni cukup untuk mencapai kinerja tinggi.

Pada uji ScienceAgentBench, R1 tidak memuncaki daftar akurasi, tetapi mencapai keseimbangan yang baik antara efisiensi dan biaya. Para peneliti kini berupaya menerapkan metode DeepSeek untuk meningkatkan kemampuan penalaran LLM yang ada, serta memperluasnya ke bidang-bidang di luar matematika dan pemrograman.

Menurut Tuan Tunstall, R1 telah “memulai sebuah revolusi” dalam pengembangan kecerdasan buatan.

(TTXVN/Vietnam+)

Sumber: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp