Penyelidikan baharu mendedahkan rahsia kejayaan DeepSeek

Menurut DeepSeek, model kecerdasan buatan R1 tidak dilatih menggunakan data daripada model OpenAI, walaupun ia mengakui bahawa model asas telah dilatih pada data web - yang boleh termasuk kandungan yang dijana AI.

Model kepintaran buatan DeepSeek R1 syarikat permulaan China - yang mengejutkan pasaran saham AS apabila ia dilancarkan pada Januari - telah diterbitkan dalam kajian semakan rakan sebaya yang pertama, menunjukkan bagaimana ia membangunkan LLM yang berkuasa untuk hanya sekitar $300,000.

R1 direka bentuk untuk cemerlang dalam tugas penaakulan seperti matematik dan pengaturcaraan, menjadikannya saingan kos rendah untuk alat yang dibangunkan oleh gergasi teknologi AS.

Ini ialah model "berat terbuka", yang percuma untuk dimuat turun dan kini merupakan model paling popular pada platform Hugging Face, dengan lebih 10.9 juta muat turun.

Kajian Alam Semulajadi, kemas kini manuskrip Januari, pertama kali mendedahkan bahawa latihan R1 hanya berharga $294,000, sebagai tambahan kepada kira-kira $6 juta yang dibelanjakan untuk membina model asas.

Angka ini jauh lebih rendah daripada berpuluh-puluh juta dolar yang dikatakan telah dibelanjakan oleh pesaing.

DeepSeek berkata R1 dilatih terutamanya menggunakan cip Nvidia H800, yang telah diharamkan oleh AS daripada mengeksport ke China sejak 2023.

Kejayaan R1 ialah penggunaan "pembelajaran tetulang tulen", di mana model itu dilatih secara percubaan dan kesilapan dan diberi ganjaran untuk jawapan yang betul, dan bukannya belajar daripada contoh yang dipilih oleh manusia. Ia juga menjaringkan usahanya sendiri menggunakan anggaran dalaman, teknik yang dipanggil "pengoptimuman dasar kumpulan relatif," yang membantu meningkatkan prestasi.

"Proses semakan rakan sebaya yang ketat membantu mengesahkan nilai dan kebolehpercayaan model," kata penyelidik Huan Sun (Ohio State University). "Firma lain harus melakukan perkara yang sama."

Lewis Tunstall, seorang jurutera pembelajaran mesin di Hugging Face, berkata ini adalah preseden penting kerana ketelusan dalam pembangunan AI membantu menilai risiko dengan lebih tepat.

DeepSeek mendakwa R1 tidak dilatih menggunakan data daripada model OpenAI, walaupun ia mengakui model asas telah dilatih pada data web — yang mungkin termasuk kandungan yang dijana AI.

Pakar mengatakan bahawa walaupun sukar untuk mengesahkan secara mutlak, bukti semasa menunjukkan bahawa peningkatan tulen adalah mencukupi untuk mencapai prestasi tinggi.

Pada ujian ScienceAgentBench, R1 tidak mendahului carta ketepatan, tetapi ia mencapai keseimbangan yang baik antara kecekapan dan kos. Para penyelidik kini sedang mencari untuk menggunakan kaedah DeepSeek untuk meningkatkan keupayaan penaakulan LLM sedia ada, serta memperluaskannya ke kawasan di luar matematik dan pengaturcaraan.

Menurut Encik Tunstall, R1 telah "memulakan revolusi" dalam pembangunan kecerdasan buatan./.

(TTXVN/Vietnam+)

Sumber: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp