Νέα έρευνα αποκαλύπτει το μυστικό της επιτυχίας του DeepSeek

Σύμφωνα με το DeepSeek, το μοντέλο τεχνητής νοημοσύνης R1 δεν εκπαιδεύτηκε χρησιμοποιώντας δεδομένα από το μοντέλο του OpenAI, αν και παραδέχτηκε ότι το βασικό μοντέλο εκπαιδεύτηκε σε δεδομένα ιστού - τα οποία θα μπορούσαν να περιλαμβάνουν περιεχόμενο που δημιουργείται από τεχνητή νοημοσύνη.

Το μοντέλο τεχνητής νοημοσύνης R1 της κινεζικής νεοσύστατης εταιρείας DeepSeek – το οποίο σόκαρε την αμερικανική χρηματιστηριακή αγορά όταν κυκλοφόρησε τον Ιανουάριο – δημοσιεύθηκε στην πρώτη μελέτη με αξιολόγηση από ομοτίμους, δείχνοντας πώς ανέπτυξε ένα ισχυρό LLM για μόλις 300.000 δολάρια.

Το R1 έχει σχεδιαστεί για να διαπρέπει σε εργασίες συλλογισμού όπως τα μαθηματικά και ο προγραμματισμός, καθιστώντας το έναν οικονομικό ανταγωνιστή σε εργαλεία που αναπτύσσονται από αμερικανικούς τεχνολογικούς κολοσσούς.

Πρόκειται για ένα μοντέλο «ανοιχτού βάρους», το οποίο είναι δωρεάν για λήψη και είναι αυτήν τη στιγμή το πιο δημοφιλές μοντέλο στην πλατφόρμα Hugging Face, με πάνω από 10,9 εκατομμύρια λήψεις.

Η μελέτη του Nature, μια ενημέρωση ενός χειρογράφου του Ιανουαρίου, αποκάλυψε για πρώτη φορά ότι η εκπαίδευση R1 κόστισε μόλις 294.000 δολάρια, επιπλέον των περίπου 6 εκατομμυρίων δολαρίων που δαπανήθηκαν για την κατασκευή του βασικού μοντέλου.

Αυτό το ποσό είναι πολύ χαμηλότερο από τις δεκάδες εκατομμύρια δολάρια που λέγεται ότι έχουν ξοδέψει οι ανταγωνιστές.

Η DeepSeek δήλωσε ότι ο R1 εκπαιδεύτηκε κυρίως χρησιμοποιώντας τσιπ Nvidia H800, των οποίων οι ΗΠΑ έχουν απαγορεύσει την εξαγωγή στην Κίνα από το 2023.

Η σημαντική ανακάλυψη του R1 ήταν η χρήση της «καθαρής ενισχυτικής μάθησης», όπου το μοντέλο εκπαιδεύεται με βάση τη μέθοδο δοκιμής και λάθους και ανταμείβεται για τις σωστές απαντήσεις, αντί να μαθαίνει από παραδείγματα που επιλέγονται από ανθρώπους. Επίσης, βαθμολογεί τις δικές του προσπάθειες χρησιμοποιώντας εσωτερικές εκτιμήσεις, μια τεχνική που ονομάζεται «βελτιστοποίηση σχετικής πολιτικής ομάδας», η οποία βοηθά στην ενίσχυση της απόδοσης.

«Η αυστηρή διαδικασία αξιολόγησης από ομοτίμους βοηθά στην επικύρωση της αξίας και της αξιοπιστίας του μοντέλου», λέει ο ερευνητής Huan Sun (Πανεπιστήμιο του Οχάιο). «Και άλλες εταιρείες θα πρέπει να κάνουν το ίδιο».

Ο Lewis Tunstall, μηχανικός μηχανικής μάθησης στην Hugging Face, δήλωσε ότι αυτό αποτελεί σημαντικό προηγούμενο, επειδή η διαφάνεια στην ανάπτυξη της Τεχνητής Νοημοσύνης βοηθά στην ακριβέστερη αξιολόγηση των κινδύνων.

Το DeepSeek ισχυρίζεται ότι το R1 δεν εκπαιδεύτηκε χρησιμοποιώντας δεδομένα από τα μοντέλα του OpenAI, αν και παραδέχεται ότι το υποκείμενο μοντέλο εκπαιδεύτηκε σε δεδομένα ιστού — τα οποία θα μπορούσαν να περιλαμβάνουν περιεχόμενο που δημιουργείται από τεχνητή νοημοσύνη.

Οι ειδικοί λένε ότι, ενώ είναι δύσκολο να επαληθευτεί απόλυτα, τα τρέχοντα στοιχεία υποδηλώνουν ότι η καθαρή βελτίωση είναι επαρκής για την επίτευξη υψηλής απόδοσης.

Στη δοκιμή ScienceAgentBench, η R1 δεν ήταν στην κορυφή του πίνακα ακρίβειας, αλλά πέτυχε μια καλή ισορροπία μεταξύ αποδοτικότητας και κόστους. Οι ερευνητές επιδιώκουν τώρα να εφαρμόσουν τη μέθοδο DeepSeek για να ενισχύσουν τις δυνατότητες συλλογισμού των υφιστάμενων LLM, καθώς και να την επεκτείνουν σε τομείς πέρα ​​από τα μαθηματικά και τον προγραμματισμό.

Σύμφωνα με τον κ. Tunstall, το R1 έχει «ξεκινήσει μια επανάσταση» στην ανάπτυξη της τεχνητής νοημοσύνης.

(TTXVN/Βιετνάμ+)

Πηγή: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp