Il modello di intelligenza artificiale R1 della startup cinese DeepSeek, che ha suscitato scalpore nel mercato azionario statunitense al suo lancio a gennaio, è stato svelato in uno studio sottoposto a revisione paritaria, che mostra come l'azienda abbia sviluppato un potente modello di apprendimento automatico (LLM) a un costo di soli 300.000 dollari circa.
L'R1 è stato progettato per eccellere in compiti di ragionamento come la matematica e la programmazione, diventando un concorrente a basso costo degli strumenti sviluppati dalle aziende tecnologiche americane.
Questo è un modello "a peso libero", disponibile per il download gratuito, e attualmente il modello più popolare sulla piattaforma Hugging Face, con oltre 10,9 milioni di download.
Uno studio aggiornato pubblicato su Nature, basato sul manoscritto di gennaio, rivela per la prima volta che il costo dell'addestramento di R1 è stato di soli 294.000 dollari, oltre ai circa 6 milioni di dollari necessari per la costruzione del modello sottostante.
Questa cifra è significativamente inferiore alle decine di milioni di dollari che si ritiene siano stati spesi dai concorrenti.
Secondo DeepSeek, R1 è stato addestrato principalmente utilizzando il chip Nvidia H800, un tipo di processore che gli Stati Uniti hanno vietato di esportare in Cina dal 2023.
La svolta di R1 risiede nell'applicazione di un metodo di "apprendimento per rinforzo puro", il che significa che il modello viene sottoposto a tentativi ed errori e si auto-ricompensa per le risposte corrette, anziché apprendere da esempi selezionati dall'uomo. Il modello valuta inoltre autonomamente i propri sforzi utilizzando una stima interna, una tecnica chiamata "ottimizzazione relativa delle politiche di gruppo", che ne aumenta l'efficienza.
Secondo il ricercatore Huan Sun (Ohio State University), "un rigoroso processo di revisione paritaria contribuisce a convalidare il valore e l'affidabilità del modello. Altre aziende dovrebbero fare lo stesso."
Lewis Tunstall, ingegnere specializzato in apprendimento automatico presso Hugging Face, ritiene che ciò crei un importante precedente, poiché la trasparenza nello sviluppo dell'IA contribuisce a valutare i rischi con maggiore precisione.
DeepSeek afferma che R1 non è stato addestrato utilizzando dati provenienti da modelli OpenAI, sebbene riconosca che il modello sottostante sia stato addestrato su dati web, che potrebbero includere contenuti generati dall'intelligenza artificiale.
Gli esperti ritengono che, sebbene sia difficile verificarlo in modo definitivo, le prove attuali suggeriscono che i metodi di puro potenziamento siano sufficienti per raggiungere prestazioni elevate.
Nel benchmark ScienceAgentBench, R1 non si è classificato al primo posto in termini di accuratezza, ma ha trovato un buon equilibrio tra efficienza e costi. I ricercatori stanno ora cercando di applicare il metodo di DeepSeek per migliorare le capacità di ragionamento dei modelli lineari linguistici esistenti, nonché di estenderlo ad ambiti diversi dalla matematica e dalla programmazione.
Secondo Tunstall, R1 ha "dato il via a una rivoluzione" nello sviluppo dell'intelligenza artificiale.
Fonte: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp
Commento (0)