מחקר חדש חושף את סוד ההצלחה של DeepSeek

לפי DeepSeek, מודל הבינה המלאכותית R1 לא אומן באמצעות נתונים מהמודל של OpenAI, למרות שהיא הכירה בכך שהמודל הבסיסי אומן על נתוני אינטרנט - שיכולים לכלול תוכן שנוצר על ידי בינה מלאכותית.

מודל הבינה המלאכותית R1 של הסטארט-אפ הסיני DeepSeek – שזעזע את שוק המניות האמריקאי כשהושק בינואר – פורסם במחקר הראשון שעבר ביקורת עמיתים, המראה כיצד פיתחה תואר ראשון במשפטים (LLM) עוצמתי תמורת כ-300,000 דולר בלבד.

ה-R1 נועד להצטיין במשימות חשיבה כמו מתמטיקה ותכנות, מה שהופך אותו למתחרה זול לכלים שפותחו על ידי ענקיות טכנולוגיה אמריקאיות.

זהו מודל "משקל פתוח", הניתן להורדה בחינם והוא נכון לעכשיו המודל הפופולרי ביותר בפלטפורמת Hugging Face, עם למעלה מ-10.9 מיליון הורדות.

מחקר Nature, עדכון של כתב יד שפורסם בינואר, חשף לראשונה כי אימון R1 עלה רק 294,000 דולר, בנוסף לכ-6 מיליון דולר שהוצאו על בניית מודל הבסיס.

נתון זה נמוך בהרבה מעשרות מיליוני הדולרים שהמתחרים, על פי הדיווחים, הוציאו.

DeepSeek מסרה כי R1 אומן בעיקר באמצעות שבבי Nvidia H800, שארה"ב אסרה לייצא לסין מאז 2023.

פריצת הדרך של R1 הייתה השימוש ב"למידת חיזוק טהורה", שבה המודל מאומן על ידי ניסוי וטעייה ומתוגמל על תשובות נכונות, במקום ללמוד מדוגמאות שנבחרו על ידי בני אדם. הוא גם מדרג את מאמציו שלו באמצעות הערכות פנימיות, טכניקה הנקראת "אופטימיזציה יחסית של מדיניות קבוצתית", המסייעת לשפר את הביצועים.

"תהליך ביקורת עמיתים קפדני מסייע לאמת את ערכו ואמינותו של המודל", אומר החוקר הואן סאן (אוניברסיטת אוהיו סטייט). "חברות אחרות צריכות לעשות את אותו הדבר."

לואיס טנסטול, מהנדס למידת מכונה בחברת Hugging Face, אמר שזהו תקדים חשוב משום ששקיפות בפיתוח בינה מלאכותית מסייעת להעריך סיכונים בצורה מדויקת יותר.

DeepSeek טוענת ש-R1 לא אומן באמצעות נתונים מהמודלים של OpenAI, אם כי היא מודה שהמודל הבסיסי אומן על נתוני אינטרנט - שיכולים לכלול תוכן שנוצר על ידי בינה מלאכותית.

מומחים אומרים כי למרות שקשה לאמת זאת באופן מוחלט, ראיות עדכניות מצביעות על כך ששיפור טהור מספיק כדי להשיג ביצועים גבוהים.

במבחן ScienceAgentBench, R1 לא הגיע לראש טבלת הדיוק, אך הוא מצא איזון טוב בין יעילות לעלות. החוקרים מבקשים כעת ליישם את שיטת DeepSeek כדי לשפר את יכולות החשיבה של סטודנטים לתואר ראשון במשפטים קיימים, וכן להרחיבה לתחומים מעבר למתמטיקה ותכנות.

לדברי מר טאנסטול, R1 "החלה מהפכה" בפיתוח בינה מלאכותית.

(TTXVN/וייטנאם+)

מקור: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp