אימון DeepSeek זול, עכשיו יש הסקה אפילו זולה יותר

חוקרים ב-DeepSeek פרסמו מודל ניסיוני חדש שנועד להפחית משמעותית את עלות ההסקה כאשר משתמשים בו בהקשרים ארוכים.

חוקרים ב-DeepSeek הכריזו על מודל ניסיוני חדש בשם V3.2-exp, שנועד להפחית משמעותית את עלות ההסקה בעת שימוש בפעולות הקשר ארוך.

DeepSeek הכריזה על המודל בפוסט ב-Hugging Face, וגם פרסמה מאמר אקדמי מקושר ב-GitHub.

התכונה החשובה ביותר של המודל החדש והמורכב נקראת DeepSeek Sparse Attention. בעיקרון, המערכת משתמשת במודול הנקרא "אינדקסר ברק" כדי לתעדף קטעים ספציפיים מחלון ההקשר.

DeepSeek מכריזה על מודל הסקה חסכוני.

מערכת נפרדת הנקראת "מערכת בחירת אסימונים עדינה" בוחרת אסימונים ספציפיים מאותם קטעי טקסט לטעינה בחלון הקשב המוגבל של המודול. יחד, הם מאפשרים למודלים של קשב דלילה לפעול על פיסות הקשר ארוכות עם עומס שרת קטן יחסית.

עבור פעולות בהקשר ארוך, יתרונות המערכת משמעותיים. הבדיקות הראשוניות של DeepSeek מראות כי ניתן להפחית עד חצי את עלות קריאה לפונקציית הסקה פשוטה (API) בתרחישים בהקשר ארוך.

יש צורך בבדיקות נוספות כדי לבנות הערכה חזקה יותר, אך מכיוון שהמודל פתוח וזמין בחינם ב-Hugging Face, לא אמור לקחת הרבה זמן עד שבדיקות של צד שלישי יוכלו להעריך את הטענות במאמר.

בניגוד למודלים אחרים של צ'אטבוטים מבוססי בינה מלאכותית שצורכים הרבה אנרגיה, DeepSeek הולך בכיוון של חיסכון בעלויות, החל מהדרכה ועד לתפעול.

המודל החדש של DeepSeek הוא אחד מסדרה של פריצות דרך אחרונות המתמודדות עם בעיית עלות ההסקה - למעשה, עלות השרת של הפעלת מודל בינה מלאכותית שאומן מראש, בניגוד לעלות אימון שלו.

במקרה של DeepSeek, החוקרים חיפשו דרכים להפוך את ארכיטקטורת השנאים הבסיסית ליעילה יותר - וגילו שיש צורך בשיפורים משמעותיים.

חברת DeepSeek, שבסיסה בסין, היא דמות יוצאת דופן בטירוף הבינה המלאכותית, במיוחד עבור אלו הרואים במחקר בינה מלאכותית תחרות בין ארה"ב לסין. החברה יצרה פרסה מוקדם יותר השנה עם מודל ה-R1 שלה, שאומן בעיקר באמצעות למידת חיזוקים בעלות נמוכה בהרבה מהמתחרים האמריקאים.

עם זאת, המודל לא הצליח לחולל את המהפכה המלאה באימון בינה מלאכותית כפי שחזו חלק, והחברה נסוגה אט אט מאור הזרקורים בחודשים שלאחר מכן.

סביר להניח שגישת "תשומת הלב הדלילה" החדשה לא תגרום לזעם רב כמו R1 - אך היא עדיין יכולה ללמד ספקי שירותים אמריקאים כמה טריקים נחוצים שיעזרו לשמור על עלויות הסקה נמוכות.

https://techcrunch.com/2025/09/29/deepseek-releases-sparse-attention-model-that-cuts-api-costs-in-halfe/

מקור: https://khoahocdoisong.vn/deepseek-dao-tao-da-re-nay-con-co-ban-suy-luan-re-hon-post2149057353.html