כיצד אפל מכניסה בינה מלאכותית סינתטית לאייפונים ישנים יותר

לפי Android Authority , מאמר המחקר של אפל מפרט פתרון להפעלת מודלים של שפה גדולה (LLMs) על מכשירים עם זיכרון RAM מוגבל. המאמר חושף כיצד החברה יכולה לאחסן "פרמטרי מודל" ולטעון חלק מהם לזיכרון ה-RAM של המכשיר בעת הצורך, במקום לטעון את המודל כולו לזיכרון ה-RAM.

אפל מחפשת לעזור לאייפונים ישנים יותר עם פחות זיכרון RAM להריץ בינה מלאכותית כללית

המאמר טוען ששיטה זו מאפשרת להריץ דגמים הדורשים זיכרון RAM כפול מזה שיכול להיות לאייפון, ועדיין להבטיח מהירויות הסקה של פי 4-5 ופי 20-25 בהשוואה לשיטות טעינה פשוטות על המעבד והכרטיס הגרפי בהתאמה.

פריסת בינה מלאכותית סינתטית במכשיר עם יותר זיכרון RAM תהיה יתרון עצום מכיוון שהיא תאפשר מהירויות קריאה/כתיבה גבוהות יותר. מהירות חשובה לבינה מלאכותית במכשיר, ומאפשרת זמני הסקה מהירים בהרבה מכיוון שמשתמשים לא בהכרח צריכים להמתין עשרות שניות (או יותר) לתגובה או לתוצאה סופית. כל זה אומר שעוזר בינה מלאכותית במכשיר יוכל לפעול במהירויות שיחה, לייצר תמונות/טקסט הרבה יותר מהר, לסכם מאמרים מהר יותר וכו'. אבל הפתרון של אפל אומר שמשתמשים לא בהכרח צריכים הרבה זיכרון RAM כדי להאיץ את תגובת המשימות של הבינה המלאכותית במכשיר.

הגישה של אפל עשויה לאפשר לאייפונים ישנים וחדשים להציע תכונות בינה מלאכותית סינתטית ישירות במכשירים שלהם. זה חשוב מכיוון שאייפונים של אפל בדרך כלל מציעים פחות זיכרון RAM מאשר טלפונים מתקדמים מבוססי אנדרואיד. סדרת האייפון 11, לדוגמה, מציעה רק 4GB של זיכרון RAM, בעוד שאפילו לאייפון 15 הרגיל יש רק 6GB.

אפל אינה חברת הסלולר היחידה שעובדת על צמצום מערכות ה-LLM. שבבי הדגל האחרונים של קוואלקום ומדיהטק תומכים שניהם בדיוק INT4 כדי לצמצם את הדגמים הללו. כך או כך, חברות מנסות למצוא דרכים חדשות להפחית את דרישות המערכת עבור בינה מלאכותית במכשיר, מה שמאפשר אפילו לטלפונים מתקדמים להציע את התכונה.

קישור למקור: https://thanhnien.vn/cach-apple-dua-ai-tong-hop-vao-iphone-doi-cu-185231222160500661.htm