اینڈرائیڈ اتھارٹی کے مطابق، ایپل کے تحقیقی مقالے میں محدود ریم والے آلات پر بڑے لینگویج ماڈلز (LLMs) چلانے کے حل کی تفصیلات دی گئی ہیں۔ پیپر میں بتایا گیا ہے کہ کس طرح کمپنی "ماڈل پیرامیٹرز" کو اسٹور کر سکتی ہے اور ضرورت پڑنے پر پورے ماڈل کو RAM میں لوڈ کرنے کے بجائے ان کا ایک حصہ ڈیوائس کی RAM میں لوڈ کر سکتی ہے۔
ایپل کم ریم والے جنرل AI چلانے والے پرانے آئی فونز کی مدد کرنا چاہتا ہے۔
مقالے میں دعویٰ کیا گیا ہے کہ یہ طریقہ ان ماڈلز کو چلانے کی اجازت دیتا ہے جن کے لیے آئی فون کی ریم سے دوگنا زیادہ ضرورت ہوتی ہے جبکہ سی پی یو اور جی پی یو پر بالترتیب لوڈنگ کے سادہ طریقوں کے مقابلے میں 4-5x اور 20-25x انفرنس اسپیڈ کو یقینی بنایا جاتا ہے۔
زیادہ RAM والے ڈیوائس پر مصنوعی AI کی تعیناتی ایک بہت بڑا فائدہ ہوگا کیونکہ اس سے پڑھنے/لکھنے کی رفتار تیز ہوگی۔ ڈیوائس پر موجود AI کے لیے رفتار اہم ہے، جس سے زیادہ تیز رفتاری کے اوقات کی اجازت ہوتی ہے کیونکہ ضروری نہیں کہ صارفین کو جواب یا حتمی نتیجہ کے لیے دسیوں سیکنڈ (یا اس سے زیادہ) انتظار کرنا پڑے۔ ان سب کا مطلب یہ ہے کہ ایک آن ڈیوائس AI اسسٹنٹ ممکنہ طور پر بات چیت کی رفتار سے چل سکتا ہے، تصاویر/ٹیکسٹ بہت تیزی سے تیار کر سکتا ہے، مضامین کو تیزی سے خلاصہ کر سکتا ہے، وغیرہ۔ لیکن ایپل کے حل کا مطلب ہے کہ صارفین کو ڈیوائس پر AI ٹاسک ریسپانسیوینس کو تیز کرنے کے لیے بہت زیادہ ریم کی ضرورت نہیں ہے۔
ایپل کا نقطہ نظر آئی فونز کو پرانے اور نئے آلات پر مصنوعی AI خصوصیات پیش کرنے کی اجازت دے سکتا ہے۔ یہ اہم ہے کیونکہ ایپل کے آئی فونز عام طور پر ہائی اینڈ اینڈرائیڈ فونز کے مقابلے میں کم ریم پیش کرتے ہیں۔ آئی فون 11 سیریز، مثال کے طور پر، صرف 4 جی بی ریم پیش کرتی ہے، جب کہ انٹری لیول آئی فون 15 میں بھی صرف 6 جی بی ہے۔
ایپل واحد موبائل کمپنی نہیں ہے جو ایل ایل ایم کو سکڑنے پر کام کر رہی ہے۔ Qualcomm اور MediaTek کے حالیہ فلیگ شپ چپس دونوں ان ماڈلز کو سکڑنے کے لیے INT4 درستگی کی حمایت کرتے ہیں۔ کسی بھی طرح سے، کمپنیاں آن ڈیوائس AI کے لیے سسٹم کی ضروریات کو کم کرنے کے لیے نئے طریقے تلاش کرنے کی کوشش کر رہی ہیں، یہاں تک کہ کم فونز کو بھی فیچر پیش کرنے کی اجازت دی جا رہی ہے۔
ماخذ لنک
تبصرہ (0)