کم پیرامیٹرز، زیادہ ڈیٹا

PaLM 2، گوگل کا تازہ ترین لارج لینگوئج ماڈل (LLM)، جس کا گزشتہ ہفتے اعلان کیا گیا، اپنے 2022 کے پیشرو کے مقابلے میں تقریباً پانچ گنا زیادہ تربیتی ڈیٹا استعمال کرتا ہے، جو اسے پروگرام کرنے، مسائل حل کرنے اور مزید جدید مواد بنانے کے قابل بناتا ہے۔

گوگل I/O ڈویلپر کانفرنس میں، سرچ کمپنی نے PaLM 2 متعارف کرایا – 3.6 ٹریلین ٹوکنز پر مبنی زبان کی تربیت کا ماڈل۔ یہ ٹوکن الفاظ کے سٹرنگز ہیں - LLM ٹریننگ میں استعمال ہونے والے بلڈنگ بلاکس اگلے لفظ کی پیشین گوئی کرنے کے لیے جو ظاہر ہوں گے۔

PaLM کا پچھلا ورژن 2022 میں جاری کیا گیا تھا اور اسے 780 بلین ٹوکنز کا استعمال کرتے ہوئے تربیت دی گئی تھی۔

پچھلے ہفتے کے Google I/O ایونٹ میں، گوگل کے سی ای او سندر پچائی نے کمپنی کا تازہ ترین بڑی زبان کا ماڈل، PaLM 2 متعارف کرایا۔

اگرچہ گوگل تلاش، ای میل، ورڈ پروسیسنگ، اور اسپریڈشیٹ کے کاموں میں مسلسل AI کی طاقت کو ظاہر کرتا ہے، لیکن کمپنی اپنے تربیتی ڈیٹا سیٹس کے سائز یا تفصیلات کو ظاہر کرنے سے گریزاں ہے۔ OpenAI اپنے تازہ ترین LLM ٹریننگ پیرامیٹر GPT-4 کی تفصیلات کو بھی خفیہ رکھتا ہے۔

ٹیکنالوجی کمپنیاں اپنے کاروبار کی مسابقتی نوعیت کا حوالہ دے کر اس کی وضاحت کرتی ہیں۔ گوگل اور اوپن اے آئی دونوں روایتی سرچ انجنوں کی بجائے چیٹ بوٹ پروڈکٹس کے ساتھ صارفین کو راغب کرنے کی دوڑ میں لگے ہوئے ہیں۔

کمپیکٹ، طاقتور، اور سرمایہ کاری مؤثر.

گوگل نے کہا کہ PaLM 2 اپنے پیشرو سے زیادہ کمپیکٹ ہے، جس کی تربیت پچھلے ورژن میں 540 بلین پیرامیٹرز کے مقابلے میں 340 بلین پیرامیٹرز کے ساتھ کی گئی ہے۔ اس سے ظاہر ہوتا ہے کہ کمپنی کی ٹیکنالوجی پیچیدہ کاموں کو انجام دینے میں زیادہ موثر ہوتی جا رہی ہے۔

اس کو حاصل کرنے کے لیے، PaLM 2 ایک نئی تکنیک کا استعمال کرتا ہے جسے "توسیع شدہ کمپیوٹنگ آپٹیمائزیشن" کہا جاتا ہے، جو "بہتر مجموعی کارکردگی فراہم کرتی ہے، بشمول کم پیرامیٹرز کے ساتھ تیز تر اندازہ، اس طرح آپریٹنگ اخراجات کو کم کرتا ہے۔"

گوگل کا جدید ترین اے آئی لینگویج ماڈل، 100 سے زائد زبانوں میں تربیت یافتہ، تجرباتی چیٹ بوٹ بارڈ سمیت 25 خصوصیات اور مصنوعات کے لیے مختلف کام انجام دے رہا ہے۔ PaLM 2 سائز کی بنیاد پر چار ورژن میں آتا ہے، چھوٹے سے بڑے تک: Gecko، Otter، Bison، اور Unicorn۔

عوامی طور پر دستیاب دستاویزات کے مطابق، PaLM 2 کسی بھی موجودہ ماڈل سے زیادہ طاقتور ہے۔ فیس بک کا LlaMA، فروری میں شروع کیا گیا، 1.4 ٹریلین ٹوکنز پر تربیت دی گئی۔ دریں اثنا، آخری بار جب OpenAI نے عوامی طور پر ChatGPT کے لیے تربیتی ڈیٹا کے سائز کا انکشاف کیا تھا وہ GPT-3 ورژن تھا جس میں 300 بلین ٹوکن تھے۔

AI ایپلی کیشنز کے دھماکے نے ٹیکنالوجی کے ارد گرد تنازعہ پیدا کیا ہے. اس سال کے شروع میں، گوگل ریسرچ کے ایک سینئر سائنس دان المہدی نے سرچ کمپنی کی شفافیت کی کمی کے خلاف احتجاجاً استعفیٰ دے دیا۔

اس ہفتے، OpenAI کے سی ای او سیم آلٹ مین نے بھی AI کے بڑھتے ہوئے پھیلاؤ کے تناظر میں رازداری اور ٹیکنالوجی پر امریکی سینیٹ کی عدلیہ کی ذیلی کمیٹی کے سامنے گواہی دی۔ وہاں، ChatGPT کے خالق نے قانون سازوں سے اتفاق کیا کہ AI کو کنٹرول کرنے کے لیے نئے ضوابط کی ضرورت ہے۔

(سی این بی سی کے مطابق)

ماخذ