پہلی بار 2023 میں متعارف کرایا گیا، VMLU (ویتنامی ملٹی ٹاسک لینگویج انڈرسٹینڈنگ) ایک اہم "میک ان ویتنام" معیاری سیٹ بن گیا ہے، جس نے بہت سے گھریلو تحقیقی گروپوں کو ویتنامی بڑے زبان کے ماڈلز (LLM) کے معیار کو بہتر بنانے کی ترغیب دی ہے۔
اعداد و شمار کے مطابق، 2024 میں، VMLU نے درجہ بندی پر 45 LLM کا اعلان کیا، 155 سے زیادہ تنظیموں اور افراد سے تشخیص کی درخواستیں موصول ہوئیں، تشخیص کے معیار کے سیٹ کے 691 ڈاؤن لوڈز کا خلاصہ کیا اور پلیٹ فارم سے 3,729 LLM تشخیصات کا خلاصہ کیا۔ مقرر کردہ معیارات کو بہت سی ملکی اور غیر ملکی تنظیمیں استعمال کرتی ہیں جیسے VinBigData، VNPT AI، Viettel Solutions، یونیورسٹی آف سائنس اینڈ ٹیکنالوجی - VNU-HCM، UONLP x Ontocord - یونیورسٹی آف اوریگون (USA)، DAMO اکیڈمی - Alibaba Group، SDSRV ٹیمیں - Samsung...
 |
Zalo AI اور JAIST انسٹی ٹیوٹ نے VMLU کا نیا ورژن متعارف کرایا ہے۔ |
جیسا کہ AI ماڈل تیزی سے ذہین ہوتے جاتے ہیں، VMLU کو مزید پیچیدہ صلاحیتوں کا اندازہ لگانے کے لیے اپ گریڈ کیا گیا ہے۔ خاص طور پر، معیارات کا توسیع شدہ سیٹ جدید LLM کی تین بنیادی مہارتوں کا جائزہ لیتا ہے، بشمول:
ریڈنگ کمپری ہینشن (ViSQuAD): 3,310 سوالات متن کو گہرائی میں سمجھنے اور ویتنامی زبان اور سیاق و سباق کی مخصوص خصوصیات کی بنیاد پر پیچیدہ سوالات کو سنبھالنے کی صلاحیت کا اندازہ لگاتے ہیں۔
استدلال (ViDrop): 3,090 سوالات LLM کی منطقی استدلال کی صلاحیتوں کو چیلنج کرتے ہیں جیسے کہ موازنہ، گنتی، اور ریاضی کے حسابات۔
تعامل (ViDialog): 210 مکالمے مکالمے میں ہم آہنگی، سیاق و سباق کی تفہیم، اور کثیر الضابطہ علم (تاریخ، جغرافیہ، منطق) کے اطلاق کا جائزہ لیتے ہیں۔
معیارات کے نئے سیٹ کی خاص بات یہ ہے کہ تشخیص کا جدید طریقہ ہے، جس میں متعدد انتخاب سے لے کر کھلے سوالات سے لے کر مرحلہ وار استدلال کے تقاضوں تک مختلف اقسام کو یکجا کیا گیا ہے۔ خاص طور پر، VMLU "جج کے طور پر LLM" طریقہ (LLM کا استعمال کرتے ہوئے LLM کا اندازہ لگاتا ہے) کا اطلاق کرتا ہے - ایک رجحان جس کا اطلاق عالمی AI کمیونٹی زیادہ معروضی اور بڑے پیمانے پر نتائج حاصل کرنے کے لیے کر رہا ہے۔
10,880 کثیر انتخابی سوالات کے ساتھ، 58 موضوعات کا احاطہ کرتے ہوئے، متعدد سطحوں میں تقسیم، 2023 ورژن نے LLM کے بنیادی علم کا جائزہ لینے پر توجہ مرکوز کی۔ دریں اثنا، معیارات کا نیا سیٹ ایک قدم آگے بڑھتا ہے، حقیقی زندگی کے سیاق و سباق میں LLM کی استدلال اور تعامل کی صلاحیت کی پیمائش کرتا ہے ۔ یہ اپ گریڈ نہ صرف ڈیولپرز کو ماڈلز کا زیادہ جامع انداز میں جائزہ لینے میں مدد کرتا ہے بلکہ آخری صارفین کے لیے مفید اقدار پیدا کرنے کے لیے LLM کو بھی فروغ دیتا ہے۔
 |
معیارات کا توسیع شدہ سیٹ جدید LLM کی تین بنیادی مہارتوں کا اندازہ لگاتا ہے۔ |
"بڑے زبان کے ماڈلز کی صلاحیتوں کا جائزہ لینے کے لیے اس وقت دنیا میں سینکڑوں مختلف معیارات موجود ہیں۔ تاہم، خاص طور پر ویتنامی کے لیے بینچ مارکس کی تعداد بہت محدود ہے۔ 2023 اور 2025 میں بینچ مارکس کے اجراء کے ساتھ، ہم تشخیصی پہلوؤں کو متنوع بنانے کی امید کرتے ہیں،" ڈاکٹر چاؤ تھانہ ڈک، ریسرچ اینڈ ڈیویلپمنٹ ڈیولپمنٹ انٹیلیگ انٹیلیگ کے آرٹسٹ نے کہا۔
معیارات کا نیا سیٹ VMLU ویب سائٹ https://vmlu.ai/ پر افراد اور ریسرچ گروپس کے لیے ان کے ماڈلز کا جائزہ لینے کے لیے شروع کیا گیا ہے۔
 |
معیارات کا نیا سیٹ VMLU ویب سائٹ پر شروع کیا گیا ہے۔ |
Zalo AI اور JAIST انسٹی ٹیوٹ کے سرکردہ ماہرین کے تعاون سے، VMLU شعبوں اور مشکل کے لحاظ سے مزید متنوع تشخیصی معیارات کی تحقیق اور ترقی جاری رکھے گا۔ مستقبل میں، VMLU کا مقصد حفاظت اور سالمیت کی تشخیص کے معیارات کو بھی تیار کرنا ہے، اس بات کو یقینی بناتے ہوئے کہ LLM ماڈلز کو ذمہ داری سے تیار کیا جائے۔
ماخذ: https://znews.vn/bo-tieu-chuan-make-in-vietnam-danh-gia-suy-luan-tuong-tac-cua-llm-post1589609.html
تبصرہ (0)