AI ماڈلز کو معیارات کے ایک سیٹ کی ضرورت ہوتی ہے جو پیچیدہ صلاحیتوں کا گہرائی سے جائزہ لیتے ہیں۔

جدید AI ماڈلز کی تیز رفتار ترقی کے لیے پیچیدہ صلاحیتوں کے لیے وسیع پیمانے پر تشخیصی معیارات کی ضرورت ہوتی ہے، جس سے اعلیٰ سطح کے LLM ماڈلز کی ترقی کے لیے ایک محرک پیدا ہوتا ہے۔

وی ایم ایل یو (ویتنامی زبان ایل ایل ایم کے لیے سیکھنے، تشخیص اور درجہ بندی کا پلیٹ فارم) 2024 ڈیولپمنٹ اسٹیٹس رپورٹ (ایل ایل ایم) نے ویتنامی پر توجہ مرکوز کرنے والے ایل ایل ایم کی تعداد میں تیزی سے اضافہ دکھایا ہے۔ خاص طور پر، VMLU پلیٹ فارم نے درجہ بندی پر 45 LLM شائع کیے ہیں، 155 سے زیادہ تنظیموں اور افراد سے تشخیص کی درخواستیں موصول ہوئی ہیں، اور 2024 میں پلیٹ فارم سے تشخیص کے معیار کے 691 ڈاؤن لوڈز اور 3,729 LLM تشخیصات کا خلاصہ کیا ہے۔

بہت سی ملکی اور غیر ملکی تنظیمیں VMLU جیسے VinBigData، VNPT AI، Viettel Solutions، University of Technology - VNU-HCM، UONLP x Ontocord - یونیورسٹی آف اوریگون (USA)، DAMO اکیڈمی - علی بابا گروپ، SDSRV ٹیمیں - Samsung...

VMLU 2023 میں ایل ایل ایم کی تشخیص کے معیار کا اپنا پہلا سیٹ شروع کرے گا۔

مقدار میں پھیلاؤ کے ساتھ ساتھ، ایل ایل ایم ماڈلز کا معیار بھی تیزی سے بہتر ہو رہا ہے۔ اگر ماضی میں، LLMs کو بنیادی معلومات کے بارے میں تربیت دی جاتی تھی، تو اب ڈویلپر مزید مہارتوں کو بڑھانے پر توجہ مرکوز کرتے ہیں جیسے پڑھنے کی سمجھ، گفتگو کا تبادلہ یا انسان نما استدلال۔

جدید ویتنامی LLM ماڈلز کی تیزی سے مضبوط ترقی کے جواب میں، VMLU نے ماڈلز کی پیچیدہ صلاحیتوں کا مزید جائزہ لینے کے لیے معیارات کے نئے سیٹ شائع کیے ہیں۔

معیارات جو LLM فضیلت کو فروغ دیتے ہیں۔

پہلے، جب مارکیٹ میں معیار کے معیارات کی کمی تھی، بہت سے گھریلو تحقیقی گروپوں کو اپنے اپنے معیارات کے ساتھ اپنے اندرونی تشخیصی ٹولز بنانے پڑتے تھے۔ اس نے مناسب تربیتی حکمت عملیوں کے لیے مارکیٹ میں موجود LLMs کے ساتھ ماڈل کے معیار کا موازنہ اور تشخیص کو محدود کر دیا۔

اس مسئلے کو حل کرنے کے لیے، نومبر 2023 میں، VMLU - مشترکہ "میک اِن ویتنام" معیارات کے پہلے سیٹ پر ویتنام کے سرکردہ ماہرین کی ایک ٹیم نے تحقیق کی اور کمیونٹی کو مفت فراہم کی۔

10,880 کثیر انتخابی سوالات کے معیاری سیٹ، جس میں 58 عنوانات کا احاطہ کیا گیا ہے، جسے کئی سطحوں میں تقسیم کیا گیا ہے، نے ڈیولپرز کو عام تشخیصی ڈیٹا سیٹس تک آسانی سے رسائی حاصل کرنے میں مدد کی ہے۔ اسی وقت، VMLU کی درجہ بندی سے فائدہ اٹھائیں تاکہ ان کے ماڈلز کا بازار میں موجودہ LLM کے ساتھ براہ راست موازنہ کریں۔

ڈاکٹر ڈانگ ٹران تھائی، نیچرل لینگویج پروسیسنگ ڈپارٹمنٹ کے سربراہ - VinBigData ورچوئل اسسٹنٹ ٹیکنالوجی بلاک، جس کا ViGPT-1.6B-v1 ماڈل VMLU کے فرم سکریچ ماڈلز (ایل ایل ایم شروع سے تربیت یافتہ) کی درجہ بندی میں ہے، نے کہا: "VMLU کے پاس VLLM کے لیے نسبتاً مکمل اور جامع معلومات موجود ہیں۔ VLLM ڈیٹا کی صلاحیت نہیں ہے۔ ہر ترقی کے مرحلے میں صرف ایل ایل ایم کے معیار کا جائزہ لینے کے لیے مفید ہے، بلکہ تربیتی عمل کے دوران ہمارے تجربات کی تاثیر کا ایک پیمانہ بھی ہے۔"

ڈاکٹر ڈانگ ٹران تھائی نے مزید کہا، "یہ عمومی طور پر AI اور خاص طور پر LLM کی ترقی کو فروغ دینے کے لیے ایک 'اسپرنگ بورڈ' ہوگا، کیونکہ ہمارے پاس اچھے معیارات ہونے چاہئیں تاکہ ہمارے پاس اعلیٰ معیار کے ماڈلز کو تربیت دینے کی بنیاد ہو۔"

مائیکرو سافٹ کے پرنسپل انجینئر - ڈاکٹر باخ ہنگ نگوین نے بھی ویتنامی میں LLM ماڈلز کی کارکردگی کا جائزہ لینے میں VMLU کی افادیت کی تصدیق کی، جس سے ترقیاتی یونٹس کو ماڈل کی صلاحیتوں کو بہتر طور پر سمجھنے میں مدد ملتی ہے۔ اس کے علاوہ، ڈاکٹر Bach Hung Nguyen یہ بھی توقع کرتا ہے کہ VMLU مفید مہارتوں کا ایک سیٹ شامل کرے گا جیسے استدلال، کوڈ جنریشن، اور متن کا خلاصہ۔

VMLU کے نئے ورژن کا مقصد اعلیٰ ترتیب والے LLM ماڈلز کو مکمل کرنا ہے۔

حال ہی میں، VMLU LLM کی استدلال اور تعامل کی صلاحیتوں کا اندازہ لگاتے ہوئے معیارات کے ایک نئے سیٹ کا اعلان کرنا جاری رکھے ہوئے ہے۔ معیارات کا توسیع شدہ سیٹ جدید LLM کی 3 بنیادی مہارتوں کا جائزہ لیتا ہے، بشمول:

ریڈنگ کمپری ہینشن (ViSQuAD) : 3,310 سوالات متن کو گہرائی میں سمجھنے اور ویتنامی زبان اور سیاق و سباق کی مخصوص خصوصیات کی بنیاد پر پیچیدہ سوالات کو سنبھالنے کی صلاحیت کا اندازہ لگاتے ہیں۔

استدلال (ViDrop) : 3,090 سوالات LLM کی منطقی استدلال کی صلاحیتوں کو چیلنج کرتے ہیں جیسے کہ موازنہ، گنتی، اور ریاضی کے حسابات۔

تعامل (ViDialog) : 210 مکالمے ہم آہنگی، سیاق و سباق کو سمجھنے کی صلاحیت کا اندازہ لگاتے ہیں اور مکالمے میں کثیر الشعبہ علم (تاریخ، جغرافیہ، منطق) کا اطلاق کرتے ہیں۔

یہ اپ گریڈ نہ صرف ڈیولپرز کو ماڈلز کا زیادہ جامع انداز میں جائزہ لینے میں مدد کرتا ہے بلکہ آخری صارفین کے لیے مفید اقدار پیدا کرنے کے لیے LLM کو بھی فروغ دیتا ہے۔

نئے VMLU معیارات 2025 میں جاری کیے جائیں گے۔

Zalo AI میں آرٹیفیشل انٹیلی جنس ریسرچ اینڈ ڈیولپمنٹ کے ڈائریکٹر ڈاکٹر چاؤ تھانہ ڈک - VMLU تیار کرنے والی تنظیم نے کہا: "بڑے زبان کے ماڈلز کی صلاحیت کو جانچنے کے لیے اس وقت دنیا میں سیکڑوں مختلف معیارات موجود ہیں۔ تاہم، تشخیصی معیارات کی تعداد خاص طور پر ویتنامی کے لیے بہت محدود ہے۔ معیارات کے اجراء کے ساتھ، ہم امید کرتے ہیں کہ 2020 سے 2020 تک کے معیارات کا آغاز ہو جائے گا۔ پہلوؤں۔"

معیارات کا نیا سیٹ VMLU ویب سائٹ https://vmlu.ai/ پر افراد اور ریسرچ گروپس کے لیے ان کے ماڈلز کا جائزہ لینے کے لیے شروع کیا گیا ہے۔

معیارات کے نئے سیٹ کو VMLU ویب سائٹ پر اپ ڈیٹ کر دیا گیا ہے۔

VMLU ویتنامی LLM ماڈلز کا جائزہ لینے اور درجہ بندی کرنے کا ایک پلیٹ فارم ہے جسے Zalo AI نے جاپان ایڈوانسڈ انسٹی ٹیوٹ آف سائنس اینڈ ٹیکنالوجی (JAIST) کے تعاون سے بنایا ہے اور نومبر 2023 سے کمیونٹی کو مفت فراہم کیا گیا ہے۔ اس طرح، سائنس، ٹیکنالوجی، جدت طرازی اور قومی ڈیجیٹل تبدیلی میں پیش رفت کے ساتھ ملک کے تکنیکی ترقی کے دور میں اپنا حصہ ڈالنا۔

ماخذ: https://znews.vn/mo-hinh-ai-dang-can-bo-tieu-chuan-danh-gia-sau-cac-nang-luc-phuc-tap-post1589901.html