تحتاج نماذج الذكاء الاصطناعي إلى مجموعة من المعايير التي تقوم بتقييم القدرات المعقدة بشكل عميق

يتطلب التطور السريع لنماذج الذكاء الاصطناعي الحديثة معايير تقييم واسعة النطاق للقدرات المعقدة، مما يخلق زخمًا لتطوير نماذج LLM عالية المستوى.

أظهر تقرير حالة تطوير منصة VMLU (منصة التعلم والتقييم والتصنيف لبرامج الماجستير في القانون باللغة الفيتنامية) لعام ٢٠٢٤ زيادةً ملحوظةً في عدد برامج الماجستير في القانون التي تركز على اللغة الفيتنامية. وتحديدًا، نشرت منصة VMLU ٤٥ برنامج ماجستير في القانون ضمن التصنيفات، وتلقّت طلبات تقييم من أكثر من ١٥٥ منظمةً وفردًا، ولخصت ٦٩١ عملية تنزيل لمعايير التقييم و٣٧٢٩ تقييمًا لبرامج الماجستير من المنصة في عام ٢٠٢٤.

لقد استخدمت العديد من المنظمات المحلية والأجنبية VMLU مثل VinBigData و VNPT AI و Viettel Solutions وجامعة التكنولوجيا - VNU-HCM و UONLP x Ontocord - جامعة أوريغون (الولايات المتحدة الأمريكية) و DAMO Academy - Alibaba Group و SDSRV teams - Samsung...

ستطلق VMLU مجموعتها الأولى من معايير تقييم LLM في عام 2023.

مع ازدياد عدد نماذج ماجستير الحقوق، تتحسن جودتها بشكل متزايد. فبينما كان تدريب ماجستير الحقوق في الماضي يتمحور حول المعرفة الأساسية، يركز المطورون الآن على تطوير مهارات أخرى، مثل فهم المقروء، وتبادل الحوارات، والتفكير المنطقي.

استجابة للتطور القوي المتزايد لنماذج LLM المتقدمة في فيتنام، نشرت VMLU مجموعات جديدة من المعايير لتقييم القدرات المعقدة للنماذج بشكل أكبر.

المعايير التي تعزز التميز في برنامج الماجستير في القانون

في السابق، عندما كان السوق يفتقر إلى معايير الجودة، اضطرت العديد من مجموعات البحث المحلية إلى بناء أدوات تقييم داخلية خاصة بها وفقًا لمعاييرها الخاصة. وقد حدّ هذا من عملية التقييم ومقارنة جودة النموذج مع برامج الماجستير في القانون الموجودة في السوق، مما حال دون وضع استراتيجيات تدريب مناسبة.

ولحل هذه المشكلة، قامت VMLU في نوفمبر 2023 ببحث أول مجموعة من معايير "صنع في فيتنام" المشتركة من قبل فريق من الخبراء الفيتناميين الرائدين وتم تقديمها مجانًا للمجتمع.

مجموعة الأسئلة القياسية المكونة من 10,880 سؤالاً متعدد الخيارات، والتي تغطي 58 موضوعاً، مقسمة إلى عدة مستويات، ساعدت المطورين على الوصول بسهولة إلى مجموعات بيانات التقييم العامة. في الوقت نفسه، يمكنكم الاستفادة من تصنيفات VMLU لمقارنة نماذجهم مباشرةً مع برامج الماجستير في القانون المتاحة في السوق.

قال الدكتور دانج تران تاي، رئيس قسم معالجة اللغات الطبيعية في شركة VinBigData، ونموذجه ViGPT-1.6B-v1 ضمن أفضل نماذج التعلم من الصفر (المُدرَّب عليها من الصفر) في VMLU: "تمتلك VMLU بيانات شاملة وكاملة لتقييم القدرات المعرفية لبرنامج ماجستير القانون في اللغة الفيتنامية. ولا يقتصر دور VMLU على تقييم جودة برنامج ماجستير القانون في كل مرحلة من مراحل التطوير فحسب، بل يُعد أيضًا مقياسًا لفعالية تجاربنا خلال عملية التدريب."

وأضاف الدكتور دانج تران تاي: "سيكون هذا بمثابة "نقطة انطلاق" لتعزيز تطوير الذكاء الاصطناعي بشكل عام والماجستير في القانون بشكل خاص، لأنه يجب أن يكون لدينا معايير جيدة حتى يكون لدينا أساس لتدريب نماذج عالية الجودة".

أكد الدكتور باخ هونغ نغوين، كبير المهندسين في مايكروسوفت، على فائدة VMLU في تقييم أداء نماذج ماجستير الحقوق في الفيتنامية، مما يساعد وحدات التطوير على فهم قدرات النموذج بشكل أفضل. إضافةً إلى ذلك، يتوقع الدكتور باخ هونغ نغوين أن تضيف VMLU مجموعة من المهارات المفيدة، مثل التفكير المنطقي، وتوليد الأكواد البرمجية، وتلخيص النصوص.

تهدف النسخة الجديدة من VMLU إلى إتقان نماذج LLM من الدرجة الأعلى

مؤخرًا، واصلت جامعة فرجينيا ماري لويولا الإعلان عن مجموعة جديدة من المعايير لتقييم مهارات التفكير والتفاعل في برنامج ماجستير القانون. تُقيّم هذه المجموعة الموسعة من المعايير ثلاث مهارات أساسية لبرنامج ماجستير القانون الحديث، وهي:

فهم القراءة (ViSQuAD) : 3310 سؤالاً تقيم القدرة على فهم النص بعمق والتعامل مع الأسئلة المعقدة بناءً على الخصائص المحددة للغة الفيتنامية والسياق.

الاستدلال (ViDrop) : 3090 سؤالاً تتحدى قدرات التفكير المنطقي لدى طلاب LLM من خلال مهام مثل المقارنة والعد والحسابات الحسابية.

التفاعل (ViDialog) : 210 حوارات لتقييم التماسك والقدرة على فهم السياق وتطبيق المعرفة متعددة التخصصات (التاريخ والجغرافيا والمنطق) في الحوار.

لا يساعد هذا الترقية المطورين على تقييم النماذج بشكل أكثر شمولاً فحسب، بل يعزز أيضًا قدرة LLM على إنشاء قيم مفيدة للمستخدمين النهائيين.

من المقرر إصدار معايير VMLU الجديدة في عام 2025.

قال الدكتور تشاو ثانه دوك، مدير أبحاث وتطوير الذكاء الاصطناعي في شركة زالو للذكاء الاصطناعي، وهي الشركة التي طورت نموذج VMLU: "توجد حاليًا مئات المعايير المختلفة في العالم لتقييم قدرة نماذج اللغات الكبيرة. ومع ذلك، فإن عدد معايير التقييم المخصصة للغة الفيتنامية محدود للغاية. ومع إطلاق المعايير في عامي 2023 و2025، نأمل في تنويع جوانب التقييم."

تم إطلاق مجموعة المعايير الجديدة على موقع VMLU https://vmlu.ai/ للأفراد ومجموعات البحث لتقييم نماذجهم.

تم تحديث المجموعة الجديدة من المعايير على موقع VMLU.

VMLU هي منصة لتقييم وتصنيف نماذج ماجستير القانون الفيتنامية، طورتها شركة Zalo AI بالتعاون مع المعهد الياباني المتقدم للعلوم والتكنولوجيا (JAIST)، وتُقدم مجانًا للمجتمع اعتبارًا من نوفمبر 2023. في إطار جهودها لدعم مجتمع الذكاء الاصطناعي الفيتنامي، تُسهم VMLU في تعزيز قدرة الشعب الفيتنامي على إتقان التقنيات الجديدة، مُساهمةً بذلك في عصر التطور التكنولوجي للبلاد بتوجهٍ رائد في العلوم والتكنولوجيا والابتكار والتحول الرقمي الوطني.

المصدر: https://znews.vn/mo-hinh-ai-dang-can-bo-tieu-chuan-danh-gia-sau-cac-nang-luc-phuc-tap-post1589901.html