إعلان معايير التقييم للمنطق والتفاعل في برنامج الماجستير في القانون الفيتنامي

تم تقديم VMLU (فهم اللغة الفيتنامية متعددة المهام) لأول مرة في عام 2023، وأصبح معيارًا رائدًا "صنع في فيتنام"، مما حفز العديد من مجموعات البحث المحلية على تحسين جودة نماذج اللغة الفيتنامية الكبيرة (LLM).

وفقًا للإحصاءات، أعلنت جامعة فرجينيا ماريلاند (VMLU) في عام ٢٠٢٤ عن إدراج ٤٥ برنامج ماجستير في القانون ضمن التصنيفات، وتلقت طلبات تقييم من أكثر من ١٥٥ منظمة وشخص، ولخصت ٦٩١ عملية تنزيل لمجموعة معايير التقييم، و٣٧٢٩ تقييمًا لبرنامج ماجستير في القانون من المنصة. وتُستخدم مجموعة المعايير هذه من قِبل العديد من المنظمات المحلية والأجنبية، مثل VinBigData، وVNPT AI، وViettel Solutions، وجامعة العلوم والتكنولوجيا (VNU-HCM)، وUONLP x Ontocord (جامعة أوريغون (الولايات المتحدة الأمريكية)، وأكاديمية DAMO (مجموعة علي بابا)، وفرق SDSRV (سامسونج).

Zalo AI ومعهد JAIST يقدمان نسخة جديدة من VMLU.

مع تزايد ذكاء نماذج الذكاء الاصطناعي، تم تحديث معايير VMLU لتقييم الكفاءات الأكثر تعقيدًا. وتحديدًا، تُقيّم مجموعة المعايير الموسعة ثلاث مهارات أساسية في برنامج ماجستير القانون الحديث، بما في ذلك:

فهم القراءة (ViSQuAD): 3310 أسئلة تقيم القدرة على فهم النص بعمق والتعامل مع الأسئلة المعقدة بناءً على الخصائص المحددة للغة الفيتنامية والسياق.

الاستدلال (ViDrop): 3090 سؤالاً تتحدى قدرات التفكير المنطقي لدى طلاب LLM من خلال مهام مثل المقارنة والعد والحسابات الحسابية.

التفاعل (ViDialog): 210 حوارات لتقييم التماسك والفهم السياقي وتطبيق المعرفة متعددة التخصصات (التاريخ والجغرافيا والمنطق) في الحوار.

أبرز ما يميز مجموعة المعايير الجديدة هو أسلوب التقييم المتقدم، الذي يجمع بين أشكال متنوعة من أسئلة الاختيار من متعدد والأسئلة المفتوحة، ومتطلبات التفكير المنطقي التدريجي. وتطبق جامعة فرجينيا الغربية (VMLU) على وجه الخصوص أسلوب "الماجستير في القانون كحكم" (باستخدام الماجستير في القانون لتقييمه)، وهو توجه يطبقه مجتمع الذكاء الاصطناعي العالمي لتحقيق نتائج أكثر موضوعية وعلى نطاق واسع.

مع 10,880 سؤالاً من نوع الاختيار من متعدد، تغطي 58 موضوعًا، مقسمة إلى مستويات متعددة، ركزت نسخة 2023 على تقييم المعرفة الأساسية لماجستير القانون. في الوقت نفسه، تتقدم مجموعة المعايير الجديدة خطوةً أبعد، حيث تقيس قدرة ماجستير القانون على التفكير والتفاعل في سياقات الحياة العملية . لا يقتصر هذا التحديث على مساعدة المطورين على تقييم النماذج بشكل أكثر شمولاً فحسب، بل يعزز أيضًا من قدرة ماجستير القانون على خلق قيم مفيدة للمستخدمين النهائيين.

تقوم المجموعة الموسعة من المعايير بتقييم المهارات الأساسية الثلاث لدرجة الماجستير في القانون الحديثة.

قال الدكتور تشاو ثانه دوك، مدير أبحاث وتطوير الذكاء الاصطناعي في زالو للذكاء الاصطناعي: "تتوفر حاليًا مئات من معايير التقييم المختلفة في العالم لتقييم قدرات نماذج اللغات الكبيرة. ومع ذلك، فإن عدد معايير التقييم المخصصة للغة الفيتنامية محدود للغاية. ومع إطلاق معايير التقييم في عامي 2023 و2025، نأمل في تنويع جوانب التقييم".

تم إطلاق مجموعة المعايير الجديدة على موقع VMLU https://vmlu.ai/ للأفراد ومجموعات البحث لتقييم نماذجهم.

تم إطلاق المجموعة الجديدة من المعايير على موقع VMLU.

بالتعاون مع خبراء بارزين في Zalo AI ومعهد JAIST، ستواصل VMLU البحث والتطوير لمعايير تقييم أكثر تنوعًا من حيث المجالات والصعوبة. وفي المستقبل، تهدف VMLU أيضًا إلى تطوير معايير تقييم السلامة والنزاهة، مما يضمن تطوير نماذج ماجستير القانون بمسؤولية.

المصدر: https://znews.vn/bo-tieu-chuan-make-in-vietnam-danh-gia-suy-luan-tuong-tac-cua-llm-post1589609.html