वियतनामी एलएलएम के तर्क और अंतःक्रिया के लिए मूल्यांकन मानदंडों की घोषणा

ज़ालो एआई और जापान एडवांस्ड इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी (जेएआईएसटी) ने वीएमएलयू का एक नया संस्करण पेश किया है, जो वियतनामी एआई समुदाय को उच्च-स्तरीय एलएलएम मॉडल को बेहतर बनाने के लिए प्रोत्साहित करेगा।

2023 में पहली बार पेश किया गया, VMLU (वियतनामी मल्टीटास्क लैंग्वेज अंडरस्टैंडिंग) एक अग्रणी "मेक इन वियतनाम" मानक सेट बन गया है, जिसने कई घरेलू अनुसंधान समूहों को वियतनामी बड़े भाषा मॉडल (LLM) की गुणवत्ता में सुधार करने के लिए प्रेरित किया है।

आँकड़ों के अनुसार, 2024 में, VMLU ने रैंकिंग में 45 LLM की घोषणा की, 155 से अधिक संगठनों और व्यक्तियों से मूल्यांकन अनुरोध प्राप्त किए, मूल्यांकन मानदंड सेट के 691 डाउनलोड और प्लेटफ़ॉर्म से 3,729 LLM मूल्यांकनों का सारांश दिया। इस मानक सेट का उपयोग कई घरेलू और विदेशी संगठनों द्वारा किया जाता है, जैसे कि VinBigData, VNPT AI, Viettel Solutions, विज्ञान और प्रौद्योगिकी विश्वविद्यालय - VNU-HCM, UONLP x Ontocord - ओरेगन विश्वविद्यालय (USA), DAMO अकादमी - अलीबाबा समूह, SDSRV टीमें - सैमसंग...

ज़ालो एआई और जेएआईएसटी संस्थान ने वीएमएलयू का नया संस्करण पेश किया।

जैसे-जैसे एआई मॉडल अधिकाधिक बुद्धिमान होते जा रहे हैं, वीएमएलयू को अधिक जटिल दक्षताओं का आकलन करने के लिए उन्नत किया गया है। विशेष रूप से, मानकों का विस्तारित सेट आधुनिक एलएलएम के तीन मुख्य कौशलों का आकलन करता है, जिनमें शामिल हैं:

पठन बोध (ViSQuAD): 3,310 प्रश्न वियतनामी भाषा और संदर्भ की विशिष्ट विशेषताओं के आधार पर पाठ को गहराई से समझने और जटिल प्रश्नों को हल करने की क्षमता का आकलन करते हैं।

तर्क (ViDrop): 3,090 प्रश्न तुलना, गिनती और अंकगणितीय गणना जैसे कार्यों के माध्यम से एलएलएम की तार्किक तर्क क्षमताओं को चुनौती देते हैं।

अंतःक्रिया (ViDialog): 210 संवाद संवाद में बहुविषयक ज्ञान (इतिहास, भूगोल, तर्क) की सुसंगतता, प्रासंगिक समझ और अनुप्रयोग का आकलन करते हैं।

नए मानकों का मुख्य आकर्षण उन्नत मूल्यांकन पद्धति है, जिसमें बहुविकल्पीय, खुले प्रश्नों से लेकर चरण-दर-चरण तर्क आवश्यकताओं तक, विभिन्न प्रकार के विकल्प शामिल हैं। विशेष रूप से, VMLU "LLM को एक निर्णायक के रूप में" पद्धति (LLM का मूल्यांकन करने के लिए LLM का उपयोग) का उपयोग करता है - एक ऐसा चलन जिसे वैश्विक AI समुदाय अधिक वस्तुनिष्ठ और व्यापक परिणाम प्राप्त करने के लिए अपना रहा है।

58 विषयों को शामिल करते हुए, 10,880 बहुविकल्पीय प्रश्नों के साथ, जो कई स्तरों में विभाजित हैं, 2023 का संस्करण एलएलएम के मूलभूत ज्ञान के आकलन पर केंद्रित है। इस बीच, मानकों का नया सेट एक कदम और आगे जाता है, जो वास्तविक जीवन के संदर्भों में एलएलएम की तर्क और अंतःक्रिया क्षमता को मापता है । यह अपग्रेड न केवल डेवलपर्स को मॉडलों का अधिक व्यापक रूप से मूल्यांकन करने में मदद करता है, बल्कि एलएलएम को अंतिम उपयोगकर्ताओं के लिए उपयोगी मूल्य बनाने के लिए भी प्रोत्साहित करता है।

मानदंडों का विस्तारित सेट आधुनिक एलएलएम के तीन मुख्य कौशल का आकलन करता है।

ज़ालो एआई में आर्टिफिशियल इंटेलिजेंस रिसर्च एंड डेवलपमेंट के निदेशक डॉ. चाउ थान डुक ने कहा, "वर्तमान में दुनिया भर में बड़े भाषा मॉडल की क्षमताओं का मूल्यांकन करने के लिए सैकड़ों अलग-अलग मानक मौजूद हैं। हालाँकि, विशेष रूप से वियतनामी के लिए मानकों की संख्या बहुत सीमित है। 2023 और 2025 में मानकों के लॉन्च के साथ, हम मूल्यांकन के पहलुओं में विविधता लाने की उम्मीद करते हैं।"

मानकों का नया सेट VMLU वेबसाइट https://vmlu.ai/ पर व्यक्तियों और अनुसंधान समूहों के लिए उनके मॉडलों का मूल्यांकन करने हेतु लॉन्च किया गया है।

मानकों का नया सेट VMLU वेबसाइट पर लॉन्च किया गया है।

ज़ालो एआई और जेएआईएसटी संस्थान के अग्रणी विशेषज्ञों के सहयोग से, वीएमएलयू विभिन्न क्षेत्रों और कठिनाई के संदर्भ में और अधिक विविध मूल्यांकन मानकों पर शोध और विकास जारी रखेगा। भविष्य में, वीएमएलयू का लक्ष्य सुरक्षा और अखंडता मूल्यांकन मानकों को विकसित करना भी है, ताकि यह सुनिश्चित हो सके कि एलएलएम मॉडल ज़िम्मेदारी से विकसित किए जाएँ।

स्रोत: https://znews.vn/bo-tieu-chuan-make-in-vietnam-danh-gia-suy-luan-tuong-tac-cua-llm-post1589609.html