ভিয়েতনামী এলএলএম-এর যুক্তি এবং মিথস্ক্রিয়ার জন্য মূল্যায়নের মানদণ্ড ঘোষণা করা হচ্ছে

জালো এআই এবং জাপান অ্যাডভান্সড ইনস্টিটিউট অফ সায়েন্স অ্যান্ড টেকনোলজি (জেএআইএসটি) ভিএমএলইউ-এর একটি নতুন সংস্করণ চালু করেছে, যা ভিয়েতনামী এআই সম্প্রদায়কে উচ্চ-স্তরের এলএলএম মডেলগুলিকে নিখুঁত করার জন্য প্রচার করে।

২০২৩ সালে প্রথম চালু হওয়া VMLU (ভিয়েতনামী মাল্টিটাস্ক ল্যাঙ্গুয়েজ আন্ডারস্ট্যান্ডিং) একটি অগ্রণী "মেক ইন ভিয়েতনাম" স্ট্যান্ডার্ড সেটে পরিণত হয়েছে, যা অনেক দেশীয় গবেষণা গোষ্ঠীকে ভিয়েতনামী বৃহৎ ভাষা মডেলের (LLM) মান উন্নত করতে অনুপ্রাণিত করেছে।

পরিসংখ্যান অনুসারে, ২০২৪ সালে, VMLU ৪৫টি LLM র‍্যাঙ্কিং ঘোষণা করেছে, ১৫৫টিরও বেশি সংস্থা এবং ব্যক্তির কাছ থেকে মূল্যায়নের অনুরোধ পেয়েছে, মূল্যায়ন মানদণ্ড সেটের ৬৯১টি ডাউনলোড এবং প্ল্যাটফর্ম থেকে ৩,৭২৯টি LLM মূল্যায়নের সারসংক্ষেপ করেছে। মান সেটটি অনেক দেশি-বিদেশি সংস্থা যেমন VinBigData, VNPT AI, Viettel Solutions, University of Science and Technology - VNU-HCM, UONLP x Ontocord - University of Oregon (USA), DAMO Academy - Alibaba Group, SDSRV teams - Samsung... দ্বারা ব্যবহৃত হয়।

জালো এআই এবং জেএআইএসটি ইনস্টিটিউট ভিএমএলইউ-এর নতুন সংস্করণ চালু করেছে।

AI মডেলগুলি ক্রমশ বুদ্ধিমান হয়ে উঠার সাথে সাথে, VMLU-কে আরও জটিল দক্ষতা মূল্যায়নের জন্য আপগ্রেড করা হয়েছে। বিশেষ করে, বর্ধিত মানদণ্ড একটি আধুনিক LLM-এর তিনটি মূল দক্ষতা মূল্যায়ন করে, যার মধ্যে রয়েছে:

পঠন বোধগম্যতা (ViSQuAD): ৩,৩১০টি প্রশ্ন ভিয়েতনামী ভাষা এবং প্রেক্ষাপটের নির্দিষ্ট বৈশিষ্ট্যের উপর ভিত্তি করে গভীরভাবে পাঠ্য বোঝার এবং জটিল প্রশ্নগুলি পরিচালনা করার ক্ষমতা মূল্যায়ন করে।

যুক্তি (ViDrop): তুলনা, গণনা এবং গাণিতিক গণনার মতো কাজের মাধ্যমে LLM-এর যৌক্তিক যুক্তির ক্ষমতাকে চ্যালেঞ্জ করে ৩,০৯০টি প্রশ্ন।

মিথস্ক্রিয়া (ভিডায়ালগ): ২১০টি সংলাপ সংলাপে বহুমুখী জ্ঞানের (ইতিহাস, ভূগোল, যুক্তি) সুসংগততা, প্রাসঙ্গিক বোধগম্যতা এবং প্রয়োগের মূল্যায়ন করে।

নতুন মানদণ্ডের মূল আকর্ষণ হলো উন্নত মূল্যায়ন পদ্ধতি, যা বহুনির্বাচনী, উন্মুক্ত প্রশ্ন থেকে শুরু করে ধাপে ধাপে যুক্তির প্রয়োজনীয়তা পর্যন্ত বিভিন্ন ধরণের ফর্মকে একত্রিত করে। বিশেষ করে, VMLU "বিচারক হিসেবে LLM" পদ্ধতি প্রয়োগ করে (LLM মূল্যায়নের জন্য LLM ব্যবহার করে) - বিশ্বব্যাপী AI সম্প্রদায় আরও বস্তুনিষ্ঠ এবং বৃহৎ পরিসরে ফলাফল অর্জনের জন্য একটি প্রবণতা প্রয়োগ করছে।

১০,৮৮০টি বহুনির্বাচনী প্রশ্ন সহ, ৫৮টি বিষয়কে একাধিক স্তরে বিভক্ত করে, ২০২৩ সালের সংস্করণটি এলএলএম-এর মৌলিক জ্ঞান মূল্যায়নের উপর দৃষ্টি নিবদ্ধ করে। এদিকে, নতুন মানদণ্ডগুলি আরও এক ধাপ এগিয়ে যায়, বাস্তব জীবনের প্রেক্ষাপটে এলএলএম-এর যুক্তি এবং মিথস্ক্রিয়া ক্ষমতা পরিমাপ করে । এই আপগ্রেডটি কেবল ডেভেলপারদের মডেলগুলিকে আরও ব্যাপকভাবে মূল্যায়ন করতে সহায়তা করে না, বরং শেষ ব্যবহারকারীদের জন্য দরকারী মান তৈরি করতে এলএলএম-কে উৎসাহিত করে।

বর্ধিত মানদণ্ডটি একটি আধুনিক এলএলএম-এর তিনটি মূল দক্ষতা মূল্যায়ন করে।

"বর্তমানে বিশ্বে বৃহৎ ভাষা মডেলগুলির ক্ষমতা মূল্যায়নের জন্য শত শত বিভিন্ন মানদণ্ড রয়েছে। তবে, বিশেষ করে ভিয়েতনামী ভাষার জন্য মানদণ্ডের সংখ্যা খুবই সীমিত। ২০২৩ এবং ২০২৫ সালে মানদণ্ড চালু হওয়ার সাথে সাথে, আমরা মূল্যায়নের দিকগুলিকে বৈচিত্র্যময় করার আশা করি," জালো এআই-এর কৃত্রিম বুদ্ধিমত্তা গবেষণা ও উন্নয়ন পরিচালক ডঃ চাউ থানহ ডুক বলেন।

ব্যক্তি এবং গবেষণা গোষ্ঠীর জন্য তাদের মডেলগুলি মূল্যায়ন করার জন্য VMLU ওয়েবসাইট https://vmlu.ai/ এ নতুন মানদণ্ড চালু করা হয়েছে।

VMLU ওয়েবসাইটে নতুন মানদণ্ড চালু করা হয়েছে।

জালো এআই এবং জেএআইএসটি ইনস্টিটিউটের নেতৃস্থানীয় বিশেষজ্ঞদের সহযোগিতায়, ভিএমএলইউ ক্ষেত্র এবং অসুবিধার দিক থেকে আরও বৈচিত্র্যময় মূল্যায়ন মান গবেষণা এবং বিকাশ অব্যাহত রাখবে। ভবিষ্যতে, ভিএমএলইউ সুরক্ষা এবং অখণ্ডতা মূল্যায়ন মান বিকাশের লক্ষ্যও রাখে, যাতে নিশ্চিত করা যায় যে এলএলএম মডেলগুলি দায়িত্বের সাথে বিকশিত হয়।

সূত্র: https://znews.vn/bo-tieu-chuan-make-in-vietnam-danh-gia-suy-luan-tuong-tac-cua-llm-post1589609.html