AI মডেলগুলির জন্য এমন কিছু মানদণ্ডের প্রয়োজন যা জটিল ক্ষমতাগুলি গভীরভাবে মূল্যায়ন করে

আধুনিক এআই মডেলগুলির দ্রুত বিকাশের জন্য জটিল ক্ষমতার জন্য ব্যাপক মূল্যায়ন মান প্রয়োজন, যা উচ্চ-স্তরের এলএলএম মডেলগুলির বিকাশের জন্য একটি প্রেরণা তৈরি করে।

VMLU (ভিয়েতনামী ভাষা LLM-এর জন্য শেখা, মূল্যায়ন এবং র‍্যাঙ্কিং প্ল্যাটফর্ম) ২০২৪ সালের উন্নয়ন স্থিতি প্রতিবেদন (LLM) ভিয়েতনামী ভাষাকে কেন্দ্র করে LLM-এর সংখ্যায় তীব্র বৃদ্ধি দেখিয়েছে। বিশেষ করে, VMLU প্ল্যাটফর্মটি র‍্যাঙ্কিংয়ে ৪৫টি LLM প্রকাশ করেছে, ১৫৫টিরও বেশি সংস্থা এবং ব্যক্তির কাছ থেকে মূল্যায়নের অনুরোধ পেয়েছে এবং ২০২৪ সালে প্ল্যাটফর্ম থেকে মূল্যায়ন মানদণ্ডের ৬৯১টি ডাউনলোড এবং ৩,৭২৯টি LLM মূল্যায়নের সারসংক্ষেপ করেছে।

অনেক দেশি-বিদেশি প্রতিষ্ঠান VMLU ব্যবহার করছে যেমন VinBigData, VNPT AI, Viettel Solutions, University of Technology - VNU-HCM, UONLP x Ontocord - University of Oregon (USA), DAMO Academy - Alibaba Group, SDSRV teams - Samsung...

VMLU ২০২৩ সালে তার প্রথম LLM মূল্যায়ন মানদণ্ড চালু করবে।

পরিমাণের প্রসারের সাথে সাথে, এলএলএম মডেলগুলির মানও ক্রমশ উন্নত হচ্ছে। অতীতে, যদি এলএলএমগুলিকে মৌলিক জ্ঞানের উপর প্রশিক্ষণ দেওয়া হত, এখন ডেভেলপাররা পঠন বোধগম্যতা, কথোপকথন বিনিময় বা মানুষের মতো যুক্তির মতো আরও দক্ষতা সম্প্রসারণের উপর মনোনিবেশ করেন।

উন্নত ভিয়েতনামী এলএলএম মডেলগুলির ক্রমবর্ধমান শক্তিশালী বিকাশের প্রতিক্রিয়ায়, ভিএমএলইউ মডেলগুলির জটিল ক্ষমতাগুলি আরও মূল্যায়ন করার জন্য নতুন মানদণ্ড প্রকাশ করেছে।

এলএলএম শ্রেষ্ঠত্ব প্রচার করে এমন মানদণ্ড

পূর্বে, যখন বাজারে মানের মান ছিল না, তখন অনেক দেশীয় গবেষণা গোষ্ঠীকে তাদের নিজস্ব মানদণ্ডের সাথে নিজস্ব অভ্যন্তরীণ মূল্যায়ন সরঞ্জাম তৈরি করতে হত। এটি মূল্যায়নের পাশাপাশি বাজারে বিদ্যমান এলএলএমগুলির সাথে মডেল মানের তুলনা সীমিত করে উপযুক্ত প্রশিক্ষণ কৌশল তৈরি করত।

এই সমস্যা সমাধানের জন্য, ২০২৩ সালের নভেম্বরে, ভিএমএলইউ - সাধারণ "মেক ইন ভিয়েতনাম" মানদণ্ডের প্রথম সেটটি নেতৃস্থানীয় ভিয়েতনামী বিশেষজ্ঞদের একটি দল দ্বারা গবেষণা করা হয়েছিল এবং সম্প্রদায়কে বিনামূল্যে সরবরাহ করা হয়েছিল।

৫৮টি বিষয় কভার করে ১০,৮৮০টি বহুনির্বাচনী প্রশ্নের স্ট্যান্ডার্ড সেট, যা অনেক স্তরে বিভক্ত, ডেভেলপারদের সাধারণ মূল্যায়ন ডেটা সেটগুলি সহজেই অ্যাক্সেস করতে সাহায্য করেছে। একই সাথে, বাজারে বিদ্যমান LLM-এর সাথে তাদের মডেলগুলির সরাসরি তুলনা করার জন্য VMLU-এর র‍্যাঙ্কিংয়ের সুবিধা নিন।

ভিনবিগডেটা ভার্চুয়াল অ্যাসিস্ট্যান্ট টেকনোলজি ব্লকের প্রাকৃতিক ভাষা প্রক্রিয়াকরণ বিভাগের প্রধান ডঃ ড্যাং ট্রান থাই, যার ViGPT-1.6B-v1 মডেলটি VMLU-এর প্রথম থেকে শুরু করে মডেল (শুরু থেকে প্রশিক্ষিত LLM) র‍্যাঙ্কিংয়ে রয়েছে, তিনি বলেন: "ভিএমএলইউ-তে ভিয়েতনামিদের জন্য LLM-এর জ্ঞান ক্ষমতা মূল্যায়নের জন্য তুলনামূলকভাবে সম্পূর্ণ এবং ব্যাপক ডেটা রয়েছে। VMLU কেবল প্রতিটি উন্নয়ন পর্যায়ে LLM-এর মান মূল্যায়নের জন্যই কার্যকর নয়, বরং প্রশিক্ষণ প্রক্রিয়া চলাকালীন আমাদের পরীক্ষা-নিরীক্ষার কার্যকারিতার একটি পরিমাপও।"

"এটি সাধারণভাবে AI এবং বিশেষ করে LLM-এর উন্নয়নের জন্য একটি 'স্প্রিংবোর্ড' হবে, কারণ আমাদের অবশ্যই ভালো মান থাকতে হবে যাতে উচ্চ-মানের মডেলদের প্রশিক্ষণের জন্য আমাদের একটি ভিত্তি থাকে," যোগ করেন ডঃ ডাং ট্রান থাই।

মাইক্রোসফটের প্রিন্সিপাল ইঞ্জিনিয়ার - ডঃ বাখ হুং নগুয়েন ভিয়েতনামী ভাষায় এলএলএম মডেলের কর্মক্ষমতা মূল্যায়নে ভিএমএলইউ-এর কার্যকারিতা নিশ্চিত করেছেন, যা উন্নয়ন ইউনিটগুলিকে মডেলের ক্ষমতা আরও ভালভাবে বুঝতে সাহায্য করে। এছাড়াও, ডঃ বাখ হুং নগুয়েন আশা করেন যে ভিএমএলইউ যুক্তি, কোড তৈরি এবং পাঠ্য সারসংক্ষেপের মতো কার্যকর দক্ষতার একটি সেট যুক্ত করবে।

VMLU-এর নতুন সংস্করণের লক্ষ্য উচ্চ-মানের LLM মডেলগুলিকে নিখুঁত করা।

সম্প্রতি, VMLU LLM-এর যুক্তি এবং মিথস্ক্রিয়া ক্ষমতা মূল্যায়নের জন্য একটি নতুন মানদণ্ড ঘোষণা করছে। বর্ধিত মানদণ্ড একটি আধুনিক LLM-এর 3টি মূল দক্ষতা মূল্যায়ন করে, যার মধ্যে রয়েছে:

পঠন বোধগম্যতা (ViSQuAD) : ৩,৩১০টি প্রশ্ন ভিয়েতনামী ভাষা এবং প্রেক্ষাপটের নির্দিষ্ট বৈশিষ্ট্যের উপর ভিত্তি করে গভীরভাবে পাঠ্য বোঝার এবং জটিল প্রশ্নগুলি পরিচালনা করার ক্ষমতা মূল্যায়ন করে।

যুক্তি (ViDrop) : তুলনা, গণনা এবং গাণিতিক গণনার মতো কাজের মাধ্যমে LLM-এর যৌক্তিক যুক্তির ক্ষমতাকে চ্যালেঞ্জ করে ৩,০৯০টি প্রশ্ন।

মিথস্ক্রিয়া (ভিডায়ালগ) : ২১০টি সংলাপ সংগতি, প্রেক্ষাপট বোঝার ক্ষমতা এবং সংলাপে বহু-বিষয়ক জ্ঞান (ইতিহাস, ভূগোল, যুক্তি) প্রয়োগের মূল্যায়ন করে।

এই আপগ্রেডটি কেবল ডেভেলপারদের মডেলগুলিকে আরও ব্যাপকভাবে মূল্যায়ন করতে সাহায্য করে না, বরং শেষ ব্যবহারকারীদের জন্য দরকারী মান তৈরি করতে LLM-কে উৎসাহিত করে।

২০২৫ সালে নতুন VMLU মান প্রকাশিত হবে।

ভিএমএলইউ তৈরিকারী সংস্থা জালো এআই-এর কৃত্রিম বুদ্ধিমত্তা গবেষণা ও উন্নয়ন পরিচালক ডঃ চাউ থানহ ডুক বলেন: "বর্তমানে বিশ্বে বৃহৎ ভাষা মডেলের ক্ষমতা মূল্যায়নের জন্য শত শত বিভিন্ন মানদণ্ড রয়েছে। তবে, ভিয়েতনামিদের জন্য বিশেষভাবে মূল্যায়ন মানদণ্ডের সংখ্যা খুবই সীমিত। ২০২৩ এবং ২০২৫ সালে মানদণ্ড চালু হওয়ার সাথে সাথে, আমরা মূল্যায়নের দিকগুলিকে বৈচিত্র্যময় করার আশা করছি।"

ব্যক্তি এবং গবেষণা গোষ্ঠীর জন্য তাদের মডেলগুলি মূল্যায়ন করার জন্য VMLU ওয়েবসাইট https://vmlu.ai/ এ নতুন মানদণ্ড চালু করা হয়েছে।

নতুন মানদণ্ডগুলি VMLU ওয়েবসাইটে আপডেট করা হয়েছে।

ভিএমএলইউ হল ভিয়েতনামী এলএলএম মডেলগুলির মূল্যায়ন এবং র‍্যাঙ্কিংয়ের একটি প্ল্যাটফর্ম যা জালো এআই দ্বারা জাপান অ্যাডভান্সড ইনস্টিটিউট অফ সায়েন্স অ্যান্ড টেকনোলজি (জেএআইএসটি) এর সহযোগিতায় নির্মিত এবং ২০২৩ সালের নভেম্বর থেকে সম্প্রদায়কে বিনামূল্যে সরবরাহ করা হচ্ছে। ভিয়েতনামী এআই সম্প্রদায়ের সাথে থাকার প্রচেষ্টার মাধ্যমে, ভিএমএলইউ ভিয়েতনামী জনগণের নতুন প্রযুক্তি আয়ত্ত করার ক্ষমতা প্রচারে অবদান রাখছে। এর মাধ্যমে, বিজ্ঞান, প্রযুক্তি, উদ্ভাবন এবং জাতীয় ডিজিটাল রূপান্তরে একটি যুগান্তকারী অভিযোজন সহ দেশের প্রযুক্তিগত উন্নয়ন যুগে অবদান রাখছে।

সূত্র: https://znews.vn/mo-hinh-ai-dang-can-bo-tieu-chuan-danh-gia-sau-cac-nang-luc-phuc-tap-post1589901.html