موسسه هوش مصنوعی زالو و JAIST برای توسعه LLM پیشرفته با جامعه همکاری می‌کنند.

شرکت هوش مصنوعی زالو و موسسه پیشرفته علوم و فناوری ژاپن (JAIST) به تازگی مجموعه‌ای از استانداردها را برای ارزیابی مهارت‌های استدلال و تعامل دانشجویان کارشناسی ارشد مدیریت بازرگانی (LLM) اعلام کرده‌اند که جامعه هوش مصنوعی ویتنام را در تکمیل مدل‌های سطح بالای LLM همراهی می‌کند.

هوش مصنوعی (AI) به لطف پیشرفت‌های مهم در تحقیقات مدل هوش مصنوعی، به طور انفجاری در حال توسعه است و فرصت‌های بی‌سابقه‌ای را ایجاد می‌کند و زمینه را برای ترویج کاربردها و همچنین توسعه محصولات برای رفع نیازهای عملی فراهم می‌کند. در ویتنام، درست پس از توسعه قوی ChatGPT، که منجر به تولد مجموعه‌ای از مدل‌های هوش مصنوعی مشابه در سطح جهانی شد، گروه‌های تحقیقاتی داخلی با مقیاس‌ها و پتانسیل‌های مختلف با ساخت مدل‌های زبان بزرگ ویتنامی (LLM) به این رقابت پیوسته‌اند.

گسترش مدل‌های LLM ویتنامی نیازمند مجموعه‌ای از معیارهای ارزیابی کلی است تا به توسعه‌دهندگان در سنجش کیفیت مدل کمک کند و استراتژی‌های آموزشی مناسبی داشته باشند.

دکتر نگوین ترونگ سون - مدیر علمی Zalo AI و توسعه‌دهنده پلتفرم - VMLU Vietnam LLM را ارزیابی کرد: «بازار ویتنام در مقایسه با جهان فاقد استانداردهای ارزیابی کیفیت است.»

پلتفرم ارزیابی VMLU LLM توسط Zalo AI و موسسه پیشرفته علوم و فناوری ژاپن (JAIST) توسعه داده شده است.

به گفته دکتر نگوین ترونگ سون، این واقعیت ایجاب می‌کند که جامعه هوش مصنوعی ویتنام دست به دست هم دهند تا استانداردهای مشترکی ایجاد کنند که به ارزیابی صحیح و کافی مدل‌های هوش مصنوعی ویتنامی کمک کند و پایه و اساسی برای توسعه مدل‌های با کیفیت بهتر ایجاد کند.

ترویج توسعه استانداردهای جدید کیفیت

در نوامبر 2023، Zalo AI و موسسه پیشرفته علوم و فناوری ژاپن (JAIST) برای ساخت و ارائه رایگان مجموعه‌ای از استانداردها برای ارزیابی کیفیت مدل‌های LLM ویتنامی به نام VMLU (مجموعه معیار درک زبان چندوظیفه‌ای ویتنامی برای مدل‌های زبان بزرگ) با یکدیگر همکاری خواهند کرد. این اولین مجموعه از استانداردهای "ساخت ویتنام" است که توسط تیمی از متخصصان برجسته ویتنامی تحقیق و به جامعه ارائه شده است.

گروه‌های تحقیقاتی LLM ویتنامی به جای اینکه مجبور باشند ابزارهای ارزیابی خود را با استانداردهای خودشان بسازند، توانسته‌اند به یک مجموعه داده ارزیابی جامع و عمومی دسترسی پیدا کنند.

استانداردهای VMLU بر ۴ حوزه شامل STEM، علوم اجتماعی، علوم انسانی و توسعه با سطوح دشواری فزاینده تمرکز دارند: ابتدایی، متوسطه، دبیرستان و حرفه‌ای (کارشناسی و کارشناسی ارشد). نسخه ۲۰۲۳ با ۱۰۸۸۰ سوال چندگزینه‌ای، شامل ۵۸ موضوع، که به سطوح مختلفی تقسیم شده‌اند، به ارزیابی مؤثر دانش پایه LLM کمک کرده است.

تا پایان سال ۲۰۲۴، VMLU تعداد ۴۵ مدرک کارشناسی ارشد مدیریت بازرگانی (LLM) را در رتبه‌بندی‌ها منتشر کرده بود، از بیش از ۱۵۵ سازمان و فرد درخواست ارزیابی دریافت کرده بود و ۶۹۱ دانلود از معیارهای ارزیابی و ۳۷۲۹ ارزیابی LLM را از این پلتفرم خلاصه کرده بود. بسیاری از سازمان‌های داخلی و خارجی از استانداردهای VMLU مانند VinBigData، VNPT AI، Viettel Solutions، دانشگاه فناوری شهر هوشی مین - VNU، UONLP x Ontocord - دانشگاه اورگان (ایالات متحده آمریکا)، DAMO Academy - گروه علی‌بابا، تیم‌های SDSRV - سامسونگ و... استفاده می‌کنند.

در مرحله جدید، مدل‌های LLM به شدت ارتقا یافته‌اند و نیازمند معیارهایی برای ارزیابی عمیق‌تر شایستگی‌های پیچیده هستند.

پروفسور نگوین لی مین، از موسسه پیشرفته علوم و فناوری ژاپن (JAIST)، یکی از شرکای Zalo AI در توسعه مجموعه ارزیابی VMLU، گفت: «مدل‌های LLM در حال هوشمندتر شدن هستند و تقریباً به طور کامل قادر به درک و پاسخ صحیح به سوالات می‌باشند. بنابراین، توسعه‌دهندگان بیشتر بر تجهیز LLMها به قابلیت‌های متنوعی مانند درک مطلب، برنامه‌ریزی، گفتگو و استدلال مشابه انسان تمرکز می‌کنند.»

در پاسخ به نیازهای متنوع و فزاینده توسعه‌دهندگان، VMLU اخیراً مجموعه‌ای جدید از استانداردها را برای ارزیابی ۳ مهارت شامل (۱) درک مطلب (ViSQuAD)، (۲) استدلال (ViDrop) و (۳) تعامل (ViDialog) راه‌اندازی کرده است.

استانداردهای VMLU 2025

مجموعه جدید استانداردها در وب‌سایت VMLU به آدرس https://vmlu.ai/ منتشر شده است تا افراد و گروه‌های تحقیقاتی بتوانند مدل‌های خود را ارزیابی کنند.

تلاش برای همراهی با جامعه‌ی تسلط بر هوش مصنوعی

کارشناسان VMLU گفتند که آنها به تحقیق و ساخت مجموعه‌های ارزیابی متنوع‌تر در حوزه‌های مختلف با سطوح دشواری متفاوت ادامه خواهند داد تا مدل‌های زبانی بزرگ را به طور جامع‌تر ارزیابی کنند و الگوهای استفاده کاربران را به طور دقیق‌تری منعکس کنند.

علاوه بر این، VMLU همچنین قصد دارد مجموعه‌ای از استانداردهای ارزیابی را برای ایمنی و یکپارچگی مدل LLM تدوین کند تا اطمینان حاصل شود که LLM های ویتنامی به طور مسئولانه توسعه می‌یابند.

برای ارتقای ظرفیت و روحیه تسلط بر فناوری‌های جدید در مردم ویتنام، استانداردهای ارزیابی VMLU همچنان به صورت رایگان در اختیار جامعه تحقیقاتی LLM ویتنام قرار خواهد گرفت.

استانداردهای VMLU 2025 در وب‌سایت VMLU به‌روزرسانی شده‌اند.

Zalo AI به عنوان پیشگام در زمینه هوش مصنوعی در ویتنام، همواره جامعه را در تحقیق و توسعه راه‌حل‌های هوش مصنوعی برای کاربران ویتنامی همراهی می‌کند.

علاوه بر پلتفرمی برای ارزیابی و رتبه‌بندی قابلیت‌های مدل‌های اصلی زبان ویتنامی، از سال ۲۰۱۷، Zalo AI چالش هوش مصنوعی Zalo و مجمع سالانه اجلاس هوش مصنوعی Zalo را نیز سازماندهی کرده است. این رویدادها نه تنها جامعه هوش مصنوعی ویتنام را به هم متصل می‌کنند، بلکه به الهام بخشیدن و ترویج ایجاد محصولات فناوری هوش مصنوعی توسط مردم ویتنام برای خدمت به مردم ویتنام نیز کمک می‌کنند.

منبع: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html