ປະກາດ​ມາດ​ຖານ​ການ​ປະ​ເມີນ​ຜົນ​ການ​ສົມ​ເຫດ​ສົມ​ຜົນ ແລະ ການ​ພົວ​ພັນ​ຮ່ວມ​ມື​ຂອງ​ຫວຽດ​ນາມ LLM

Zalo AI ແລະ ສະ​ຖາ​ບັນ​ວິ​ທະ​ຍາ​ສາດ​ເຕັກ​ໂນ​ໂລ​ຊີ​ຂັ້ນ​ສູງ​ຍີ່​ປຸ່ນ (JAIST) ແນະ​ນຳ​ສະ​ຖາ​ບັນ​ວິ​ທະ​ຍາ​ສາດ​ເຕັກ​ໂນ​ໂລ​ຊີ​ໃໝ່​ຂອງ VMLU, ຊຸກ​ຍູ້​ປະ​ຊາ​ຄົມ AI ຂອງ​ຫວຽດ​ນາມ ໃຫ້​ສົມ​ບູນ​ແບບ LLM ລະ​ດັບ​ສູງ.

​ເປັນ​ຄັ້ງ​ທຳ​ອິດ​ໃນ​ປີ 2023, VMLU (Vietnamese Multitask Language Understanding) ​ໄດ້​ກາຍ​ເປັນ​ມາດ​ຕະຖານ “Make in Vietnam” ບຸກ​ເບີກ, ຊຸກຍູ້​ໃຫ້​ຫຼາຍ​ກຸ່ມ​ຄົ້ນຄວ້າ​ພາຍ​ໃນ​ປະ​ເທດ​ຍົກ​ສູງ​ຄຸນ​ນະພາ​ບຂອງ​ບັນດາ​ຕົວ​ແບບ​ພາສາ​ໃຫຍ່ ຫວຽດນາມ (LLM).

ອີງຕາມສະຖິຕິ, ໃນປີ 2024, VMLU ໄດ້ປະກາດ 45 LLMs ໃນການຈັດອັນດັບ, ໄດ້ຮັບການຮ້ອງຂໍການປະເມີນຜົນຈາກຫຼາຍກວ່າ 155 ອົງການຈັດຕັ້ງແລະບຸກຄົນ, ສະຫຼຸບການດາວໂຫຼດ 691 ຂອງເງື່ອນໄຂການປະເມີນຜົນທີ່ກໍານົດໄວ້ແລະ 3,729 ການປະເມີນຜົນຂອງ LLM ຈາກເວທີ. ມາດຕະຖານທີ່ກຳນົດໄວ້ແມ່ນນຳໃຊ້ໂດຍຫຼາຍອົງການຈັດຕັ້ງທັງພາຍໃນ ແລະ ຕ່າງປະເທດເຊັ່ນ: VinBigData, VNPT AI, Viettel Solutions, ມະຫາວິທະຍາໄລວິທະຍາສາດ ແລະ ເຕັກໂນໂລຊີ - VNU-HCM, UONLP x Ontocord - ມະຫາວິທະຍາໄລ Oregon (USA), DAMO Academy - Alibaba Group, ທີມ SDSRV - Samsung...

Zalo AI ແລະສະຖາບັນ JAIST ແນະນໍາ VMLU ຮຸ່ນໃຫມ່.

ເມື່ອຕົວແບບ AI ກາຍເປັນອັດສະລິຍະຫຼາຍຂຶ້ນ, VMLU ໄດ້ຖືກຍົກລະດັບເພື່ອປະເມີນຄວາມສາມາດທີ່ຊັບຊ້ອນຫຼາຍຂຶ້ນ. ໂດຍສະເພາະ, ຊຸດມາດຕະຖານທີ່ຂະຫຍາຍໄດ້ປະເມີນສາມທັກສະຫຼັກຂອງ LLM ທີ່ທັນສະໄຫມ, ລວມທັງ:

Reading Comprehension (ViSQuAD): 3,310 ຄໍາ​ຖາມ​ປະ​ເມີນ​ຄວາມ​ສາ​ມາດ​ທີ່​ຈະ​ເຂົ້າ​ໃຈ​ຂໍ້​ຄວາມ​ໃນ​ຄວາມ​ເລິກ​ແລະ​ຈັດ​ການ​ຄໍາ​ຖາມ​ສະ​ລັບ​ສັບ​ຊ້ອນ​ໂດຍ​ອີງ​ໃສ່​ລັກ​ສະ​ນະ​ສະ​ເພາະ​ຂອງ​ພາ​ສາ​ແລະ​ສະ​ພາບ​ການ​ຂອງ​ຫວຽດ​ນາມ​.

ການໃຫ້ເຫດຜົນ (ViDrop): 3,090 ຄຳຖາມທ້າທາຍຄວາມສາມາດໃນການໃຫ້ເຫດຜົນຢ່າງມີເຫດຜົນຂອງ LLM ໂດຍຜ່ານວຽກງານເຊັ່ນ: ການປຽບທຽບ, ການນັບ, ແລະການຄິດໄລ່ເລກເລກ.

ການໂຕ້ຕອບ (ViDialog): 210 ການສົນທະນາປະເມີນຄວາມສອດຄ່ອງ, ຄວາມເຂົ້າໃຈໃນສະພາບການ, ແລະການນໍາໃຊ້ຄວາມຮູ້ຫຼາຍວິຊາ (ປະຫວັດສາດ, ພູມສາດ, ເຫດຜົນ) ໃນການປຶກສາຫາລື.

ຈຸດເດັ່ນຂອງມາດຕະຖານຊຸດໃຫມ່ແມ່ນວິທີການປະເມີນແບບພິເສດ, ປະສົມປະສານຂອງຫຼາຍຮູບແບບຈາກຫຼາຍທາງເລືອກ, ຄໍາຖາມທີ່ເປີດເຜີຍໄປຫາຄວາມຕ້ອງການເຫດຜົນຂັ້ນຕອນ. ໂດຍສະເພາະ, VMLU ນໍາໃຊ້ວິທີການ "LLM ເປັນຜູ້ພິພາກສາ" (ການນໍາໃຊ້ LLM ເພື່ອປະເມີນ LLM) - ແນວໂນ້ມທີ່ຖືກນໍາໃຊ້ໂດຍຊຸມຊົນ AI ທົ່ວໂລກເພື່ອບັນລຸຜົນໄດ້ຮັບຕາມຈຸດປະສົງແລະຂະຫນາດໃຫຍ່.

ດ້ວຍ 10,880 ຄໍາຖາມແບບຫຼາຍທາງເລືອກ, ກວມເອົາ 58 ຫົວຂໍ້, ແບ່ງອອກເປັນຫຼາຍລະດັບ, ສະບັບ 2023 ໄດ້ສຸມໃສ່ການປະເມີນຄວາມຮູ້ພື້ນຖານຂອງ LLM. ໃນ​ຂະ​ນະ​ດຽວ​ກັນ, ຊຸດມາດຕະຖານໃຫມ່ໄດ້ກ້າວໄປອີກບາດກ້າວຫນຶ່ງ, ການວັດແທກເຫດຜົນແລະຄວາມສາມາດໃນການໂຕ້ຕອບຂອງ LLM ໃນສະພາບການຊີວິດຈິງ . ການຍົກລະດັບນີ້ບໍ່ພຽງແຕ່ຊ່ວຍໃຫ້ນັກພັດທະນາປະເມີນແບບຈໍາລອງໄດ້ຢ່າງກວ້າງຂວາງ, ແຕ່ຍັງສົ່ງເສີມ LLM ເພື່ອສ້າງຄຸນຄ່າທີ່ເປັນປະໂຫຍດສໍາລັບຜູ້ໃຊ້ສຸດທ້າຍ.

ຊຸດເງື່ອນໄຂທີ່ຂະຫຍາຍໄດ້ປະເມີນສາມທັກສະຫຼັກຂອງ LLM ທີ່ທັນສະໄຫມ.

“ປະຈຸ​ບັນ​ມີ​ຫຼາຍ​ຮ້ອຍ​ຕົວ​ເລກ​ມາດຕະຖານ​ທີ່​ແຕກ​ຕ່າງ​ກັນ ​ໃນ​ໂລກ ​ເພື່ອ​ຕີ​ລາຄາ​ຄວາມ​ສາມາດ​ຂອງ​ຕົວ​ແບບ​ພາສາ​ໃຫຍ່. ​ເຖິງ​ຢ່າງ​ໃດ​ກໍ​ຕາມ, ຈຳນວນ​ມາດຖານ​ສະ​ເພາະ​ຂອງ​ພາສາ​ຫວຽດນາມ ​ແມ່ນ​ຈຳກັດ​ຫຼາຍ, ດ້ວຍ​ການ​ເປີດ​ຕົວ​ມາດ​ຕະການ​ໃນ​ປີ 2023 ​ແລະ 2025, ພວກ​ຂ້າພະ​ເຈົ້າ​ຫວັງ​ວ່າ​ຈະ​ຜັນ​ຂະຫຍາຍ​ບັນດາ​ດ້ານ​ການ​ປະ​ເມີນ​ຜົນ,”.

ຊຸດມາດຕະຖານໃຫມ່ໄດ້ຖືກເປີດຕົວຢູ່ໃນເວັບໄຊທ໌ VMLU https://vmlu.ai/ ສໍາລັບບຸກຄົນແລະກຸ່ມຄົ້ນຄ້ວາເພື່ອປະເມີນແບບຈໍາລອງຂອງພວກເຂົາ.

ຊຸດມາດຕະຖານໃຫມ່ໄດ້ຖືກເປີດຕົວຢູ່ໃນເວັບໄຊທ໌ VMLU.

ດ້ວຍການຮ່ວມມືຂອງຜູ້ຊ່ຽວຊານຊັ້ນນໍາຂອງສະຖາບັນ Zalo AI ແລະ JAIST, VMLU ຈະສືບຕໍ່ຄົ້ນຄ້ວາແລະພັດທະນາມາດຕະຖານການປະເມີນຜົນທີ່ມີຄວາມຫຼາກຫຼາຍທາງດ້ານວິຊາສະເພາະແລະຄວາມຫຍຸ້ງຍາກ. ໃນອະນາຄົດ, VMLU ຍັງມີຈຸດປະສົງເພື່ອພັດທະນາມາດຕະຖານການປະເມີນຄວາມປອດໄພແລະຄວາມຊື່ສັດ, ຮັບປະກັນວ່າຕົວແບບ LLM ໄດ້ຖືກພັດທະນາຢ່າງມີຄວາມຮັບຜິດຊອບ.

ທີ່ມາ: https://znews.vn/bo-tieu-chuan-make-in-vietnam-danh-gia-suy-luan-tuong-tac-cua-llm-post1589609.html