โมเดล AI ต้องมีชุดมาตรฐานที่ประเมินความสามารถที่ซับซ้อนอย่างลึกซึ้ง

การพัฒนาอย่างรวดเร็วของโมเดล AI สมัยใหม่จำเป็นต้องมีมาตรฐานการประเมินที่ครอบคลุมสำหรับความสามารถที่ซับซ้อน ซึ่งสร้างแรงผลักดันให้เกิดการพัฒนาโมเดล LLM ระดับสูง

รายงานสถานะการพัฒนา (LLM) ประจำปี 2567 ของ VMLU (แพลตฟอร์มการเรียนรู้ การประเมิน และการจัดอันดับสำหรับหลักสูตรปริญญาโทสาขาภาษาเวียดนาม) แสดงให้เห็นถึงจำนวนหลักสูตรปริญญาโทสาขาภาษาเวียดนามที่มุ่งเน้นด้านภาษาเวียดนามที่เพิ่มขึ้นอย่างมาก โดยเฉพาะอย่างยิ่ง แพลตฟอร์ม VMLU ได้เผยแพร่หลักสูตรปริญญาโทสาขาภาษาเวียดนาม 45 หลักสูตรเกี่ยวกับการจัดอันดับ ได้รับคำขอประเมินจากองค์กรและบุคคลมากกว่า 155 ราย และได้สรุปเกณฑ์การประเมิน 691 ครั้ง และการประเมินหลักสูตรปริญญาโทสาขาภาษาเวียดนาม 3,729 ครั้งจากแพลตฟอร์มในปี 2567

องค์กรในประเทศและต่างประเทศจำนวนมากได้ใช้ VMLU เช่น VinBigData, VNPT AI, Viettel Solutions, University of Technology - VNU-HCM, UONLP x Ontocord - University of Oregon (USA), DAMO Academy - Alibaba Group, ทีม SDSRV - Samsung...

VMLU จะเปิดตัวเกณฑ์การประเมิน LLM ชุดแรกในปี 2023

นอกจากจำนวนที่เพิ่มขึ้นแล้ว คุณภาพของหลักสูตร LLM ก็ยังได้รับการพัฒนาอย่างต่อเนื่องเช่นกัน หากในอดีต หลักสูตร LLM ได้รับการฝึกฝนโดยเน้นความรู้พื้นฐาน ปัจจุบัน นักพัฒนาซอฟต์แวร์มุ่งเน้นการพัฒนาทักษะต่างๆ มากขึ้น เช่น การอ่านจับใจความ การสนทนาโต้ตอบ หรือการใช้เหตุผลแบบมนุษย์

เพื่อตอบสนองต่อการพัฒนาที่แข็งแกร่งยิ่งขึ้นของโมเดล LLM ขั้นสูงของเวียดนาม VMLU จึงได้เผยแพร่ชุดมาตรฐานใหม่เพื่อประเมินความสามารถที่ซับซ้อนของโมเดลเพิ่มเติม

มาตรฐานที่ส่งเสริมความเป็นเลิศ LLM

ก่อนหน้านี้ เมื่อตลาดขาดมาตรฐานคุณภาพ กลุ่มวิจัยในประเทศจำนวนมากต้องสร้างเครื่องมือประเมินภายในของตนเองโดยใช้มาตรฐานของตนเอง ซึ่งทำให้การประเมินและการเปรียบเทียบคุณภาพของแบบจำลองกับหลักสูตรนิติศาสตรมหาบัณฑิต (LLM) ที่มีอยู่ในตลาดมีข้อจำกัด เพื่อให้สามารถกำหนดกลยุทธ์การฝึกอบรมที่เหมาะสมได้

เพื่อแก้ไขปัญหานี้ ในเดือนพฤศจิกายน พ.ศ. 2566 ทีมผู้เชี่ยวชาญชั้นนำของเวียดนามได้ค้นคว้า VMLU ซึ่งเป็นชุดมาตรฐาน "Make in Vietnam" ทั่วไปชุดแรก และมอบให้แก่ชุมชนโดยไม่คิดค่าใช้จ่าย

ชุดคำถามแบบเลือกตอบมาตรฐาน 10,880 ข้อ ครอบคลุม 58 หัวข้อ แบ่งออกเป็นหลายระดับ ช่วยให้นักพัฒนาเข้าถึงชุดข้อมูลการประเมินทั่วไปได้อย่างง่ายดาย ขณะเดียวกัน ใช้ประโยชน์จากการจัดอันดับของ VMLU เพื่อเปรียบเทียบแบบจำลองของพวกเขากับหลักสูตร LLM ที่มีอยู่ในตลาดได้โดยตรง

ดร. ดัง ตรัน ไทย หัวหน้าแผนกประมวลผลภาษาธรรมชาติ VinBigData Virtual Assistant Technology Block ผู้พัฒนาโมเดล ViGPT-1.6B-v1 ซึ่งอยู่ในอันดับโมเดลตั้งแต่เริ่มต้น (LLM ที่ผ่านการฝึกอบรมตั้งแต่เริ่มต้น) ของ VMLU กล่าวว่า "VMLU มีข้อมูลที่ค่อนข้างสมบูรณ์และครอบคลุม เพื่อประเมินศักยภาพความรู้ของ LLM ในภาษาเวียดนาม VMLU ไม่เพียงแต่มีประโยชน์ในการประเมินคุณภาพของ LLM ในแต่ละขั้นตอนการพัฒนาเท่านั้น แต่ยังเป็นตัวชี้วัดประสิทธิภาพของการทดลองของเราในระหว่างกระบวนการฝึกอบรมอีกด้วย"

“นี่จะเป็น ‘จุดเริ่มต้น’ ที่จะส่งเสริมการพัฒนา AI โดยทั่วไป และ LLM โดยเฉพาะ เพราะเราต้องมีมาตรฐานที่ดี เพื่อให้เรามีพื้นฐานในการฝึกอบรมโมเดลคุณภาพสูง” ดร. ดัง ตรัน ไทย กล่าวเสริม

วิศวกรหลักประจำไมโครซอฟท์ - ดร. บัค ฮุง เหงียน ยังได้ยืนยันถึงประโยชน์ของ VMLU ในการประเมินประสิทธิภาพของแบบจำลอง LLM ในภาษาเวียดนาม ซึ่งจะช่วยให้หน่วยพัฒนาเข้าใจความสามารถของแบบจำลองได้ดียิ่งขึ้น นอกจากนี้ ดร. บัค ฮุง เหงียน ยังคาดหวังว่า VMLU จะเพิ่มทักษะที่เป็นประโยชน์ เช่น การให้เหตุผล การสร้างโค้ด และการสรุปข้อความ

VMLU เวอร์ชันใหม่มุ่งเป้าไปที่การปรับปรุงโมเดล LLM ระดับสูงให้สมบูรณ์แบบ

เมื่อเร็วๆ นี้ VMLU ยังคงประกาศมาตรฐานชุดใหม่ ซึ่งประเมินความสามารถในการใช้เหตุผลและปฏิสัมพันธ์ของหลักสูตร LLM ชุดมาตรฐานที่ขยายเพิ่มนี้ประเมินทักษะหลัก 3 ประการของหลักสูตร LLM สมัยใหม่ ได้แก่:

ความเข้าใจในการอ่าน (ViSQuAD) : คำถาม 3,310 ข้อประเมินความสามารถในการเข้าใจข้อความเชิงลึกและจัดการกับคำถามที่ซับซ้อนโดยอิงตามลักษณะเฉพาะของภาษาเวียดนามและบริบท

การใช้เหตุผล (ViDrop) : คำถาม 3,090 ข้อท้าทายความสามารถในการใช้เหตุผลเชิงตรรกะของ LLM ผ่านทางงานต่างๆ เช่น การเปรียบเทียบ การนับ และการคำนวณทางคณิตศาสตร์

ปฏิสัมพันธ์ (ViDialog) : บทสนทนา 210 บทประเมินความสอดคล้อง ความสามารถในการเข้าใจบริบท และการนำความรู้หลายสาขาวิชา (ประวัติศาสตร์ ภูมิศาสตร์ ตรรกะ) มาใช้ในบทสนทนา

การอัพเกรดนี้ไม่เพียงแต่ช่วยให้นักพัฒนาประเมินโมเดลได้อย่างครอบคลุมมากขึ้น แต่ยังส่งเสริม LLM เพื่อสร้างมูลค่าที่มีประโยชน์สำหรับผู้ใช้ปลายทางอีกด้วย

มาตรฐาน VMLU ใหม่จะเปิดตัวในปี 2025

ดร. เชา แถ่ง ดึ๊ก ผู้อำนวยการฝ่ายวิจัยและพัฒนาปัญญาประดิษฐ์ของ Zalo AI ซึ่งเป็นองค์กรที่พัฒนา VMLU กล่าวว่า “ปัจจุบันมีมาตรฐานหลายร้อยมาตรฐาน ทั่วโลก ที่ใช้ประเมินความสามารถของแบบจำลองภาษาขนาดใหญ่ อย่างไรก็ตาม จำนวนมาตรฐานการประเมินสำหรับภาษาเวียดนามโดยเฉพาะนั้นมีจำกัดมาก ด้วยการเปิดตัวมาตรฐานในปี 2566 และ 2568 เราหวังว่าจะทำให้การประเมินมีความหลากหลายมากขึ้น”

มาตรฐานชุดใหม่ได้เปิดตัวบนเว็บไซต์ VMLU https://vmlu.ai/ เพื่อให้บุคคลและกลุ่มนักวิจัยสามารถประเมินโมเดลของตนได้

มาตรฐานชุดใหม่ได้รับการอัปเดตบนเว็บไซต์ VMLU

VMLU เป็นแพลตฟอร์มสำหรับการประเมินและจัดอันดับหลักสูตรปริญญาโทสาขาบริหารธุรกิจ (LLM) ของเวียดนาม ซึ่งสร้างขึ้นโดย Zalo AI ร่วมกับสถาบัน วิทยาศาสตร์ และเทคโนโลยีขั้นสูงแห่งประเทศญี่ปุ่น (JAIST) และเปิดให้ชุมชนทดลองใช้ฟรีตั้งแต่เดือนพฤศจิกายน 2566 ด้วยความมุ่งมั่นที่จะร่วมมือกับชุมชน AI ของเวียดนาม VMLU กำลังมีส่วนร่วมในการส่งเสริมความสามารถของชาวเวียดนามในการเชี่ยวชาญเทคโนโลยีใหม่ๆ ดังนั้นจึงเป็นการสนับสนุนยุคการพัฒนาเทคโนโลยีของประเทศด้วยแนวคิดที่ก้าวล้ำในด้านวิทยาศาสตร์ เทคโนโลยี นวัตกรรม และการเปลี่ยนแปลงทางดิจิทัลระดับชาติ

ที่มา: https://znews.vn/mo-hinh-ai-dang-can-bo-tieu-chuan-danh-gia-sau-cac-nang-luc-phuc-tap-post1589901.html