VMLU (Vietnamese Multitask Language Understanding) ได้รับการพัฒนาโดย Zalo AI ร่วมกับสถาบัน วิทยาศาสตร์ และเทคโนโลยีขั้นสูงแห่งญี่ปุ่น (JAIST) เพื่อช่วยให้ชุมชนการวิจัยและพัฒนา AI ในเวียดนามมีเครื่องมือมากขึ้นในการประเมินคุณภาพผลลัพธ์ของโมเดล Generative AI ของเวียดนาม
ดังนั้น นี่จึงเป็นชุดมาตรฐานการประเมินภาษาเวียดนามที่มีหลายแง่มุมและหลายระดับ ซึ่งตอบสนองความต้องการที่หลากหลายที่สุดในตลาดปัจจุบัน โดยมีคำถามแบบเลือกตอบ 10,880 ข้อเกี่ยวกับหัวข้อที่แตกต่างกัน 58 หัวข้อ
เหตุใด AI Vietnam จึงต้องมีมาตรฐานการประเมินความสามารถภาษาเวียดนามที่ครบชุด?
การเติบโตอย่างก้าวกระโดดของ ChatGPT ก่อให้เกิดการแข่งขันใหม่ นั่นคือ Generative AI จากสถิติ นับตั้งแต่มีการเปิดตัว ChatGPT ปัจจุบันมีโมเดลที่คล้ายกับ ChatGPT ประมาณ 16,000 โมเดลทั่วโลก
เวียดนามยังคงได้รับความนิยมอย่างต่อเนื่อง เนื่องจากมีกลุ่มวิจัยหลายกลุ่มที่มีขนาดและศักยภาพที่แตกต่างกัน ซึ่งต้องการทดลองใช้ Generative AI โดยใช้ภาษาเวียดนาม สิ่งนี้จึงนำไปสู่ความจำเป็นในการจัดทำชุดประเมินความสามารถทางภาษาเวียดนามสำหรับโมเดล AI เหล่านี้ เพื่อวัดระดับความรู้และความคิดในภาษาเวียดนาม
ในตลาดปัจจุบัน กลุ่มวิจัย LLM ส่วนใหญ่ในเวียดนามต้องสร้างชุดเครื่องมือประเมินผลของตนเอง โดยมีมาตรฐานสำหรับแบบจำลองของตนเอง ซึ่งเป็นเครื่องมือประเมินผลภายในที่ยังไม่ได้เผยแพร่สู่สาธารณะ ชุดเครื่องมือประเมินผลของ Zalo AI มุ่งเน้นไปที่ความต้องการทั่วไป สามารถเป็นมาตรฐานทั่วไปสำหรับแบบจำลอง LLM และมอบให้แก่ชุมชน AI ชุดเครื่องมือนี้ช่วยให้กลุ่มวิจัยขนาดเล็กสามารถเข้าถึงชุดข้อมูลการประเมินที่ครอบคลุม และช่วยให้ทุกฝ่ายสามารถเปรียบเทียบผลลัพธ์ระหว่างกันได้ ซึ่งจะช่วยสร้างแรงจูงใจในการปรับปรุงแบบจำลอง
กระตุ้นให้ AI ของเวียดนามเข้าร่วมกระแส AI เชิงสร้างสรรค์ของโลก
ในเดือนพฤศจิกายน พ.ศ. 2566 Zalo AI ได้ประกาศมาตรฐานการประเมินความสามารถทางภาษาเวียดนามของ VMLU อย่างเป็นทางการ ซึ่งเป็นชุดมาตรฐานที่วิศวกรของ Zalo AI วิจัยและพัฒนาร่วมกับสถาบัน JAIST เพื่อประเมินความสามารถในการเข้าใจและการประยุกต์ใช้ภาษาเวียดนามของแบบจำลอง AI โดยเฉพาะอย่างยิ่ง Generative AI
การกำเนิดของ VMLU ได้กระตุ้นให้บุคคล สตาร์ทอัพ หรือกลุ่มวิจัยขนาดเล็ก พัฒนาแบบจำลอง AI แบบใหม่ของเวียดนาม สิ่งนี้สร้างเงื่อนไขสำหรับการวิจัยใหม่ๆ วางรากฐานสำหรับการวัดความแม่นยำ และการยกระดับผลลัพธ์ของแบบจำลองพื้นฐาน ช่วยให้กระบวนการพัฒนาแอปพลิเคชัน AI ภาษาเวียดนาม ซึ่งสร้างขึ้นโดยชาวเวียดนามเพื่อให้บริการแก่ชาวเวียดนามเสร็จสมบูรณ์
นี่ก็เป็นปัจจัยสำคัญประการหนึ่งที่ส่งเสริมให้การพัฒนา Generative AI ในเวียดนามก้าวหน้าไปอย่างรวดเร็วทันกระแสการพัฒนา AI ของโลก
มาตรฐานการประเมินความสามารถภาษาเวียดนามมีอะไรบ้าง?
ดังนั้น นี่จึงเป็นชุดมาตรฐานการประเมินภาษาเวียดนามที่มีหลายแง่มุมและหลายระดับ ซึ่งตอบสนองความต้องการที่หลากหลายที่สุดในตลาดการวิจัยและพัฒนา Generative AI ของเวียดนาม โดยมุ่งเน้นที่สองส่วนหลัก ได้แก่ ข้อมูล (ชุดข้อมูลทดสอบ) และชุดมาตรฐานการประเมิน เพื่อเป็นพื้นฐานสำหรับการทดสอบโมเดล AI ที่ใช้ภาษาเวียดนาม
โดยเฉพาะอย่างยิ่ง ชุดข้อมูลนี้ประกอบด้วยคำถามแบบเลือกตอบ 10,880 ข้อ ครอบคลุม 58 หัวข้อ แต่ละหัวข้อมีคำถามประมาณ 200 ข้อ และกระจายอยู่ใน 4 สาขา ได้แก่ STEM, สังคมศาสตร์, มนุษยศาสตร์ และหมวดหมู่กว้างๆ "ขยาย" ด้วยชุดข้อมูลนี้ VMLU มีการแบ่งระดับความยากเป็น 4 ระดับ ได้แก่ ประถมศึกษา มัธยมศึกษา มัธยมศึกษาตอนปลาย และอาชีวศึกษา สำหรับมหาวิทยาลัยและบัณฑิตศึกษา จากนั้น ชุดเครื่องมือนี้จะช่วยประเมินความสามารถทางภาษาเวียดนามของแบบจำลอง AI ได้อย่างมีประสิทธิภาพ ทั้งในด้านความรู้พื้นฐานและการแก้ปัญหาที่ซับซ้อน
นอกจากนี้ เพื่อช่วยให้กลุ่มวิจัยประเมินความสามารถของโมเดล AI ของเวียดนามได้อย่างง่ายดาย ทีมวิศวกร AI ของ Zalo จึงได้ออกแบบคำแนะนำเพื่อให้กลุ่มต่างๆ สามารถใช้งานได้อย่างรวดเร็วและง่ายดาย
มีส่วนสนับสนุนชุมชน AI ของเวียดนาม
ชุดมาตรฐาน VMLU ถือกำเนิดขึ้นในฐานะผลิตภัณฑ์การวิจัยที่มีจุดมุ่งหมายเพื่อมีส่วนสนับสนุนและพัฒนาชุมชนการวิจัย AI ของเวียดนามโดยเฉพาะ และชุมชนเทคโนโลยีสารสนเทศโดยทั่วไป โดยไม่เรียกเก็บเงินจากผู้ใช้ กลุ่มวิจัย หรือธุรกิจใดๆ
ก่อนหน้านี้ Zalo AI ได้ดำเนินการ ปรับใช้ และจัดการแข่งขันและโปรแกรมต่างๆ มากมายสำหรับชุมชน AI ของเวียดนาม เช่น Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... กิจกรรมเหล่านี้ไม่เพียงแต่สร้างสนามเด็กเล่นให้กับชุมชน AI ของเวียดนามเท่านั้น แต่ยังส่งเสริมการประยุกต์ใช้ AI ในชีวิต แก้ไขปัญหาสังคมเร่งด่วน และตอบสนองความต้องการของชาวเวียดนามหลายล้านคนอีกด้วย
ดร. เชา แถ่ง ดึ๊ก หัวหน้าภาควิชาวิจัย Zalo AI อาจารย์ประจำมหาวิทยาลัยวิทยาศาสตร์ธรรมชาติ มหาวิทยาลัยแห่งชาติ โฮจิมินห์ ซิตี้ กล่าวว่า “Zalo AI มุ่งมั่นที่จะมีส่วนร่วมกับชุมชน AI ของเวียดนามอยู่เสมอ เพื่อสร้างแรงผลักดันให้ AI ของเวียดนามพัฒนาต่อไป นับจากนี้เป็นต้นไป เราคาดหวังว่าจะมีผลิตภัณฑ์ AI จากชาวเวียดนามมากขึ้นเรื่อยๆ เพื่อชาวเวียดนาม”
แหล่งที่มา
การแสดงความคิดเห็น (0)