Zalo AI ประกาศมาตรฐานการประเมินความสามารถภาษาเวียดนามฟรี

VMLU (Vietnamese Multitask Language Understanding) ได้รับการพัฒนาโดย Zalo AI ร่วมกับสถาบัน วิทยาศาสตร์ และเทคโนโลยีขั้นสูงแห่งญี่ปุ่น (JAIST) เพื่อช่วยให้ชุมชนการวิจัยและพัฒนา AI ในเวียดนามมีเครื่องมือมากขึ้นในการประเมินคุณภาพผลลัพธ์ของโมเดล Generative AI ของเวียดนาม

ดังนั้น นี่จึงเป็นมาตรฐานการประเมินภาษาเวียดนามแบบหลายแง่มุมหลายระดับที่ตอบสนองความต้องการที่หลากหลายที่สุดในตลาดปัจจุบัน โดยมีคำถามแบบเลือกตอบ 10,880 ข้อที่เกี่ยวข้องกับหัวข้อต่างๆ 58 หัวข้อ

ซาโล เอไอ.jpg — มาตรฐานการประเมินความสามารถทางภาษาเวียดนามได้รับการวิจัยและพัฒนาโดยวิศวกร AI ของ Zalo ร่วมกับ JAIST เพื่อประเมินความสามารถในการทำความเข้าใจและนำภาษาเวียดนามของโมเดล AI ไปใช้ โดยเฉพาะ Generative AI

เหตุใด AI Vietnam จึงต้องมีมาตรฐานการประเมินความสามารถภาษาเวียดนามที่ครบถ้วนสมบูรณ์

การเติบโตอย่างรวดเร็วของ ChatGPT ได้สร้างการแข่งขันใหม่: Generative AI ตามสถิติ นับตั้งแต่มีการเปิดตัว ChatGPT ปัจจุบันมีรุ่นที่คล้ายกับ ChatGPT อยู่ประมาณ 16,000 รุ่นทั่วโลก

เวียดนามไม่ได้หลุดจากกระแสนี้ไป เมื่อมีกลุ่มวิจัยมากมายที่มีขนาดและศักยภาพต่างกัน ซึ่งต้องการทดลองกับ Generative AI โดยใช้ภาษาเวียดนามเช่นกัน สิ่งนี้ทำให้เกิดความจำเป็นต้องมีการประเมินความสามารถทางภาษาเวียดนามสำหรับโมเดล AI เหล่านี้เพื่อวัดระดับความรู้และการคิดในภาษาเวียดนาม

ในตลาดปัจจุบัน กลุ่มวิจัย LLM ส่วนใหญ่ในเวียดนามต้องสร้างชุดเครื่องมือการประเมินของตัวเองโดยมีมาตรฐานของตัวเองสำหรับโมเดลของพวกเขา สิ่งเหล่านี้เป็นบทวิจารณ์ภายในซึ่งยังไม่เปิดเผยต่อสาธารณะ ชุดประเมินของ Zalo AI มุ่งเน้นไปที่ความต้องการทั่วไป สามารถใช้เป็นมาตรฐานทั่วไปสำหรับโมเดล LLM และมอบให้กับชุมชน AI สิ่งนี้ช่วยให้กลุ่มวิจัยขนาดเล็กสามารถเข้าถึงชุดข้อมูลการประเมินที่ครอบคลุม และทำให้พวกเขาสามารถเปรียบเทียบผลลัพธ์ระหว่างกันได้ จากนั้นสร้างแรงจูงใจแบบจำลองที่สมบูรณ์ยิ่งขึ้น

กระตุ้นให้ AI ของเวียดนามเข้าร่วมกระแส AI เชิงสร้างสรรค์ของโลก

ในเดือนพฤศจิกายน 2023 Zalo AI ได้ประกาศมาตรฐานการประเมินความสามารถภาษาเวียดนามของ VMLU อย่างเป็นทางการ นี่คือชุดมาตรฐานที่วิศวกร AI ของ Zalo วิจัยและพัฒนาร่วมกับ JAIST เพื่อประเมินความสามารถในการทำความเข้าใจและนำภาษาเวียดนามของโมเดล AI ไปใช้ โดยเฉพาะ Generative AI

การถือกำเนิดของ VMLU กระตุ้นให้บุคคล สตาร์ทอัพ หรือกลุ่มวิจัยขนาดเล็กพัฒนาโมเดล AI ใหม่ๆ ของเวียดนาม สิ่งนี้ช่วยอำนวยความสะดวกในการวิจัยใหม่ วางรากฐานสำหรับการวัดความแม่นยำ และอัปเกรดผลลัพธ์ของโมเดลพื้นฐาน ช่วยปรับปรุงกระบวนการพัฒนาแอปพลิเคชัน AI ภาษาเวียดนามที่สร้างขึ้นโดยคนเวียดนามเพื่อให้บริการคนเวียดนามให้สมบูรณ์แบบยิ่งขึ้น

นี่เป็นอีกปัจจัยสำคัญประการหนึ่งที่ส่งเสริมการพัฒนา Generative AI ในเวียดนามให้เร็วขึ้นและทันต่อกระแสการพัฒนา AI ของโลก

มาตรฐานการประเมินความสามารถภาษาเวียดนามมีอะไรบ้าง?

ดังนั้น นี่จึงเป็นชุดมาตรฐานการประเมินภาษาเวียดนามแบบหลายแง่มุมหลายระดับที่ตอบสนองความต้องการที่หลากหลายที่สุดในตลาดการวิจัยและพัฒนา Generative AI ของเวียดนาม โดยมุ่งเน้นที่สองส่วนหลัก: ข้อมูล (ชุดข้อมูลทดสอบ) และชุดมาตรฐานการประเมิน เป็นพื้นฐานสำหรับการทดสอบโมเดล AI ที่ใช้ภาษาเวียดนาม

โดยเฉพาะอย่างยิ่งชุดข้อมูลนี้ประกอบด้วยคำถามแบบเลือกตอบ 10,880 ข้อเกี่ยวกับหัวข้อที่แตกต่างกัน 58 หัวข้อ แต่ละหัวข้อมีคำถามประมาณ 200 ข้อ และแบ่งออกเป็น 4 ด้าน ได้แก่ STEM, สังคมศาสตร์, มนุษยศาสตร์ และหมวดหมู่ "ขยาย" กว้าง ด้วยบล็อคข้อมูลนี้ VMLU มีการแบ่งระดับความยากเป็น 4 ระดับ: ประถมศึกษา มัธยมศึกษา มัธยมศึกษาตอนปลาย และอาชีวศึกษา - สำหรับมหาวิทยาลัยและบัณฑิตศึกษา ชุดเครื่องมือนี้จะช่วยประเมินความสามารถทางภาษาเวียดนามของโมเดล AI ได้อย่างมีประสิทธิภาพ ทั้งในความรู้พื้นฐานและการแก้ไขปัญหาที่ซับซ้อน

นอกจากนี้ เพื่อช่วยให้กลุ่มนักวิจัยประเมินความสามารถของโมเดล AI ของเวียดนามได้อย่างง่ายดาย ทีมวิศวกร AI ของ Zalo จึงได้ออกแบบคำแนะนำเพื่อให้กลุ่มต่างๆ สามารถใช้งานได้อย่างรวดเร็วและง่ายดาย

มีส่วนสนับสนุนชุมชน AI ของชาวเวียดนาม

ชุดมาตรฐาน VMLU ถือกำเนิดขึ้นเป็นผลิตภัณฑ์ด้านการวิจัยที่มีจุดมุ่งหมายเพื่อมีส่วนสนับสนุนและพัฒนาชุมชนวิจัย AI ของเวียดนามโดยเฉพาะ และชุมชนเทคโนโลยีสารสนเทศโดยทั่วไป โดยไม่เรียกเก็บเงินจากผู้ใช้ กลุ่มวิจัย หรือธุรกิจใดๆ

ก่อนหน้านี้ Zalo AI ได้ดำเนินการ ปรับใช้ และจัดการแข่งขันและโปรแกรมต่างๆ มากมายสำหรับชุมชน AI ของเวียดนาม เช่น Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... กิจกรรมเหล่านี้ไม่เพียงแต่สร้างสนามเด็กเล่นให้กับชุมชน AI ของเวียดนามเท่านั้น แต่ยังส่งเสริมการประยุกต์ใช้ AI ในชีวิต แก้ไขปัญหาสังคมเร่งด่วน และตอบสนองความต้องการของชาวเวียดนามหลายล้านคนอีกด้วย

ดร. Chau Thanh Duc หัวหน้าแผนกวิจัย Zalo AI อาจารย์ประจำมหาวิทยาลัยวิทยาศาสตร์ธรรมชาติ มหาวิทยาลัยแห่งชาติ โฮจิมินห์ ซิตี้ กล่าวว่า “Zalo AI มุ่งมั่นที่จะมีส่วนสนับสนุนชุมชน AI ของเวียดนามอยู่เสมอ โดยสร้างแรงบันดาลใจให้ AI ของเวียดนามพัฒนาต่อไป จากนี้ไป เราคาดหวังว่าจะมีผลิตภัณฑ์ AI จากชาวเวียดนามเพิ่มมากขึ้นเรื่อยๆ เพื่อชาวเวียดนาม”

แหล่งที่มา