המהנדסת של זאלו מביאה טכנולוגיה וייטנאמית לכנס הבינה המלאכותית המוביל בעולם.

שש שנים עם Zalo אפשרו לבוי טי קוק לפתח עוד יותר את התשוקה שלה לבינה מלאכותית. מעבודה במדעי הנתונים מיד לאחר סיום הלימודים, קוק הפכה למהנדסת בינה מלאכותית בכירה ב-Zalo, ייצגה את צוות הפיתוח של VMLU והציגה מחקר בכנס ACL (האגודה לבלשנות חישובית) בווינה, אוסטריה בקיץ 2025.

כנס זה נחשב לכנס האקדמי המוביל בתחום עיבוד שפה טבעית, המושך אליו למעלה מ-2,000 חוקרים מדי שנה. עבודות יסוד רבות בנושא עיבוד שפה טבעית הוצגו כאן לפני שהפכו לסטנדרטים בתעשייה.

"מהיום הראשון בכנס, הייתי המום מההיקף ומהשיחה האקדמית הפתוחה", נזכר קוק. אווירת המחקר הייתה קבועה מהבוקר ועד הלילה, עם פוסטרים רבים שהוצגו, דיונים טכניים ארוכים ונוכחות של מעבדות מ-Meta, Google, Apple ועוד.

מווייטנאם לווינה, אוסטריה

מאמר המחקר של בוי טי קוק, שכותרתו "ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs", שואף לטפל בחוסר בכלי הערכה עבור מודלים של שפה וייטנאמית בקנה מידה גדול.

VMLU, שהושק בנובמבר 2023 על ידי Zalo AI והמכון המתקדם למדע וטכנולוגיה של יפן (JAIST), סיפק סט סטנדרטים משותף המסייע למפתחי מודלי שפה (LLM) בקנה מידה גדול המכוונים למשתמשים וייטנאמים להעריך ולפתח אסטרטגיות אימון מתאימות עבור המודלים שלהם.

בוי קוק ציין כי במהלך פיתוח VMLU, החברים התמודדו עם אתגרים רבים, החל מבניית מדדי ביצועים ועד להבטחת איכות הנתונים. עם זאת, השלב המלחיץ ביותר היה תהליך הגשת המחקר. שיעור הקבלה למחקר ב-ACL הוא רק כ-25%, והם נאלצו להתחרות במוסדות מחקר גדולים רבים בתחום הבינה המלאכותית ברחבי העולם .

"כאשר קיבלנו את התוצאות ברמת כנס הגבול – כלומר, הממצאים התקבלו – כל הצוות היה מרוצה מהצפוי. לאחר מכן, אספתי את כל המשוב מפאנל הביקורת, דנתי בו עם המנהל הישיר שלי, ולבסוף שכנעתי את הסוקרים להעלות את הציון כדי שמאמר המחקר יתקבל בכנס הראשי", נזכר קוק.

גב' בוי טי קוק, המייצגת את צוות הפיתוח של VMLU, הציגה את פרויקט המחקר בכנס ACL.

זהו מדד הייחוס הראשון שנועד להעריך את יכולת הבנת השפה הוייטנאמית של מודלים של שפה גדולה. מדד הייחוס כולל ארבעה מערכי נתונים עם 17,000 שאלות להערכת יכולות בתחומים הבאים: ידע כללי, הבנת הנקרא, חשיבה ודיאלוג.

לדברי מהנדסי Zalo, רוב מדדי הביצועים הנוכחיים מיועדים לאנגלית, שאינה משקפת באופן מלא את ההקשר התחבירי, הסמנטי והתרבותי של הוייטנאמית. תרגום ישיר של קבוצות שאלות מאנגלית לוייטנאמית גורם לעיתים קרובות לאי דיוקים או לאובדן ניואנסים סמנטיים.

כדי להסביר במילים פשוטות את מסגרת ההערכה של תואר שני במשפטים (LLM), דמיינו בינה מלאכותית כסטודנט הזקוק למבחן כדי לבחון את יכולותיו. נכון לעכשיו, רוב הבחינות הן באנגלית, אך צוות הבינה המלאכותית של Zalo רצה ליצור מבחן בווייטנאמית כדי לבחון האם הבינה המלאכותית באמת מבינה ומשתמשת היטב בווייטנאמית.

מר נגוין טרונג סון, מנהל המדע ב-Zalo AI, אישר: "מערכת ההערכה של VMLU מספקת 'מדד' משותף להערכת מודלים גדולים של שפה וייטנאמית. לאחר פרסומה, קיבלנו משוב חיובי רב מקהילת המחקר של בינה מלאכותית הן בארץ והן בעולם. בעתיד, אני מצפה ש-VMLU תהפוך לסטנדרט הערכה בשימוש נרחב ומיושם באופן נרחב, לא רק בקהילה האקדמית אלא גם בעסקים המפתחים מוצרי בינה מלאכותית."

יישום בינה מלאכותית על מוצרי Zalo.

מעבר לערכה האקדמי, ל-VMLU יישומים פוטנציאליים רבים בפיתוח מוצרי בינה מלאכותית ב-Zalo.

לדברי קוק, ראשית, מדד הייחוס מסייע בהערכת הדיוק והבנת השפה של המודלים המשמשים במוצר Kiki Info, עוזר דיגיטלי לאזרח. זה מאפשר לצוות לזהות את מגבלות המודל במיומנויות ספציפיות.

שנית, VMLU משמש ככלי בדיקה לפני פריסת תכונות חדשות של בינה מלאכותית, כגון סיכום הודעות, הצעות למענה אוטומטי או תמיכת שירות לקוחות.

בסופו של דבר, בעזרת יכולות הערכה שיחותיות, VMLU עוזרת ל-Zalo לפתח צ'אטבוטים ארגוניים עם תקשורת טבעית ותואמת את תרבות התקשורת הוייטנאמית.

"המטרה הגדולה ביותר שלנו היא ליצור מודלים של בינה מלאכותית שמבינים את הווייטנאמית באופן טבעי ומדויק", אמר קוק.

המהנדסת הצעירה צופה ש-VMLU תמשיך להתרחב.

עם שובו מוינה, המהנדס הצעיר מקווה ש-VMLU תמשיך להתרחב ותהפוך לפלטפורמה עבור קבוצות מחקר מקומיות רבות להשוות ולהעריך מודלים באופן מאוחד.

"אני מקווה שמאגר נתונים זה יהיה נקודת ההתחלה עבור קהילת הבינה המלאכותית הוייטנאמית להתפתח בצורה חזקה יותר בשנים הקרובות. אנו רוצים לתרום חלק קטן בהפיכת הוייטנאמית לשפה שמודלים גלובליים של בינה מלאכותית מבינים בצורה נכונה ומעבדים אותה ביעילות."