זאלו והמסע של התגברות על מכשולים כדי לכבוש שאיפות ביתיות

בעוד העולם צופה בהתקדמות המהירה בתחום הבינה המלאכותית של המעצמות, צוות הנדסת הטכנולוגיה של זאלו מתחיל מסע שאפתני: שליטה בבינה מלאכותית בווייטנאמית.

התפוצצות הבינה המלאכותית הגנרטיבית (Generative AI) שינתה לחלוטין את נוף הטכנולוגיה העולמי.

מאז ש-OpenAI השיקה את ChatGPT בסוף 2022, סדרה של מודלים דומים לתואר שני במשפטים הופיעו ברציפות, המיושמים בתחומים רבים כמו בריאות, חינוך , פיננסים, משפטים... המירוץ הפך עז, לא רק בקנה מידה ארגוני אלא גם בקנה מידה לאומי מבחינת קיבולת הכשרה, תשתית מחשוב ונתונים.

חברות גדולות כמו OpenAI, גוגל, מטה או מיקרוסופט, בעלות פוטנציאל פיננסי ותנאים נוחים, השקיעו כולן "במהירות" מיליארדי דולרים כדי להחזיק באלפי כרטיסי מסך מתקדמים כמו Nvidia H100 - הגורם המרכזי להכשרת מודלים של LLM. מחיר המניה של Nvidia זינק באותה תקופה, מה שמשקף את הצמא העולמי לתשתיות.

בינתיים, חברות טכנולוגיה במדינות מתפתחות, בנוסף לבעיות עלויות, מתמודדות גם עם הגבלות על ייבוא ​​וייצוא של ציוד שבבי בינה מלאכותית מארה"ב. זה מוביל לחוסר בציוד הדרכה ול"איטיות" בהשוואה לענקיות הטכנולוגיה. עם שאיפות מקומיות, Zalo אינה יוצאת דופן.

מבחינת נתונים, בעיות קודמות של למידת מכונה דרשו כמויות גדולות של נתוני אימון, אך עבור מודלים של שפות גדולות, מדובר בכמות עצומה של נתונים. כדי שיהיה מודל מספיק טוב, מערכת LLM דורשת עשרות או אפילו מאות מיליארדי אסימוני טקסט קלט. בינתיים, מבחינת פופולריות, וייטנאמית אינה "ברמה" של אנגלית וסינית. זה הכפיל את הקושי עבור מפתחי LLM וייטנאמים.

בשנת 2023, מודלים לשוניים גדולים (LLM) כמו GPT-3.5, GPT-4 כבשו את עולם הטכנולוגיה בסערה, וגם חברות וייטנאמיות רבות בחרו במודלים מכווננים מתוצרת חוץ כדי לקצר את הדרך ולהתקדם בתהליך ההכשרה לתואר שני במשפטים.

זאלו בחר בדרך אחרת - קשה יותר, אך אוטונומית יותר: אימון עצמי של המודל מאפס (from-scratch model). דרך הדורשת שהכל ייבנה מאפס - מנתונים, ארכיטקטורת המודל ועד לכל תהליך האימון. החלטה זו לא הייתה כדי להתחרות בענקים אלא כדי לממש את שאיפת העם הווייטנאמי: שליטה במודל LLM בשפת אמו.

"צפינו את הקשיים ועדיין החלטנו להצטרף למשחק מוקדם. לא התחרינו ישירות עם 'הגדולים' אלא בחרנו בשוק נישה שבו נוכל להשתפר. השאיפה שלנו היא לבנות מודל שהעם הווייטנאמי ישלוט בו לחלוטין - מנתונים ועד אלגוריתמים", שיתף ד"ר נגוין טרונג סון, מנהל המדע ב-Zalo AI.

למרות שהתמודדו עם מכשולים רבים בשלושה גורמים עיקריים, כולל תשתית, נתונים ורמת הכשרה, מהנדסים וייטנאמים מצאו באופן יזום פתרונות להתגברות על קשיים. זה מדגים את הרוח וכוח הרצון של העם הווייטנאמי בנסיבות קשות, במיוחד במקרה זה, התגברות על אתגרים בתהליך פיתוח תואר ראשון במשפטים (LLM) עבור העם הווייטנאמי.

כדי להכשיר תואר שני במשפטים (LLM), מהנדסים היו זקוקים לתשתית המתאימה. אבל באותה תקופה, מעבדים גרפיים כמו H100 של Nvidia היו כמעט "נדירים עולמיים". בינתיים, חברות גדולות הזמינו אותם מראש במשך שנה ושילמו מיליוני דולרים כדי להחזיק בהם. בווייטנאם, Zalo גם ניסתה לרכוש 8 שרתי DGX H100, אבל זה לא היה קל, והייתה צריכה להמתין לכל אצווה של משלוחים מהיצרן.

בהיעדר מעבדי גרפיקה של Nvidia, מהנדסים וייטנאמים היו צריכים להשתמש בגמישות במעבדי גרפיקה של צרכנים כדי להתנסות בכל שורת קוד ולהריץ כל מודל קטן. במקום לחכות, המהנדסים התכוננו באופן יזום כך שכאשר יהיה להם ציוד מודרני, הכל יהיה מוכן.

מבחינת נתונים, במקום להסתמך על משאבים זמינים, זאלו השקיעה בבניית מחסן נתונים איכותי במיוחד עבור שפות וייטנאמיות, כדי לפצות על המחסור החמור בהשוואה לאנגלית ולסינית.

הודות לאסטרטגיית הפיתוח הגמישה שלה, Zalo הצליחה לקצר את זמן הפיתוח של מודל השפה הגדול שלה מ-18 חודשים צפויים ל-6 חודשים. בסוף שנת 2023, מודל השפה הגדולה הוייטנאמית של Zalo הושק רשמית באירוע שאסף את קהילת הטכנולוגיה והבינה המלאכותית המובילה בווייטנאם - Zalo AI Summit. כאן, מודל ה-LLM של Zalo ערך את הופעת הבכורה שלו באתגר Kahoot שקבע Tinhte.vn ובאופן מפתיע עקף את GPT 3.5, רק אחרי GPT4 - מודל ה-LLM שנחשב לחזק בעולם באותה תקופה.

בהתבסס על פלטפורמת ההערכה VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), המודל של Zalo חזק פי 1.5 מ-GPT-3.5 של OpenAI. עד סוף 2024, מודל זה יעקוף שמות גדולים כמו GPT-4 (OpenAI), Gemma-2-9B (Google) או Phi-3-small (Microsoft), רק אחרי LLaMA-3-70B של Meta מבחינת יכולת עיבוד וייטנאמית בדירוג VMLU.

זאלו לא רק עוצרת במחקר, אלא מחייה בהדרגה את הטכנולוגיה מהמעבדה על ידי מסחור ופופולריות של מוצרי יישומים מתואר ראשון במשפטים.

בתחילת 2025, עוזרת השאלות והתשובות הכללית Kiki Info - שפעלה כחשבון רשמי בפלטפורמת Zalo - משכה יותר ממיליון משתמשים בפחות מחודשיים. אפליקציה נוספת, Thiep AI, הגיעה גם היא למספר מרשים של 15 מיליון כרטיסים שנוצרו ונשלחו תוך חודשיים בלבד.

המסע של זאלו אינו עוסק רק בחברה שרוצה לפתח טכנולוגיה. זהו חלק מהתמונה הגדולה יותר - שבה וייטנאם מקדמת חדשנות באגרסיביות, עם מדיניות מהחלטה 57-NQ/TW בנושא פיתוח מדע וטכנולוגיה וטרנספורמציה דיגיטלית לאומית. בפרט, תחום הבינה המלאכותית מודגש.

הופעתה וההתפתחות המהירה של תואר ראשון במשפטים וייטנאמי מבית Zalo אינה רק צעד טכנולוגי קדימה עבור עסק, אלא גם עדות ליכולת הטבועה ולהתמדה של צוות הטכנולוגיה הווייטנאמי.

בעזרת טכניקת "מאפס" - אימון מודלים מאפס, זאלו בחרה בדרך הארוכה, אך עזרה לווייטנאם לשלוט באמת בבינה מלאכותית. לא רק מבחינת תוצאות, אלא גם מבחינת התהליך כולו, החל מארכיטקטורת המודל, נתונים, אלגוריתמים ועד מוצרי יישומים. הצלחתה של זאלו גם עזרה לווייטנאם להפוך לאחת המדינות הבודדות בדרום מזרח אסיה המחזיקות במודל LLM מקומי - אבן דרך אסטרטגית בהקשר של תחרות טכנולוגית עולמית גוברת.

במסע הארוך שלפנינו, Zalo לא תעצור רק במודל אחד או בכמה מוצרים, אלא תמשיך לשכלל את המודל הן כדי לשרת את המשתמשים והן כדי ליצור פלטפורמת בינה מלאכותית וייטנאמית באיכות תחרותית: "מסע פיתוח הבינה המלאכותית של Zalo עדיין ארוך. נמשיך לייעל את המודל הן לרוחב והן לעומק, תוך קידום יישום מעשי. המטרה הסופית היא ליצור מוצרי בינה מלאכותית איכותיים שישרתו את העם הווייטנאמי באופן מעשי", הוסיף מר סון.

הפיתוח המוצלח של תואר ראשון במשפטים בווייטנאם על ידי Zalo הוא לא רק פריצת דרך לעסק, אלא גם פותח עתיד פוטנציאלי לבינה מלאכותית וייטנאמית. ההתמדה והשאיפה של העם הווייטנאמי הובילו את המסע להשגת תוצאות ראויות. עתיד הבינה המלאכותית הווייטנאמית לא יכלול רק "Zalo", אלא גם דור של מהנדסים אמיצים שילכו בעקבותיהם, יירשו ויכבשו את עולם הטכנולוגיה.

מקור: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html