הבעיה הגדולה של Veo 3

מודל בינה מלאכותית זה מוסיף באופן אוטומטי כתוביות חסרות משמעות לסרטונים יותר מחודש לאחר השקתו, מצב שמראה שגוגל מוכנה לשחרר מוצרים לא גמורים כדי להדגים את יכולות הבינה המלאכותית שלה.

Veo3 הוא מודל הבינה המלאכותית האחרון של גוגל שהושק בסוף מאי, ומאפשר לו ליצור סרטונים המבוססים על פקודות. מודל זה משך את תשומת ליבה של קהילת יצירת התוכן משום שהוא מאפשר לו ליצור סרטונים עם קול ודיאלוג, תכונה שלא הייתה זמינה בגרסת המודל הקודמת של גוגל, ובכך הופך אותו למציאותי יותר.

משתמשים רבים משתמשים בסרטוני Veo 3, שאורכם עד 8 שניות, כדי ליצור פרסומות, סרטוני ASMR, טריילרים לסרטי פנטזיה וראיונות רחוב הומוריסטיים.

הבמאי המועמד לאוסקר דארן ארונופסקי השתמש בכלי כדי ליצור סרט קצר בשם Ancestra. במהלך מסיבת עיתונאים, מנכ"ל גוגל דיפמיינד, דמיס האסאביס, השווה את Veo 3 להתרחקות מעידן הסרטים האילם בקולנוע.

כתוביות ל"מתמיד" מ-Veo 3

עם זאת, משתמשים רבים גילו שהכלי אינו פועל כמצופה. בעת יצירת קליפים עם דיאלוגים, Veo 3 לעתים קרובות מוסיף אוטומטית כתוביות חסרות משמעות ומבולגנות, גם כאשר הפקודה מציינת במפורש לא להוסיף כתוביות.

הסרת הכתוביות הללו אינה פשוטה. משתמשים נאלצים ליצור מחדש את הסרטון, להוציא "טוקנים" שמשמעותם הוצאת כסף נוסף עבור גוגל, או להשתמש בכלי חיצוני כדי להסיר את הכתוביות, או לחתוך את הסרטון כדי להסיר את הכתוביות.

Veo 3 מייצר תמונות מציאותיות, דיאלוגים תואמים לתנועות הפה, אבל הכתוביות חסרות משמעות. צילום: Lesswrong .

ג'וש וודוורד, סגן נשיא גוגל לאבס וג'מיני, פרסם ב-X ב-9 ביוני שגוגל פיתחה תיקונים להפחתת ספאם. אך יותר מחודש לאחר מכן, משתמשים ממשיכים לדווח על הבעיה בערוץ הדיסקורד של גוגל לאבס, מה שמראה שתיקון באגים במודלים גדולים של בינה מלאכותית אינו קל.

כמו מודלי הבינה המלאכותית הקודמים של גוגל ליצירת וידאו, Veo 3 הוא מודל בתשלום, החל מ -249.99 דולר לחודש. כדי ליצור סרטון בן 8 שניות, המשתמשים מזינים תיאור ב-Flow, Gemini או פלטפורמה אחרת. כל קליפ שנוצר עם Veo 3 עולה מינימום של 20 נקודות זכות לבינה מלאכותית, ומשתמשים יכולים להטעין אותו ל-2,500 נקודות זכות תמורת 25 דולר .

מונה וייס, מנהלת מסחרית, אמרה שיצירה מחדש של קטעי וידאו כדי להסיר כתוביות הופכת להוצאה משמעותית. "אם תיצרו סצנה מדוברת עם Veo3, כ-40% מהפלט יכיל כתוביות ג'יבריש שהופכות את הסרטון לבלתי שמיש", אמרה. "זה הרבה כסף להשיג סצנה שאתם אוהבים, אבל בסופו של דבר היא בלתי שמישה".

קשה להסיר את הכתוביות חסרות המשמעות ב-Veo 3. צילום: Technology Review .

כאשר וייס דיווחה על הבעיה ל-Google Labs דרך דיסקורד בתקווה לקבל החזר כספי עבור הקרדיטים שבוזבזו, צוות התמיכה העביר אותה למחלקת התמיכה הרשמית של החברה. הם הציעו להחזיר את עלות המנוי ל-Veo 3, אך לא את הקרדיטים. וייס סירבה מכיוון שקבלת החזר תביא לאובדן הגישה למודל.

צוות התמיכה של דיסקורד של גוגל לאבס אומר שניתן להפעיל כתוביות באופן אוטומטי אם מזוהה דיבור, והם עובדים על תיקון.

הבעיה עם הגישה של גוגל

הסיבה ש-Veo 3 מוסיף כתוביות באופן אוטומטי נובעת מהנתונים עליהם המודל מאומן.

למרות שגוגל לא חשפה את פרטי קטגוריות הנתונים ששימשו לאימון המודל, היא ככל הנראה כללה סרטונים מיוטיוב ומטיקטוק, שרבים מהם כוללים כיתובים המוטמעים ישירות בפריים, מה שמקשה על הסרתם לפני השימוש בהם כנתוני אימון מודל, כך לפי שואו ניו, חוקר פלטפורמות שיתוף וידאו ובינה מלאכותית באוניברסיטת קלארק (מסצ'וסטס, ארה"ב).

"מודלים של טקסט-לווידאו מאומנים באמצעות למידת חיזוקים כדי ליצור תוכן המחקה סרטונים שנוצרו על ידי בני אדם, ואם לסרטונים אלה יש כתוביות, המודל יכול 'ללמוד' שהוספת כתוביות הופכת את המוצר לדומה יותר לסרטונים שנוצרו על ידי בני אדם", הוא מסביר.

Veo 3 מושפע מנתוני אימון מודלים מסרטוני יוטיוב וטיקטוק. צילום: Mashable .

"אנו משפרים כל הזמן את יכולות יצירת הסרטונים שלנו, במיוחד סביב טקסט, דיבור טבעי ואודיו מסונכרן בצורה מושלמת", אמר דובר גוגל. "אנו מעודדים משתמשים לנסות שוב את הפקודות שלהם אם הם רואים תוצאות לא עקביות ולתת לנו משוב על ידי לייק או דיסלייק לתוצאות."

בנוסף, הסיבה שהמודל מתעלם מהוראות כמו "אין כתוביות" היא משום שהצהרות שליליות (בקשה מהבינה המלאכותית לא לעשות משהו) לרוב פחות יעילות מהנחיות חיוביות, על פי טוהין צ'קרברטי, חוקר מערכות בינה מלאכותית באוניברסיטת סטוני ברוק.

כדי לתקן את הבעיה באופן מלא, גוגל תצטרך לבחון כל פריים בכל הסרטונים המשמשים לאימון Veo 3, ולאחר מכן להסיר או לשנות את התיוג של הסרטונים עם הכתוביות לפני אימון מחדש של המודל, דבר שייקח שבועות, הוסיף צ'קרברטי.

קטרינה צ'יזק, יוצרת סרטים דוקומנטריים ומנהלת אמנותית במעבדת הדוקומנטרי הפתוחה של MIT, אומרת שהבעיה מראה שגוגל עדיין מוכנה לשחרר מוצרים שעדיין לא גמורים לחלוטין.

"גוגל צריכה ניצחון", אמר צ'יזק. "הם צריכים להיות הראשונים להוציא כלי שיכול להתאים לצלילים של שפתיים. וזה חשוב יותר מתיקון בעיית הכתוביות".

מקור: https://znews.vn/van-de-lon-cua-veo-3-post1569402.html