מעט פרמטרים, הרבה נתונים

PaLM 2, מודל השפה הגדולה (LLM) האחרון של גוגל שהוכרז בשבוע שעבר, משתמש בכמעט פי חמישה בכמות נתוני אימון בהשוואה לקודמו משנת 2022, מה שמאפשר לו לבצע תכנות, מתמטיקה ויצירת תוכן מתקדמים יותר.

בכנס המפתחים של גוגל I/O, ענקית החיפוש הציגה את PaLM 2 - מודל שפה שאומן על 3.6 טריליון טוקנים. טוקנים אלה הם רצפים של מילים - אבני הבניין המשמשות לאימון LLM לחזות את המילה הבאה.

הגרסה הקודמת של PaLM שוחררה בשנת 2022 והוטבעה ב-780 מיליארד טוקנים.

מנכ"ל גוגל, סונדר פיצ'אי, הציג באירוע Google I/O בשבוע שעבר את מודל השפה הגדול האחרון של החברה, PaLM 2.

בעוד שגוגל משבחת את יכולותיה בתחום הבינה המלאכותית בחיפוש, דוא"ל, עיבוד תמלילים וגיליונות אלקטרוניים, החברה נרתעה מחשיפת גודל או פרטי מערכי הנתונים שלה לאימון. OpenAI גם שומרת בסוד את פרטי אלגוריתם האימון האחרון שלה בתחום ה-LLM, GPT-4.

חברות טכנולוגיה מייחסות את הסיבה לאופי התחרותי של עסקיהן. גם גוגל וגם OpenAI מתחרות כדי למשוך משתמשים באמצעות צ'אטבוטים במקום מנועי חיפוש מסורתיים.

קומפקטי, עוצמתי, חסכוני

גוגל טוענת ש-PaLM 2 קטן יותר מקודמיו, ומתאמן עם 340 מיליארד פרמטרים לעומת 540 מיליארד בגרסה הקודמת. זה מראה שהטכנולוגיה של החברה הופכת יעילה יותר בביצוע משימות מורכבות.

כדי להשיג זאת, PaLM 2 משתמש בטכניקה חדשה הנקראת "אופטימיזציה של מחשוב מורחב", המספקת "ביצועים כוללים טובים יותר, כולל הסקה מהירה יותר עם פחות פרמטרים המפחיתים את התקורה".

מודל הבינה המלאכותית העדכני ביותר של גוגל, שאומן ביותר מ-100 שפות, מבצע מגוון משימות עבור 25 תכונות ומוצרים, כולל הצ'אטבוט הניסיוני Bard. PaLM 2 מגיע בארבע גרסאות לפי גודל, מהקטנה ביותר לגדולה ביותר: שממית, לוטרת, ביזון וחדי קרן.

על פי תיעוד פומבי, PaLM 2 חזק יותר מכל מודל קיים. LlaMA של פייסבוק, שיצא בפברואר, אומן על 1.4 טריליון טוקנים. בינתיים, OpenAI חשפה בפומבי לאחרונה את גודל נתוני האימון עבור ChatGPT, גרסה של GPT-3, עם 300 מיליארד טוקנים.

התפוצצות יישומי הבינה המלאכותית יצרה מחלוקת סביב הטכנולוגיה. מוקדם יותר השנה, אל מהדי אל מחמדי, מדען בכיר בגוגל ריסרץ', התפטר במחאה על חוסר השקיפות של ענקית החיפוש.

השבוע, מנכ"ל OpenAI, סם אלטמן, העיד גם בפני תת-הוועדה לענייני פרטיות וטכנולוגיה בסנאט האמריקאי בהקשר של התפשטות הבינה המלאכותית, שם "אבי" ChatGPT הסכים עם המחוקקים כי יש צורך בתקנות חדשות כדי לשלוט בבינה המלאכותית.

(לפי CNBC)

מָקוֹר: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html