מעט פרמטרים, הרבה נתונים

[מודעה_1]

PaLM 2, מודל השפה הגדולה (LLM) האחרון של גוגל, שהוכרז בשבוע שעבר, משתמש בכמעט פי חמישה בכמות נתוני אימון בהשוואה לקודמו משנת 2022, מה שמאפשר לו לבצע תכנות, מתמטיקה ויצירת תוכן מתקדמים יותר.

בכנס המפתחים של גוגל I/O, ענקית החיפוש הציגה את PaLM 2 - מודל שפה שאומן על 3.6 טריליון טוקנים. טוקנים אלה הם רצפים של מילים - אבני הבניין המשמשות לאימון ה-LLM לחזות את המילה הבאה.

הגרסה הקודמת של PaLM שוחררה בשנת 2022 והוטבעה ב-780 מיליארד טוקנים.

מנכ"ל גוגל, סונדר פיצ'אי, הציג באירוע Google I/O בשבוע שעבר את מודל השפה הגדול האחרון של החברה, PaLM 2.

בעוד שגוגל משבחת את יכולותיה בתחום הבינה המלאכותית בחיפוש, דוא"ל, עיבוד תמלילים וגיליונות אלקטרוניים, החברה נרתעה מחשיפת גודל או פרטי מערכי נתוני ההדרכה שלה. OpenAI גם שמרה בסוד את פרטי מפרט ההדרכה האחרון שלה לתואר שני במשפטים, GPT-4.

חברות טכנולוגיה מייחסות את הסיבה לאופי התחרותי של עסקיהן. גם גוגל וגם OpenAI מתחרות כדי למשוך משתמשים באמצעות מוצרי צ'אטבוט במקום מנועי חיפוש מסורתיים.

קומפקטי, עוצמתי, חסכוני

גוגל טוענת ש-PaLM 2 קטן יותר מקודמיו, ומאומן עם 340 מיליארד פרמטרים בהשוואה ל-540 מיליארד פרמטרים בגרסה הקודמת. זה מראה שהטכנולוגיה של החברה הופכת יעילה יותר בביצוע משימות מורכבות.

כדי להשיג זאת, PaLM 2 משתמש בטכניקה חדשה הנקראת "אופטימיזציה של מחשוב מורחב", המספקת "ביצועים כוללים טובים יותר, כולל הסקה מהירה יותר עם פחות פרמטרים המפחיתים את התקורה".

מודל הבינה המלאכותית העדכני ביותר של גוגל, שאומן ביותר מ-100 שפות, מבצע מגוון משימות עבור 25 תכונות ומוצרים, כולל הצ'אטבוט הניסיוני Bard. PaLM 2 מגיע בארבע גרסאות לפי גודל, מהקטנה ביותר לגדולה ביותר: שממית, לוטרת, ביזון וחדי קרן.

על פי תיעוד פומבי, PaLM 2 חזק יותר מכל מודל קיים. LlaMA של פייסבוק, שיצא בפברואר, אומן על 1.4 טריליון טוקנים. בינתיים, OpenAI חשפה בפומבי לאחרונה את גודל נתוני האימון עבור ChatGPT, גרסה של GPT-3, עם 300 מיליארד טוקנים.

התפוצצות יישומי הבינה המלאכותית יצרה מחלוקת סביב הטכנולוגיה. מוקדם יותר השנה, אל מהדי אל מחמדי, מדען בכיר בגוגל ריסרץ', התפטר במחאה על חוסר השקיפות של ענקית החיפוש.

השבוע, מנכ"ל OpenAI, סם אלטמן, העיד גם בפני תת-הוועדה לענייני פרטיות וטכנולוגיה בסנאט האמריקאי בהקשר של פופולריות גוברת של בינה מלאכותית, שם "אבי" ChatGPT הסכים עם המחוקקים כי יש צורך בתקנות חדשות כדי לשלוט בבינה מלאכותית.

(לפי CNBC)

[מודעה_2]
מָקוֹר