פחות פרמטרים, יותר נתונים

[מודעה_1]

PaLM 2, מודל השפה הגדולה (LLM) האחרון של גוגל, שהוכרז בשבוע שעבר, משתמש בכמעט פי חמישה בכמות נתוני אימון בהשוואה לקודמו משנת 2022, מה שמאפשר לו לתכנת, לפתור בעיות וליצור תוכן מתקדם יותר.

בכנס המפתחים של גוגל I/O, ענקית החיפוש הציגה את PaLM 2 - מודל אימון שפה המבוסס על 3.6 טריליון טוקנים. טוקנים אלה הם מחרוזות של מילים - אבני הבניין המשמשות באימון LLM כדי לחזות את המילה הבאה שתופיע.

הגרסה הקודמת של PaLM שוחררה בשנת 2022 ואומנה באמצעות 780 מיליארד טוקנים.

באירוע Google I/O שנערך בשבוע שעבר, הציג מנכ"ל גוגל, סונדר פיצ'אי, את מודל השפה הגדול האחרון של החברה, PaLM 2.

למרות שגוגל מציגה ללא הרף את כוחה של הבינה המלאכותית במשימות חיפוש, דוא"ל, עיבוד תמלילים וגיליונות אלקטרוניים, החברה מהססת לחשוף את גודל או את פרטי מערכי הנתונים שלה לאימון. OpenAI גם שומרת על פרטי פרמטר האימון האחרון שלה לתואר שני, GPT-4, בסודיות.

חברות טכנולוגיה מסבירות זאת בציטוט האופי התחרותי של עסקיהן. גם גוגל וגם OpenAI מתחרות כדי למשוך משתמשים עם מוצרי צ'אטבוט במקום מנועי חיפוש מסורתיים.

קומפקטי, עוצמתי וחסכוני.

גוגל הצהירה כי PaLM 2 קומפקטי יותר מקודמיו, לאחר שאומן עם 340 מיליארד פרמטרים לעומת 540 מיליארד פרמטרים בגרסה הקודמת. זה מדגים שהטכנולוגיה של החברה הופכת יעילה יותר בביצוע משימות מורכבות.

כדי להשיג זאת, PaLM 2 משתמש בטכניקה חדשה הנקראת "אופטימיזציה של מחשוב מורחב", המספקת "ביצועים כוללים טובים יותר, כולל הסקה מהירה יותר עם פחות פרמטרים, ובכך מפחיתה את עלויות התפעול".

מודל שפת הבינה המלאכותית העדכני ביותר של גוגל, שאומן ביותר מ-100 שפות, מבצע משימות שונות עבור 25 תכונות ומוצרים, כולל הצ'אטבוט הניסיוני Bard. PaLM 2 מגיע בארבע גרסאות המבוססות על גודל, מהקטנה ביותר לגדולה ביותר: שממית, לוטרת, ביזון וחדי קרן.

על פי מסמכים הזמינים לציבור, PaLM 2 חזק יותר מכל מודל קיים. LlaMA של פייסבוק, שהושק בפברואר, אומן על 1.4 טריליון טוקנים. בינתיים, הפעם האחרונה ש-OpenAI חשפה בפומבי את גודל נתוני האימון עבור ChatGPT הייתה בגרסת GPT-3 עם 300 מיליארד טוקנים.

התפוצצות יישומי הבינה המלאכותית עוררה מחלוקת סביב הטכנולוגיה. מוקדם יותר השנה, אל מהדי, מדען בכיר ב-Google Research, התפטר במחאה על חוסר השקיפות של ענקית החיפוש.

השבוע, סם אלטמן, מנכ"ל OpenAI, העיד גם בפני תת-הוועדה לענייני פרטיות וטכנולוגיה בסנאט האמריקאי, בהקשר של שכיחותה הגוברת של בינה מלאכותית. שם, יוצר ChatGPT הסכים עם המחוקקים כי יש צורך בתקנות חדשות כדי לשלוט בבינה מלאכותית.

(לפי CNBC)

[מודעה_2]
מָקוֹר