צ'אטבוטים של בינה מלאכותית משתגעים

באפריל, בוט בינה מלאכותית המטפל בתמיכה טכנית עבור Cursor, כלי מתפתח למתכנתים, הודיע לכמה לקוחות על שינוי במדיניות החברה, ואמר במפורש כי אינם מורשים עוד להשתמש ב-Cursor ביותר ממחשב אחד.

לקוחות פרסמו את זעמם בפורומים וברשתות החברתיות. חלקם אף ביטלו את חשבונות ה-Cursor שלהם. אבל חלקם היו כועסים עוד יותר כשהבינו מה קרה: בוט הבינה המלאכותית דיווח על שינוי מדיניות שלא היה קיים.

"אין לנו מדיניות כזו. כמובן שניתן להשתמש ב-Cursor על מספר מכונות. לרוע המזל, זו הייתה תגובה שגויה של בוט המופעל על ידי בינה מלאכותית", כתב מייקל טרואל, מנכ"ל החברה ומייסד שותף, בפוסט ברדיט.

מידע מזויף יצא מכלל שליטה.

יותר משנתיים לאחר השקת ChatGPT, חברות טכנולוגיה, עובדי משרד וצרכנים יומיומיים משתמשים בבוטים של בינה מלאכותית למגוון משימות בתדירות הולכת וגוברת.

עם זאת, אין דרך להבטיח שמערכות אלו מייצרות מידע מדויק. באופן פרדוקסלי, הטכנולוגיות החדשות והחזקות ביותר, המכונות מערכות "הסקה" של חברות כמו OpenAI, גוגל ו-DeepSeek, עושות יותר טעויות.

שיחה חסרת משמעות בצ'אטGPT שבה משתמש שואל אם כלבים צריכים לאכול דגני בוקר. צילום: Reddit.

בעוד שהכישורים המתמטיים השתפרו באופן דרמטי, היכולת של מודלים לשוניים גדולים (LLMs) ללכוד את האמת הפכה לרעועה יותר. באופן מפתיע, אפילו המהנדסים עצמם אינם ברורים לחלוטין מדוע.

על פי הניו יורק טיימס , צ'אטבוטים של ימינו המבוססים על בינה מלאכותית מסתמכים על מערכות מתמטיות מורכבות כדי ללמוד מיומנויות על ידי ניתוח כמויות עצומות של נתונים דיגיטליים. עם זאת, הם אינם יכולים להחליט מה נכון ומה לא נכון.

משם, מופיע מצב של "הזיה" או ייצור עצמי של מידע. למעשה, על פי מחקרים, הדור האחרון של מכשירי LLM אף "מזים" יותר מאשר דגמים ישנים יותר.

באופן ספציפי, בדוח האחרון, OpenAI גילתה שמודל o3 "הזתה" כאשר ענה על 33% מהשאלות ב-PersonQA, הסטנדרט הפנימי של החברה למדידת דיוק הידע של המודל על בני אדם.

לשם השוואה, זהו שיעור כפול משיעור ה"הזיות" בהשוואה למודלים הקודמים של OpenAI, o1 ו-o3-mini, שסבלו מ-16% ו-14.8% בהתאמה. בינתיים, מודל ה-o4-mini הציג ביצועים גרועים אף יותר ב-PersonQA, וסבל מ"הזיות" ב-48% מהמקרים.

מדאיג עוד יותר, "אבי ChatGPT" לא באמת יודע מדוע זה קורה. באופן ספציפי, בדוח הטכני על o3 ו-o4-mini, OpenAI כותב כי "יש צורך במחקר נוסף כדי להבין מדוע ה'אשליה' מחמירה" ככל שמודלי ההיגיון גדלים.

דגמי o3 ו-o4-mini הציגו ביצועים טובים יותר בתחומים מסוימים, כולל תכנות ומשימות הקשורות למתמטיקה. עם זאת, מכיוון שהם היו צריכים "לנסח יותר הצהרות מאשר להכליל", שני המודלים סבלו מייצור "הצהרות נכונות יותר, אך גם יותר שגויות".

"זה לעולם לא ייעלם"

במקום מערכת כללים נוקשה שנקבעת על ידי מהנדסים אנושיים, מערכות LLM משתמשות בהסתברות מתמטית כדי לנחש את התשובה הטובה ביותר. לכן הן תמיד עושות מידה מסוימת של טעויות.

"למרות מאמצינו הטובים ביותר, מודלים של בינה מלאכותית תמיד יהיו הזויים. זה לעולם לא ייעלם", אמר עמר עוואדאללה, בכיר לשעבר בגוגל.

לפי IBM, הזיות הן תופעה שבה מודלים של שפה גדולה (LLMs) - בדרך כלל צ'אטבוטים או כלי ראייה ממוחשבת - מקבלים דפוסי נתונים שאינם קיימים או שאינם ניתנים לזיהוי על ידי בני אדם, ובכך מייצרים תוצאות חסרות משמעות או מטעות. צילום: iStock.

במאמר מפורט על הניסויים, אמרה OpenAI כי היא זקוקה למחקר נוסף כדי להבין את הסיבות לתוצאות אלו.

מכיוון שמערכות בינה מלאכותית לומדות מכמויות גדולות בהרבה ממה שבני אדם יכולים להבין, קשה לקבוע מדוע הן מתנהגות בדרכים כאלה, אומרים מומחים.

"אשליות שכיחות יותר באופן טבעי במודלים של הסקה, למרות שאנו פועלים באופן פעיל כדי להפחית את השכיחות הנראית ב-o3 ו-o4-mini. נמשיך לעבוד על אשליות בכל המודלים כדי לשפר את הדיוק והאמינות", אמר גבי ריילה, דוברת OpenAI.

בדיקות של מספר חברות וחוקרים עצמאיים מראות ששיעור ההזיות עולה גם עבור מודלים של הסקה מחברות כמו גוגל או דיפסיק.

מאז סוף 2023, חברת Vectara, חברת עוואדאללה, עוקבת אחר התדירות שבה צ'אטבוטים מציגים מידע באופן שגוי. החברה ביקשה מהמערכות לבצע משימה פשוטה וקלה לאימות של סיכום מאמרי חדשות ספציפיים. אפילו אז, הצ'אטבוטים התמידו בזיוף מידע.

באופן ספציפי, המחקר הראשוני של Vectara העריך שבתרחיש זה, צ'אטבוטים בדו מידע לפחות 3% מהזמן, ולפעמים אף 27%.

במהלך השנה וחצי האחרונות, חברות כמו OpenAI וגוגל צמצמו את המספרים הללו לכ-1 או 2%. אחרות, כמו הסטארט-אפ Anthropic מסן פרנסיסקו, נעות סביב 4%.

עם זאת, שיעור ההזיות במבחן זה המשיך לעלות עבור מערכות ההסקה. תדירות ההזיות עלתה ב-14.3% עבור מערכת ההסקה R1 של DeepSeek, בעוד ש-o3 של OpenAI עלה ב-6.8%.

בעיה נוספת היא שמודלים של הסקה נועדו להקדיש זמן ל"חשיבה" על בעיות מורכבות, לפני שמגיעים לתשובה סופית.

בגרסת הבדיקה הראשונה של macOS 15.1 הוכנסה על ידי אפל בקשה למנוע מבינה מלאכותית להמציא מידע. צילום: Reddit/devanxd2000.

החיסרון, עם זאת, הוא שככל שמודל הבינה המלאכותית מנסה לפתור את הבעיה צעד אחר צעד, הוא הופך להיות רגיש יותר להזיות בכל שלב. וחשוב מכך, טעויות יכולות להצטבר ככל שהמודל מקדיש יותר זמן לחשיבה.

הבוטים החדשים ביותר מראים למשתמשים כל שלב, מה שאומר שמשתמשים יכולים לראות גם כל שגיאה. חוקרים מצאו גם שבמקרים רבים, תהליך החשיבה שמוצג על ידי צ'אטבוט אינו קשור למעשה לתשובה הסופית שהוא נותן.

"מה שהמערכת אומרת שהיא מסיקה אינו בהכרח מה שהיא באמת חושבת", אומר אריו פרדיפטה גמה, חוקר בינה מלאכותית באוניברסיטת אדינבורו ושותף ב-Anthropic.

מקור: https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html