پارامترهای کمتر، داده‌های بیشتر

PaLM 2، جدیدترین مدل زبان بزرگ (LLM) گوگل که هفته گذشته معرفی شد، در مقایسه با مدل قبلی خود در سال 2022، تقریباً پنج برابر داده‌های آموزشی بیشتری استفاده می‌کند و این امر آن را قادر می‌سازد تا برنامه‌نویسی کند، مسائل را حل کند و محتوای پیشرفته‌تری ایجاد کند.

در کنفرانس توسعه‌دهندگان گوگل I/O، این غول جستجو، PaLM 2 را معرفی کرد - یک مدل آموزش زبان مبتنی بر ۳.۶ تریلیون توکن. این توکن‌ها رشته‌هایی از کلمات هستند - بلوک‌های سازنده‌ای که در آموزش LLM برای پیش‌بینی کلمه بعدی که ظاهر می‌شود، استفاده می‌شوند.

نسخه قبلی PaLM در سال ۲۰۲۲ منتشر شد و با استفاده از ۷۸۰ میلیارد توکن آموزش داده شد.

در رویداد گوگل I/O هفته گذشته، ساندار پیچای، مدیرعامل گوگل، جدیدترین مدل زبان بزرگ این شرکت، یعنی PaLM 2 را معرفی کرد.

اگرچه گوگل دائماً قدرت هوش مصنوعی را در جستجو، ایمیل، پردازش متن و وظایف صفحه گسترده به نمایش می‌گذارد، اما این شرکت تمایلی به افشای اندازه یا جزئیات مجموعه داده‌های آموزشی خود ندارد. OpenAI همچنین جزئیات آخرین پارامتر آموزشی LLM خود، یعنی GPT-4 را محرمانه نگه می‌دارد.

شرکت‌های فناوری این موضوع را با استناد به ماهیت رقابتی کسب‌وکارشان توضیح می‌دهند. هم گوگل و هم OpenAI در حال رقابت برای جذب کاربران با محصولات چت‌بات به جای موتورهای جستجوی سنتی هستند.

جمع و جور، قدرتمند و مقرون به صرفه.

گوگل اظهار داشت که PaLM 2 نسبت به نسخه‌های قبلی خود فشرده‌تر است و با ۳۴۰ میلیارد پارامتر آموزش دیده است، در حالی که این رقم در نسخه قبلی ۵۴۰ میلیارد پارامتر بود. این نشان می‌دهد که فناوری این شرکت در انجام وظایف پیچیده کارآمدتر شده است.

برای دستیابی به این هدف، PaLM 2 از تکنیک جدیدی به نام «بهینه‌سازی محاسبات توسعه‌یافته» استفاده می‌کند که «عملکرد کلی بهتری از جمله استنتاج سریع‌تر با پارامترهای کمتر را ارائه می‌دهد و در نتیجه هزینه‌های عملیاتی را کاهش می‌دهد».

جدیدترین مدل زبانی هوش مصنوعی گوگل که در بیش از ۱۰۰ زبان آموزش دیده است، وظایف مختلفی را برای ۲۵ ویژگی و محصول، از جمله چت‌بات آزمایشی Bard، انجام می‌دهد. PaLM 2 در چهار نسخه بر اساس اندازه، از کوچکترین به بزرگترین، عرضه می‌شود: Gecko، Otter، Bison و Unicorn.

طبق اسناد موجود، PaLM 2 از هر مدل موجود دیگری قدرتمندتر است. LlaMA فیسبوک که در ماه فوریه راه‌اندازی شد، با ۱.۴ تریلیون توکن آموزش دیده بود. در همین حال، آخرین باری که OpenAI به طور عمومی اندازه داده‌های آموزشی ChatGPT را فاش کرد، نسخه GPT-3 با ۳۰۰ میلیارد توکن بود.

انفجار برنامه‌های هوش مصنوعی جنجال‌هایی را پیرامون این فناوری ایجاد کرده است. اوایل امسال، المهدی، دانشمند ارشد گوگل ریسرچ، در اعتراض به عدم شفافیت این غول جستجو، استعفا داد.

این هفته، سم آلتمن، مدیرعامل OpenAI، در کمیته فرعی قضایی سنای ایالات متحده در مورد حریم خصوصی و فناوری در زمینه شیوع روزافزون هوش مصنوعی شهادت داد. در آنجا، خالق ChatGPT با قانون‌گذاران موافقت کرد که برای مدیریت هوش مصنوعی به مقررات جدیدی نیاز است.

(به نقل از سی‌ان‌بی‌سی)

منبع