پارامترهای کم، داده‌های زیاد

PaLM 2، جدیدترین مدل زبان بزرگ (LLM) گوگل که هفته گذشته معرفی شد، تقریباً پنج برابر بیشتر از مدل قبلی خود در سال ۲۰۲۲ از داده‌های آموزشی استفاده می‌کند و به آن امکان می‌دهد برنامه‌نویسی، ریاضیات و تولید محتوای پیشرفته‌تری انجام دهد.

در کنفرانس توسعه‌دهندگان گوگل I/O، این غول جستجو، PaLM 2 را معرفی کرد - یک مدل زبانی که بر روی ۳.۶ تریلیون توکن آموزش دیده است. این توکن‌ها توالی‌هایی از کلمات هستند - بلوک‌های سازنده‌ای که برای آموزش LLM جهت پیش‌بینی کلمه بعدی استفاده می‌شوند.

نسخه قبلی PaLM در سال ۲۰۲۲ منتشر شد و با ۷۸۰ میلیارد توکن ضرب شد.

ساندار پیچای، مدیرعامل گوگل، در رویداد Google I/O هفته گذشته، جدیدترین مدل زبان بزرگ این شرکت، یعنی PaLM 2، را معرفی کرد.

در حالی که گوگل در حال تبلیغ و تمجید از توانایی‌های هوش مصنوعی خود در جستجو، ایمیل، پردازش متن و صفحات گسترده است، این شرکت تمایلی به افشای اندازه یا جزئیات مجموعه داده‌های آموزشی خود نداشته است. OpenAI همچنین جزئیات آخرین الگوریتم آموزشی LLM خود، GPT-4، را مخفی نگه می‌دارد.

شرکت‌های فناوری دلیل این امر را به ماهیت رقابتی کسب‌وکار خود نسبت می‌دهند. هم گوگل و هم OpenAI در حال رقابت برای جذب کاربران با استفاده از چت‌بات‌ها به جای موتورهای جستجوی سنتی هستند.

جمع و جور، قدرتمند، مقرون به صرفه

گوگل می‌گوید PaLM 2 از نسخه‌های قبلی خود کوچک‌تر است و با ۳۴۰ میلیارد پارامتر آموزش می‌دهد، در حالی که نسخه قبلی ۵۴۰ میلیارد پارامتر داشت. این نشان می‌دهد که فناوری این شرکت در انجام وظایف پیچیده کارآمدتر شده است.

برای دستیابی به این هدف، PaLM 2 از تکنیک جدیدی به نام «بهینه‌سازی محاسبات توسعه‌یافته» استفاده می‌کند که «عملکرد کلی بهتری را ارائه می‌دهد، از جمله استنتاج سریع‌تر با پارامترهای کمتر که سربار را کاهش می‌دهد».

جدیدترین مدل هوش مصنوعی زبانی گوگل که در بیش از ۱۰۰ زبان آموزش دیده است، وظایف متنوعی را برای ۲۵ ویژگی و محصول، از جمله چت‌بات آزمایشی Bard، انجام می‌دهد. PaLM 2 در چهار نسخه بر اساس اندازه، از کوچکترین به بزرگترین، عرضه می‌شود: Gecko، Otter، Bison و Unicorn.

طبق اسناد عمومی، PaLM 2 از هر مدل موجود دیگری قدرتمندتر است. LlaMA فیسبوک که در ماه فوریه منتشر شد، با ۱.۴ تریلیون توکن آموزش دیده بود. در همین حال، OpenAI آخرین بار حجم داده‌های آموزشی ChatGPT، نسخه‌ای از GPT-3، را با ۳۰۰ میلیارد توکن به صورت عمومی فاش کرد.

انفجار برنامه‌های هوش مصنوعی جنجال‌هایی را پیرامون این فناوری ایجاد کرده است. اوایل امسال، المهدی المحمدی، دانشمند ارشد گوگل ریسرچ، در اعتراض به عدم شفافیت این غول جستجو، استعفا داد.

این هفته، سم آلتمن، مدیرعامل OpenAI، در کمیته فرعی قضایی سنای ایالات متحده در مورد حریم خصوصی و فناوری در زمینه گسترش روزافزون هوش مصنوعی شهادت داد، جایی که «پدر» ChatGPT با قانون‌گذاران موافق بود که برای اداره هوش مصنوعی به مقررات جدیدی نیاز است.

(به نقل از سی‌ان‌بی‌سی)

منبع: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html