Менше параметрів, більше даних

PaLM 2, найновіша модель великих мов програмування (LLM) від Google, анонсована минулого тижня, використовує майже в п'ять разів більше навчальних даних порівняно зі своєю попередницею 2022 року, що дозволяє їй програмувати, вирішувати проблеми та створювати складніший контент.

На конференції розробників Google I/O пошуковий гігант представив PaLM 2 – модель навчання мови, засновану на 3,6 трильйонах токенів. Ці токени є рядками слів – будівельними блоками, що використовуються в навчанні LLM для прогнозування наступного слова, яке з'явиться.

Попередня версія PaLM була випущена у 2022 році та навчалася з використанням 780 мільярдів токенів.

На минулотижневому заході Google I/O генеральний директор Google Сундар Пічаї представив найновішу модель великої мови програмування компанії – PaLM 2.

Хоча Google постійно демонструє можливості штучного інтелекту в пошуку, електронній пошті, обробці текстів та електронних таблиць, компанія неохоче розкриває розмір або деталі своїх навчальних наборів даних. OpenAI також тримає в таємниці деталі свого останнього параметра навчання LLM, GPT-4.

Технологічні компанії пояснюють це конкурентним характером свого бізнесу. Як Google, так і OpenAI змагаються у залученні користувачів за допомогою продуктів чат-ботів замість традиційних пошукових систем.

Компактний, потужний та економічно вигідний.

Google заявила, що PaLM 2 компактніший за своїх попередників, оскільки його було навчено з використанням 340 мільярдів параметрів порівняно з 540 мільярдами параметрів у попередній версії. Це демонструє, що технологія компанії стає ефективнішою у виконанні складних завдань.

Для досягнення цього PaLM 2 використовує нову техніку під назвою «розширена обчислювальна оптимізація», яка забезпечує «кращу загальну продуктивність, включаючи швидший висновок з меншою кількістю параметрів, тим самим знижуючи експлуатаційні витрати».

Найновіша модель мови штучного інтелекту від Google, навчена понад 100 мовам, виконує різні завдання для 25 функцій та продуктів, включаючи експериментальний чат-бот Bard. PaLM 2 доступний у чотирьох версіях залежно від розміру, від найменшої до найбільшої: Gecko, Otter, Bison та Unicorn.

Згідно з публічно доступними документами, PaLM 2 потужніша за будь-яку існуючу модель. LlaMA від Facebook, запущена в лютому, була навчена на 1,4 трильйона токенів. Тим часом, востаннє OpenAI публічно розкривав розмір навчальних даних для ChatGPT для версії GPT-3 з 300 мільярдами токенів.

Бурхливе зростання застосування штучного інтелекту викликало суперечки навколо цієї технології. Раніше цього року Ель-Махді, старший науковий співробітник Google Research, пішов у відставку на знак протесту проти відсутності прозорості з боку пошукового гіганта.

Цього тижня генеральний директор OpenAI Сем Альтман також свідчив перед підкомітетом Сенату США з питань конфіденційності та технологій у контексті зростаючого поширення штучного інтелекту. Там творець ChatGPT погодився із законодавцями, що необхідні нові правила для регулювання ШІ.

(За даними CNBC)

Джерело