Мало параметров, много данных

PaLM 2, последняя большая языковая модель (LLM) от Google, анонсированная на прошлой неделе, использует почти в пять раз больше обучающих данных, чем ее предшественница 2022 года, что позволяет ей выполнять более сложные задачи программирования, математики и создания контента.

На конференции разработчиков Google I/O поисковый гигант представил PaLM 2 — языковую модель, обученную на 3,6 триллионах токенов. Эти токены представляют собой последовательности слов — строительные блоки, используемые для обучения LLM предсказывать следующее слово.

Предыдущая версия PaLM была выпущена в 2022 году и состояла из 780 миллиардов токенов.

Генеральный директор Google Сундар Пичаи на прошлой неделе на мероприятии Google I/O представил новейшую большую языковую модель компании PaLM 2

В то время как Google расхваливает свои возможности ИИ в поиске, электронной почте, обработке текстов и электронных таблицах, компания неохотно раскрывает размер или детали своих обучающих наборов данных. OpenAI также держит в секрете детали своего последнего алгоритма обучения LLM, GPT-4.

Технологические компании объясняют это конкурентным характером своего бизнеса. И Google, и OpenAI стремятся привлечь пользователей с помощью чат-ботов, а не традиционных поисковых систем.

Компактный, мощный, экономичный

Google утверждает, что PaLM 2 меньше своих предшественников, обучаясь с 340 миллиардами параметров по сравнению с 540 миллиардами для предыдущей версии. Это показывает, что технология компании становится более эффективной при выполнении сложных задач.

Для достижения этого PaLM 2 использует новую технологию, называемую «расширенной вычислительной оптимизацией», которая обеспечивает «более высокую общую производительность, включая более быстрый вывод с меньшим количеством параметров, что снижает накладные расходы».

Последняя языковая модель искусственного интеллекта Google, обученная более чем 100 языкам, выполняет различные задачи для 25 функций и продуктов, включая экспериментального чат-бота Bard. PaLM 2 поставляется в четырех версиях в зависимости от размера, от самой маленькой до самой большой: Gecko, Otter, Bison и Unicorn.

Согласно публичной документации, PaLM 2 мощнее любой существующей модели. LlaMA от Facebook, выпущенная в феврале, была обучена на 1,4 триллиона токенов. Между тем, OpenAI в последний раз публично раскрыла размер обучающих данных для ChatGPT, версии GPT-3, с 300 миллиардами токенов.

Взрыв приложений ИИ породил споры вокруг этой технологии. Ранее в этом году Эль Махди Эль Мхамди, старший научный сотрудник Google Research, ушел в отставку в знак протеста против отсутствия прозрачности поискового гиганта.

На этой неделе генеральный директор OpenAI Сэм Альтман также дал показания перед судебным подкомитетом Сената США по вопросам конфиденциальности и технологий в контексте все более широкого распространения ИИ. В ходе этих показаний «отец» ChatGPT согласился с законодателями в том, что необходимы новые правила для регулирования ИИ.

(По данным CNBC)

Источник