Меньше параметров, больше данных

PaLM 2, новейшая крупная языковая модель (LLM) от Google, анонсированная на прошлой неделе, использует почти в пять раз больше обучающих данных по сравнению со своим предшественником 2022 года, что позволяет ей программировать, решать задачи и создавать более сложный контент.

На конференции разработчиков Google I/O поисковый гигант представил PaLM 2 — модель обучения языка, основанную на 3,6 триллионах токенов. Эти токены представляют собой строки слов — строительные блоки, используемые в обучении LLM для прогнозирования следующего слова.

Предыдущая версия PaLM была выпущена в 2022 году и обучена с использованием 780 миллиардов токенов.

На прошедшей на прошлой неделе конференции Google I/O генеральный директор Google Сундар Пичаи представил новейшую крупную языковую модель компании, PaLM 2.

Хотя Google постоянно демонстрирует возможности ИИ в задачах поиска, электронной почты, обработки текстов и электронных таблиц, компания неохотно раскрывает размер или подробности своих обучающих наборов данных. OpenAI также держит в секрете подробности своего последнего параметра обучения LLM, GPT-4.

Технологические компании объясняют это высокой конкуренцией в своем бизнесе. И Google, и OpenAI соревнуются за привлечение пользователей с помощью чат-ботов, а не традиционных поисковых систем.

Компактный, мощный и экономичный.

Компания Google заявила, что PaLM 2 более компактен, чем его предшественники, поскольку в его обучении использовалось 340 миллиардов параметров по сравнению с 540 миллиардами параметров в предыдущей версии. Это демонстрирует, что технология компании становится более эффективной при выполнении сложных задач.

Для достижения этой цели PaLM 2 использует новую методику, называемую «расширенная оптимизация вычислений», которая обеспечивает «лучшую общую производительность, включая более быструю обработку данных с меньшим количеством параметров, что, следовательно, снижает эксплуатационные расходы».

Новейшая языковая модель искусственного интеллекта Google, обученная более чем на 100 языках, выполняет различные задачи для 25 функций и продуктов, включая экспериментального чат-бота Bard. PaLM 2 выпускается в четырех версиях, различающихся по размеру, от самой маленькой до самой большой: Gecko, Otter, Bison и Unicorn.

Согласно общедоступным документам, PaLM 2 мощнее любой существующей модели. Модель LlaMA от Facebook, запущенная в феврале, была обучена на 1,4 триллионах токенов. Между тем, в последний раз OpenAI публично раскрывала размер обучающих данных для ChatGPT в версии GPT-3, которая содержала 300 миллиардов токенов.

Взрывной рост применения искусственного интеллекта вызвал споры вокруг этой технологии. Ранее в этом году Эль-Махди, старший научный сотрудник Google Research, подал в отставку в знак протеста против недостаточной прозрачности со стороны поискового гиганта.

На этой неделе генеральный директор OpenAI Сэм Альтман также выступил перед подкомитетом Сената США по судебным вопросам, посвященным вопросам конфиденциальности и технологий в контексте растущего распространения ИИ. Там создатель ChatGPT согласился с законодателями в необходимости новых правил регулирования ИИ.

(По данным CNBC)

Источник