Тесты программирования и математики показывают, что S1 (название модели) по производительности сопоставима с современными моделями рассуждений ИИ, такими как o1 от OpenAI и R1 от DeepSeek.

Примечательно, что S1 — это модель с открытым исходным кодом, доступная любому человеку в репозитории GitHub.

Команда разработчиков рассказала, что они начали с базовой доступной модели, а затем усовершенствовали ее с помощью «дистилляции» — процесса извлечения способности «рассуждения» из другой модели ИИ путем обучения на ее ответах.

В частности, S1 создан на основе экспериментальной модели Gemini 2.0 Flash Thinking от Google. Процесс дистилляции аналогичен тому, который использовали учёные из Университета Беркли при создании этой модели, и обошёлся примерно в 450 долларов США (около 11,3 млн донгов).

GettyImages 1168836247 1.jpg.jpeg
DeepSeek открывает гонку за разработку недорогого ИИ. Фото: TechCrunch

Исследователи, стоящие за s1, нашли самый простой способ добиться высокой эффективности рассуждений и «масштабирования во время тестирования», что означает предоставление модели ИИ возможности больше думать, прежде чем ответить на вопрос.

Это одно из достижений OpenAI o1, которое DeepSeek и другие лаборатории ИИ пытались повторить с помощью различных методов.

В статье S1 показано, что модели рассуждений можно вывести из достаточно небольшого набора данных с помощью процесса, называемого контролируемой тонкой настройкой (SFT), в котором модели ИИ явно предписывается имитировать определенное поведение в наборе данных.

SFT, как правило, дешевле, чем крупномасштабный подход к обучению с подкреплением, который DeepSeek использовал для обучения модели R1.

Google предоставляет бесплатный доступ к Gemini 2.0 Flash Thinking Experimental, хотя и с ограничением частоты посещений в день, через платформу Google AI Studio.

Однако условия Google запрещают проводить обратную разработку своих моделей с целью разработки сервисов, конкурирующих с продуктами ИИ компании.

S1 основан на небольшой модели искусственного интеллекта, доступной для бесплатной загрузки из лаборатории искусственного интеллекта Qwen, принадлежащей Alibaba. Для обучения S1 исследователи создали набор данных из 1000 тщательно отобранных вопросов, а также ответов и «мыслительного» процесса, лежащего в основе каждого ответа, из экспериментального теста Gemini 2.0 Flash Thinking Experimental от Google.

Процесс обучения занял менее 30 минут с использованием 16 видеокарт Nvidia H100, но при этом показал высокие результаты по нескольким показателям ИИ. Стоимость аренды необходимых вычислительных мощностей составила всего около 20 долларов, сообщил Никлас Мюннигхофф, исследователь из Стэнфорда.

Исследователи прибегли к уловке, чтобы заставить S1 проверить свою работу и продлить ее «время обдумывания», например, попросив модель подождать, добавив слово «подождать» в ее процесс рассуждения, что помогло модели дать более точный ответ.

К 2025 году Meta, Google и Microsoft планируют инвестировать сотни миллиардов долларов в инфраструктуру ИИ, часть из которых будет использована для обучения моделей ИИ следующего поколения. Такой уровень инвестиций может быть необходим для стимулирования инноваций в области ИИ.

Дистилляция зарекомендовала себя как хороший способ копирования возможностей моделей ИИ с низкими затратами, но она не позволяет создать новые модели ИИ, превосходящие существующие сегодня.

(По данным TechCrunch)

Google официально выпустила Gemini 2.0, чтобы конкурировать с китайским искусственным интеллектом Google только что официально выпустила чат-бот следующего поколения Gemini 2.0 со множеством версий и обновлений.