プログラミングと数学のテストにより、S1 (モデル名) のパフォーマンスは、OpenAI の o1 やDeepSeek の R1 などの最先端の推論 AI モデルと同等であることが示されました。

特に、S1 はオープンソース モデルであり、GitHub リポジトリで誰でもアクセスできます。

開発チームによると、まずは利用可能な基本モデルから始めて、「蒸留」、つまり別の AI モデルの回答をトレーニングすることでそのモデルから「推論」能力を抽出するプロセスを通じて改良を重ねたとのことです。

具体的には、S1はGoogleのGemini 2.0 Flash Thinking Experimentalモデルから抽出されたものです。抽出プロセスは、バークレー大学の科学者が約450米ドル（約1,130万ベトナムドン）の費用をかけてこのモデルを作成した方法と似ています。

GettyImages 1168836247 1.jpg.jpeg
DeepSeekが安価なAI開発競争に参入。写真：TechCrunch

s1 の研究者たちは、強力な推論パフォーマンスを実現し、「テスト中にスケールアップ」する最も簡単な方法を発見しました。つまり、AI モデルが質問に答える前にさらに考えることができるようになります。

これは OpenAI の o1 における画期的な成果の 1 つであり、DeepSeek や他の AI ラボはさまざまな手法を通じてこれを再現しようと試みてきました。

S1 論文では、AI モデルにデータセット内の特定の動作を模倣するように明示的に指示する、教師あり微調整 (SFT) と呼ばれるプロセスを通じて、かなり小規模なデータセットで推論モデルを抽出できることが示されています。

SFT は、DeepSeek が R1 モデルのトレーニングに使用した大規模な強化学習アプローチよりも一般的に安価です。

Google は、Google AI Studio プラットフォームを通じて、1 日あたりの頻度制限はあるものの、Gemini 2.0 Flash Thinking Experimental への無料アクセスを提供しています。

しかし、Google の規約では、同社の AI 製品と競合するサービスを開発するためにモデルをリバース エンジニアリングすることを禁止しています。

S1は、アリババ傘下のAIラボQwenから無料でダウンロードできる小規模なAIモデルをベースにしています。S1を学習させるため、研究者たちはGoogleの「Gemini 2.0 Flash Thinking Experimental」から厳選された1,000の質問と回答、そして各回答の背後にある「思考」プロセスのデータセットを作成しました。

16基のNvidia H100 GPUを使用した学習プロセスは30分未満で完了しましたが、それでも複数のAI指標で優れた結果が出ました。必要な計算能力のレンタル費用はわずか20ドル程度だったと、スタンフォード大学の研究者であるニクラス・ミュニホフ氏は述べています。

研究者たちは、S1に作業をチェックさせ、「思考時間」を延ばすために、推論プロセスに「待つ」という言葉を追加してモデルに待機を求めるなどのトリックを使用しました。これにより、モデルはより正確な答えを導き出すことができました。

Meta、Google、Microsoftは2025年までにAIインフラに数千億ドルを投資する計画で、その一部は次世代AIモデルの学習に充てられる予定です。AIにおけるイノベーションを推進するには、このレベルの投資が依然として必要となる可能性があります。

蒸留は、低コストで AI モデルの機能を複製する優れた方法であることが証明されていますが、現在存在するものよりも優れた新しい AI モデルを作成するものではありません。

（TechCrunchによると）

Google は中国の AI に対抗するため、Gemini 2.0 を正式にリリースしました。Google は、多くのバージョンとアップデートを備えた次世代チャットボット、Gemini 2.0 を正式にリリースしました。