このAI専門家は今年初め、自身が創立者の一人であったOpenAIを離れ、Safe Superintelligence Inc.という自身のAI研究所を設立した。

「私たちが知っているような事前トレーニングは存在しなくなるだろう」と、スツケバー氏は神経情報処理に関する会議で語った。

「事前トレーニング」という用語は、AI モデル開発の初期段階を指し、大規模な言語モデルが大量のラベルなしデータ (多くの場合、インターネット、書籍、その他のソースからのテキスト) からパターンを学習する段階を指します。

データリソースの枯渇

サツケバー氏は、現在のデータは依然としてAI開発を加速させることができると信じているものの、業界ではモデルをトレーニングするための新たなリソースが不足していると述べた。

これは最終的には、今日の AI モデルのトレーニング方法の変化につながるだろうと彼は言います。

8da2491217a6b424c37773100bec59ff.jpeg
AIモデルは限られた量のデータに基づいて自己学習する方法を見つけ出す。写真：Yahoo! Tech

これは、化石資源、油田が限られた資源である場合、またはインターネットに含まれる人間が作成したコンテンツが限られた量だけである場合にも起こった、そして起こりつつある状況です。

「データのピークは既に達しており、将来もそれは変わらないでしょう」とスツケヴァー氏は述べた。「私たちは、現在利用可能なデータ、つまりインターネットという情報源を使って作業を進めなければなりません。」

サツケバー氏は、次世代モデルは「真にエージェントのような」ものになると予測しています。「エージェント」はAI分野の流行語であり、一般的には、タスクを実行し、意思決定を行い、ソフトウェアと独立して対話する自律型AIシステムとして理解されています。

将来のAIシステムは「エージェントのような」存在であることに加え、推論もできるようになると彼は述べた。現在のAIは主にモデルが過去に学習した内容に基づいてパターンを認識するが、将来のAIシステムは思考に近い方法で段階的に問題を解決できるようになる。「推論が多ければ多いほど、システムの予測可能性は低くなる」とスツケバー氏は述べた。

AIは独自のトレーニング方法を作り出すことができる

専門家はまた、動物の脳と体の大きさの関係を示す研究を引用し、AIシステムの発展を進化生物学と比較した。

たとえば、ほとんどの哺乳類は特定の比率のパターンに従いますが、人間の脳と体の比率は著しく異なります。

そして、進化によって先祖の脳の成長速度が新たに発見される時点で、AI もスケールアップする新しい方法を見つけ、現在のモデルのトレーニング方法を超える可能性があります。

（TheVerge、Yahoo Techによると）

xAIとOpenAIの「とてつもなく高い」給与を暴露イーロン・マスク氏は、OpenAIの従業員への給与が高すぎると非難し、反競争的だと非難した。しかし、この億万長者が立ち上げたxAIスタートアップも、平均よりもはるかに高い給与を支払っている。