パラメータが少なく、データが多い

先週発表されたGoogleの最新の大規模言語モデル（LLM）であるPaLM 2は、2022年に発表された前モデルと比較して約5倍の量の学習データを使用しており、プログラミング、問題解決、より高度なコンテンツの作成が可能になっている。

Google I/O開発者会議において、検索大手Googleは3兆6000億個のトークンに基づいた言語学習モデル「PaLM 2」を発表した。これらのトークンは単語の文字列であり、LLM（言語学習モデル）の学習において、次に現れる単語を予測するために使用される構成要素である。

PaLMの以前のバージョンは2022年にリリースされ、7800億個のトークンを使用して学習されました。

先週開催されたGoogle I/Oイベントで、GoogleのCEOであるサンダー・ピチャイ氏は、同社の最新の大規模言語モデルであるPaLM 2を発表した。

Googleは検索、メール、ワープロ、表計算などのタスクにおけるAIの威力を常にアピールしているものの、トレーニングデータセットの規模や詳細を公表することには消極的だ。OpenAIもまた、最新のLLMトレーニングパラメータであるGPT-4の詳細を非公開としている。

テクノロジー企業は、自社のビジネスにおける競争の激しさを理由に、この状況を説明している。GoogleとOpenAIは、従来の検索エンジンではなくチャットボット製品でユーザーを獲得しようと競い合っている。

コンパクトでパワフル、しかもコストパフォーマンスに優れている。

Googleは、PaLM 2は前バージョンよりもコンパクトであり、前バージョンの5400億個のパラメータに対し、3400億個のパラメータで学習されていると述べている。これは、同社の技術が複雑なタスクをより効率的に実行できるようになっていることを示している。

これを実現するために、PaLM 2は「拡張コンピューティング最適化」と呼ばれる新しい技術を採用しており、これにより「より少ないパラメータでより高速な推論を行うなど、全体的なパフォーマンスが向上し、運用コストが削減される」。

Googleの最新AI言語モデルは、100以上の言語で学習されており、実験的なチャットボット「Bard」を含む25の機能や製品で様々なタスクを実行しています。PaLM 2は、サイズに基づいて、小さいものから大きいものまで、Gecko、Otter、Bison、Unicornの4つのバージョンがあります。

公開されている資料によると、PaLM 2は既存のどのモデルよりも強力です。2月に発表されたFacebookのLlaMAは1兆4000億トークンで学習されました。一方、OpenAIがChatGPTの学習データサイズを最後に公表したのは、3000億トークンを使用したGPT-3バージョンでした。

AIアプリケーションの爆発的な普及は、この技術をめぐる論争を引き起こしている。今年初め、Googleリサーチの上級研究員であるエル・マハディ氏は、検索大手であるGoogleの透明性の欠如に抗議して辞任した。

今週、OpenAIのCEOであるサム・アルトマン氏は、AIの普及拡大という文脈で、米国上院司法委員会のプライバシーとテクノロジーに関する小委員会で証言を行った。そこで、ChatGPTの開発者であるアルトマン氏は、AIを規制するための新たな規制が必要であるという議員たちの意見に同意した。