先週発表されたGoogleの最新の大規模言語モデル（LLM）であるPaLM 2は、2022年の前身と比較して約5倍の量のトレーニングデータを使用し、プログラミング、問題解決、より高度なコンテンツの作成を可能にします。
Google I/O開発者会議において、検索大手の同社は3.6兆個のトークンに基づく言語学習モデル「PaLM 2」を発表しました。これらのトークンは単語の列であり、LLM学習において次に出現する単語を予測するために使用される構成要素です。
PaLM の以前のバージョンは 2022 年にリリースされ、7,800 億トークンを使用してトレーニングされました。
Googleは検索、メール、ワープロ、スプレッドシートといったタスクにおけるAIの威力を常にアピールしていますが、トレーニングデータセットの規模や詳細を公表することには消極的です。OpenAIもまた、最新のLLMトレーニングパラメータであるGPT-4の詳細を非公開としています。
テクノロジー企業は、自社の事業の競争性を理由にこの状況を説明し、GoogleとOpenAIはどちらも、従来の検索エンジンではなく、チャットボット製品でユーザーを獲得しようと競い合っています。
コンパクト、パワフル、そしてコスト効率に優れています。
Googleは、PaLM 2は前バージョンよりもコンパクトで、前バージョンの5,400億個のパラメータから3,400億個のパラメータで学習されたと述べています。これは、同社の技術が複雑なタスクの実行においてより効率的になっていることを示しています。
これを実現するために、PaLM 2 は「拡張コンピューティング最適化」と呼ばれる新しい技術を使用しており、「パラメータを減らして推論を高速化するなど、全体的なパフォーマンスが向上し、運用コストが削減されます」。
Googleの最新AI言語モデルは100以上の言語でトレーニングされており、実験的なチャットボット「Bard」を含む25の機能と製品で様々なタスクを実行しています。PaLM 2には、サイズに基づいて、Gecko、Otter、Bison、Unicornの4つのバージョンがあります。
公開されている資料によると、PaLM 2は既存のどのモデルよりも強力です。2月にリリースされたFacebookのLlaMAは、1兆4000億トークンで学習されました。一方、OpenAIがChatGPTの学習データサイズを最後に公表したのは、3000億トークンのGPT-3バージョンでした。
AIアプリケーションの爆発的な増加は、この技術をめぐる論争を引き起こしている。今年初め、Googleリサーチのシニアサイエンティストであるエル・マハディ氏は、検索大手の透明性の欠如に抗議して辞任した。
今週、OpenAIのCEOサム・アルトマン氏は、AIの普及拡大を背景としたプライバシーとテクノロジーに関する米国上院司法小委員会で証言を行いました。ChatGPTの開発者は、AIを規制するための新たな規制が必要であるという議員たちの主張に同意しました。
（CNBCによると）
[広告2]
ソース
コメント (0)