従来型インターネットの終焉は近い

インターネットは分裂の危機に瀕している：人間とボット

Ngày tàn của Internet truyền thống đang đến gần - 1

専門家たちは、インターネットが大きな分裂の瀬戸際にあり、ユーザーとボットの二つの世界が分断されつつあると警告しています。この変化は、ウェブサイトと検索エンジンが共に利益を得るという、インターネット最古の「契約」を破る恐れがあります。

数十年にわたって、ウェブサイトは Google などの検索エンジンからのクローラー (ボット) を歓迎してきました。

これにより、コンテンツはインデックス化され、ランキング付けされ、アクセスが容易になり、結果としてウェブサイトへのトラフィックが大幅に増加します。「1ユーザーにつき2ボット」という比率は、ボットがデータを収集し、ウェブサイトがトラフィックを獲得し、ビジネスが成長するという共生関係を生み出します。

しかし、生成AIの台頭により、この状況は完全に変わりつつあります。ChatGPT（OpenAI）やClaude（Anthropic）などのAIツールは、モデルのトレーニングにインターネット全体を「貪り食って」います。

Cloudflareによると、OpenAIのユーザーがウェブサイトを訪問するたびに、OpenAIが運営するボットによる訪問が約1,500件同時に行われているという。

Anthropicの場合、その数はさらに多く、ユーザー1人あたり6万個のボットに達しています。これは、人間によるトラフィックが減少している一方で、ボットによる自動トラフィックが急速に増加しており、多くの場合、人間のトラフィックを上回っていることを示しています。

AIによる実存的脅威

根本的な問題は、これらのAIボットが元の情報源にリンクしていないことが多いことです。代わりに、ボットは独自のインターフェース内で要約と回答を直接提供し、ユーザーのエンゲージメントを損ない、ウェブサイトやコンテンツ制作者をバリューチェーンから排除してしまいます。

Ngày tàn của Internet truyền thống đang đến gần - 2 — AI は、従来のインターネットとの関わり方を変えています (イラスト写真: GARP)。

ウェブデザイン・ホスティング会社WebflowのCEO、リンダ・トン氏は、これはインターネットビジネスに携わって20年になるが、その中でも最も劇的な変化の一つだと語る。「人々がブランドを見つけ、ブランドと関わる方法を根本的に変えるものです」と彼女は語る。「そして、一部の企業にとっては、これは存亡の危機です。」

SEOからAEOへ：検索の新時代

過去30年間、Googleでの可視性はあらゆるウェブサイトの成功の鍵となってきました。企業の競争力向上を支援するため、検索エンジン最適化（SEO）業界全体が急成長を遂げました。しかし、AIは従来のルールに従って行動するわけではありません。

ChatGPT、Claude、さらにはGoogleのGeminiなどの大規模言語モデル（LLM）は、ソースドキュメントにリンクする代わりに、そのドキュメントを読み取って再利用し、ソースをほとんど明示せずにユーザーの質問に直接回答します。

この変化は、AEO（AIエンジン最適化）という新しい頭字語を生み出しています。AEOとは、AIの回答がクリックに繋がらない場合でも、コンテンツをAIにとってより見やすく、AIによって処理された際により効果的にする戦略です。SEOが検索の時代を定義したとすれば、AEOは生成型AIの時代を定義するかもしれません。

インターネットは分裂している：人間とボット

トン氏によると、Webflow では AI クローラーからのトラフィックがわずか 6 か月で 125% 以上増加したとのことです。

インターネットエコシステム全体では、現在、インターネットトラフィックの50%以上がボットから発生しています。ボットトラフィックが急増する中、一部の企業は文字通り線引きを始めています。彼らはウェブサイトを2つのバージョンに分け、構築しています。

人間バージョン:豊かで魅力的なビジュアル、インタラクション、ブランドストーリーを備えています。
ボットバージョン:ミニマリストで、機械による可読性のために最適化されており、最も重要な機能を公開せずに AI に「フィード」するように設計されており、ユーザーからのクリックを引き付けるために必要な価値を維持します。

Ngày tàn của Internet truyền thống đang đến gần - 3

一部の出版社は現在、収益化モデルを損なうことなくインデックス化を促そうと、クローラーに対して要約または抜粋のみを表示しています。

Facebookインスタント記事から学ぶこと

Webflowのような企業にとって、AIによるデータ収集はビジネス上のメリットとなり得ます。ユーザーがChatGPTに最適なウェブサイト構築プラットフォームについて質問した際にWebflowが推奨されるようなことがあれば、それは貴重な露出となります。

AI 経由で来るユーザーは、検索経由で来るユーザーよりも知識が豊富で「高い意図」を持っている傾向があり、顧客になる準備がより整っています。

しかし、トラフィックと読者の両方に依存するビジネス、特にメディアチャネル、コンテンツ作成者、およびビジネスモデルが従来の Web トラフィックに依存するすべての人にとって、この論理は当てはまりません。

チャットボットが記事の要約や核心的な情報を引用しても、ユーザーはおそらくクリックしないでしょう。クリックがなければ、広告の表示回数もメール登録も、オーディエンスデータも収益もなく、真の価値は生まれません。

広告技術プラットフォームであるタブーラのCEO、アダム・シンホルダ氏は率直にこう述べた。「このようなことは以前にも経験しています。出版社がインスタント記事を利用するためにFacebookにコンテンツを提供したのですが、何が起きたでしょうか？トラフィックも収益もありませんでした。」

Facebookは2015年にインスタント記事を発表し、高速なページ読み込みとシームレスなモバイル体験を約束しました。しかし、パブリッシャーに大きな収益をもたらすことはできませんでした。読者はパブリッシャーのウェブサイトを経由せず、広告、メール登録、そしてビジネスモデルの原動力となっていたトラッキングツールも利用せず、Facebookに留まりました。

結局、Facebook は 2023 年にこのプログラムをひっそりと終了しました。

シンホルダ氏は、PerplexityやChatGPTといったAIツールが、より大規模に同じ過ちを繰り返していると考えている。AIツールが広く導入されるようになったにもかかわらず、多くのパブリッシャーが過去1年間で検索トラフィックが20～30%減少したと報告している。

生き残るためにお金を払うか、創造力を発揮するか

コンテンツとトラフィックの乖離が徐々に進行している現状に直面し、出版社やプラットフォームは対応策を講じている。Reddit、The New York Times、Vox Mediaなど、一部の企業は、高額な料金と引き換えに特定のAI企業にコンテンツへのアクセスを許可するライセンス契約を結んでいる。しかし、こうした契約は例外的なものだ。

トン氏は、異なる未来を思い描いています。それは、パブリッシャーが自社コンテンツへのアクセス権限と閲覧内容をコントロールできる未来です。WebflowとCloudflareの提携により、企業は良質なボット、悪質なボット、そしてLLMを区別できるようになりました。コンテンツの一部、要約、あるいは全く共有しないといった選択も可能です。

しかし、施行は依然として困難です。すべてのボットがrobots.txt（サイトのクロールポリシー）を遵守するわけではありません。一部の企業は、コンテンツがブロックされた後もプロキシサーバーを使用してクロールしていると非難されています。つまり、クロールの壁が築かれていても、クロールは継続されるということです。

ボットが先に回答する世界では、認識されるか競争に負けるかの違いが、業界全体の成功と失敗を分ける可能性があります。AIによって作成されたウェブサイトの中には、人間が読むことを意図しておらず、他のAIによってマイニングされることを意図したものが既に存在します。これは、機械によって機械のために作成されたコンテンツのクローズドループです。