Интернет под угрозой раскола: люди и боты

Эксперты предупреждают, что интернет находится на грани серьёзного раскола, создающего два отдельных мира : один для пользователей, а другой для ботов. Это изменение грозит разрушить старейший «контракт» интернета, согласно которому веб-сайты и поисковые системы совместно извлекают выгоду.
На протяжении десятилетий веб-сайты приветствовали роботов (ботов) поисковых систем, таких как Google.
Это обеспечивает индексацию, ранжирование и лёгкость доступа к контенту, что, в свою очередь, привлекает значительный трафик на сайты. Соотношение «два бота на одного пользователя» создаёт симбиотические отношения: боты собирают данные, сайты получают трафик, а бизнес растёт.
Однако развитие генеративного ИИ полностью меняет ситуацию. Инструменты ИИ, такие как ChatGPT (OpenAI) или Claude (Anthropic), «пожирают» весь интернет для обучения своих моделей.
По данным Cloudflare, каждый раз, когда пользователь OpenAI посещает веб-сайт, одновременно происходит около 1500 посещений от ботов, управляемых OpenAI.
Для Anthropic это число ещё выше — 60 000 ботов на пользователя. Это говорит о том, что трафик, создаваемый людьми, снижается, в то время как автоматизированный трафик (создаваемый ботами) стремительно растёт, во многих случаях опережая трафик, создаваемый людьми.
Экзистенциальная угроза со стороны ИИ
Основная проблема заключается в том, что эти ИИ-боты часто не ссылаются на исходный материал. Вместо этого они обобщают информацию и дают ответы непосредственно в своих интерфейсах, поддерживая интерес пользователей и исключая сайты и создателей контента из цепочки создания стоимости.

ИИ меняет способ нашего взаимодействия с традиционным Интернетом (Иллюстрация: GARP).
Линда Тонг, генеральный директор Webflow, компании, занимающейся веб-дизайном и хостингом, называет это одним из самых радикальных изменений, которые она наблюдала за 20 лет своего интернет-бизнеса. «Это фундаментально меняет то, как люди находят бренды и взаимодействуют с ними», — сказала она. «А для некоторых компаний это представляет собой экзистенциальную угрозу».
От SEO к AEO: новая эра поиска
Последние 30 лет видимость в Google была ключом к успеху любого веб-сайта. Целая индустрия поисковой оптимизации (SEO) бурно развивалась, помогая компаниям повышать конкурентоспособность. Но ИИ не играет по старым правилам.
Вместо ссылки на исходный документ крупные языковые модели (LLM), такие как ChatGPT, Claude или даже Gemini от Google, считывают и повторно используют этот документ, чтобы напрямую отвечать на вопросы пользователей, зачастую без указания источника.
Этот сдвиг порождает новую аббревиатуру: AEO (AI Engine Optimization, оптимизация движка ИИ). AEO — это стратегия, которая делает контент более заметным для ИИ и более эффективным при его обработке, даже если ответ ИИ не приводит к клику. Если SEO определило эру поиска, то AEO может определить эру генеративного ИИ.
Интернет расколот: люди и боты
По словам Тонга, трафик от ИИ-робота Webflow вырос более чем на 125% всего за шесть месяцев.
В экосистеме интернета более 50% всего трафика сейчас приходится на ботов. По мере роста количества бот-трафика некоторые компании начинают буквально проводить черту. Они создают две версии своих сайтов:
- Человеческая версия: с насыщенными, захватывающими визуальными эффектами, интерактивными элементами и историями бренда.
- Версия бота: минималистичная, оптимизированная для машинного чтения, предназначенная для «кормления» ИИ, не раскрывая наиболее важные функции, сохраняя ценность, необходимую для привлечения кликов от пользователей.

Некоторые издатели теперь показывают поисковым роботам только краткие содержания или выдержки, надеясь добиться индексации, не нанося ущерба своей модели монетизации.
Уроки мгновенных статей Facebook
Для некоторых компаний, таких как Webflow, сбор данных с помощью ИИ может быть действительно выгоден. Если пользователь рекомендует Webflow, когда спрашивает ChatGPT о лучшей платформе для создания сайтов, это ценный опыт.
Пользователи, которые приходят через ИИ, как правило, более образованы и имеют «более высокие намерения» или более готовы стать клиентами, чем те, кто приходит через поиск.
Однако эта логика не работает для компаний, которые зависят как от трафика, так и от читателей, особенно для медиаканалов, создателей контента и всех, чья бизнес-модель зависит от традиционного веб-трафика.
Если чат-бот кратко излагает статью или цитирует основную информацию, пользователь, вероятно, никогда не кликнет по ней. Отсутствие кликов означает отсутствие показов рекламы, подписок на рассылку, данных об аудитории, дохода и реальной ценности.
Адам Сингхолда, генеральный директор Taboola (платформа рекламных технологий), выразился прямо: «Мы уже видели это раньше. Издатели предоставили свой контент Facebook для использования Instant Articles, и что произошло? Ни трафика, ни денег».
Facebook запустил сервис «Мгновенные статьи» в 2015 году, обещав быструю загрузку страниц и удобство использования на мобильных устройствах. Однако он не принёс издателям существенного дохода. Читатели оставались на Facebook, минуя сайты издателей, а вместе с ними и рекламу, подписку на рассылку и инструменты отслеживания, которые питали их бизнес-модели.
В конечном итоге Facebook тихо закрыл программу в 2023 году.
Сингхолда считает, что инструменты ИИ, такие как Perplexity и ChatGPT, повторяют эту ошибку, но в большем масштабе. Многие издатели сообщают о падении поискового трафика на 20–30% за последний год, несмотря на широкое распространение инструментов ИИ.
Платите или проявляйте креативность, чтобы выжить
Столкнувшись с этим медленным разрывом между контентом и трафиком, издатели и платформы реагируют на это. Некоторые из них заключили лицензионные соглашения (например, Reddit, The New York Times и Vox Media), которые позволяют определённым компаниям, работающим в сфере искусственного интеллекта, получать доступ к своему контенту за высокую плату. Но такие соглашения — исключение.
Тонг видит иное будущее: будущее, в котором издатели контролируют, кто может получить доступ к их контенту и что они могут видеть. Благодаря партнёрству Webflow и Cloudflare компании теперь могут различать хороших и плохих ботов, а также LLM-программ. Они могут делиться частью контента, его краткой версией или не делиться им вообще.
Однако контроль за соблюдением правил остаётся сложным. Не все боты соблюдают robots.txt (политику сканирования сайта). Некоторые компании обвиняются в использовании прокси-серверов для сканирования контента даже после его блокировки. Это означает, что даже при наличии защитных барьеров сканирование продолжается.
В мире, где боты отвечают первыми, разница между признанием и вытеснением конкурентов может означать разницу между успехом и провалом целой отрасли. Уже существуют веб-сайты, созданные ИИ, которые предназначены не для чтения людьми, а для анализа другими ИИ — замкнутый цикл контента, создаваемого машинами для машин.

Медиакомпании и производители контента сталкиваются с серьезными проблемами из-за ИИ (Фото: GARP).
Чтобы справиться с ситуацией, такие компании, как Taboola, делают ставку на новые модели, включая Deeper Dive — технологию искусственного интеллекта, встроенную в веб-сайты издателей.
Вместо того, чтобы терять пользователей из-за внешних ботов, он позволяет читателям задавать вопросы и получать ответы на основе существующих материалов издания. «Вы получаете интерактивность ИИ, но издатель сохраняет отношения, трафик и доверие», — сказал Сингольда.
Это доверие может стать самой ценной валютой в эпоху искусственного интеллекта. В мире, где ответы всегда быстрые, люди по-прежнему хотят чего-то осязаемого. «Мы люди. Когда речь идёт о чём-то важном, например, о деньгах, здоровье или детях, мы всё равно хотим знать, кто говорит», — сказал Сингольда.
Источник: https://dantri.com.vn/cong-nghe/ngay-tan-cua-internet-truyen-thong-dang-den-gan-20250721090232643.htm
Комментарий (0)