기존 인터넷의 종말이 다가오고 있다

(댄 트리) - 인공지능(AI)의 등장은 우리가 인터넷과 상호작용하는 방식을 근본적으로 바꾸고 있습니다.

인터넷은 인간과 봇으로 분열될 위험이 있습니다.

전문가들은 인터넷이 크게 분열되어 사용자와 봇이라는 두 개의 분리된 세계를 만들어낼 위기에 처해 있다고 경고합니다. 이러한 변화는 웹사이트와 검색 엔진이 함께 이익을 얻는 인터넷의 가장 오래된 "계약"을 깨뜨릴 위험이 있습니다.

수십 년 동안 웹사이트는 Google과 같은 검색 엔진의 크롤러(봇)를 환영해 왔습니다.

이를 통해 콘텐츠가 색인되고 순위가 매겨지며 쉽게 접근할 수 있게 되어 웹사이트 트래픽이 크게 증가합니다. "사용자 1명당 봇 2개" 비율은 공생 관계를 형성합니다. 봇은 데이터를 수집하고, 웹사이트는 트래픽을 확보하며, 비즈니스는 성장합니다.

그러나 생성 AI의 부상은 이러한 상황을 완전히 바꾸고 있습니다. ChatGPT(OpenAI)나 Claude(Anthropic)와 같은 AI 도구는 모델을 학습시키기 위해 인터넷 전체를 "포식"하고 있습니다.

Cloudflare에 따르면, OpenAI 사용자가 웹사이트를 방문할 때마다 OpenAI가 운영하는 봇이 동시에 약 1,500건의 방문을 한다고 합니다.

Anthropic의 경우, 그 수는 훨씬 더 많아 사용자당 6만 대의 봇에 달합니다. 이는 인적 트래픽이 감소하는 반면, 봇에 의해 발생하는 자동화된 트래픽은 빠르게 증가하고 있으며, 많은 경우 인적 트래픽을 앞지르고 있음을 보여줍니다.

AI의 실존적 위협

핵심 문제는 이러한 AI 봇이 원본 자료로 바로 연결되는 링크를 제공하지 않는 경우가 많다는 것입니다. 대신, 자체 인터페이스 내에서 직접 요약하고 답변을 제공하여 사용자의 참여를 유도하고 웹사이트와 콘텐츠 제작자를 가치 사슬에서 배제합니다.

AI는 우리가 기존 인터넷과 상호작용하는 방식을 바꾸고 있습니다(그림 사진: GARP).

웹 디자인 및 호스팅 회사인 웹플로우(Webflow)의 CEO인 린다 통(Linda Tong)은 이를 20년간 인터넷 사업을 하면서 목격한 가장 심오한 변화 중 하나라고 말합니다. "사람들이 브랜드를 찾고 소통하는 방식을 근본적으로 바꾸고 있습니다."라고 그녀는 말했습니다. "그리고 일부 기업에게는 존재론적 위협이기도 합니다."

SEO에서 AEO까지: 검색의 새로운 시대

지난 30년 동안 Google에서의 가시성은 모든 웹사이트 성공의 핵심이었습니다. 기업의 경쟁력 강화를 위해 검색 엔진 최적화(SEO) 산업 전체가 폭발적으로 성장했습니다. 하지만 AI는 기존의 틀을 따르지 않습니다.

ChatGPT, Claude, 심지어 Google의 Gemini와 같은 대규모 언어 모델(LLM)은 소스 문서에 링크를 다시 연결하는 대신 해당 문서를 읽고 재사용하여 소스를 인용하지 않고도 사용자의 질문에 직접 답변합니다.

이러한 변화로 인해 AEO(AI 엔진 최적화)라는 새로운 약어가 생겨나고 있습니다. AEO는 AI가 콘텐츠를 더 잘 볼 수 있도록 만들고, AI가 콘텐츠를 소화했을 때 더 효과적으로 만드는 전략입니다. AI의 답변이 클릭으로 이어지지 않더라도 말입니다. SEO가 검색의 시대를 정의했다면, AEO는 생성적 AI의 시대를 정의할 수도 있습니다.

인터넷은 인간과 봇으로 나뉜다

통은 Webflow에서 AI 크롤러를 통한 트래픽이 단 6개월 만에 125% 이상 증가했다고 말했습니다.

인터넷 생태계 전체에서 현재 전체 인터넷 트래픽의 50% 이상이 봇에서 발생합니다. 봇 트래픽이 급증함에 따라 일부 기업들은 말 그대로 선을 긋기 시작했습니다. 이들은 두 가지 버전의 웹사이트를 구축하고 있습니다.

• 인간 버전: 풍부하고 매력적인 시각적 요소, 상호작용, 브랜드 스토리를 제공합니다.
• 봇 버전: 최소한의 구성으로 기계가 쉽게 읽을 수 있도록 최적화되었으며, 가장 중요한 기능을 노출하지 않고 AI에 "공급"하도록 설계되었으며, 사용자의 클릭을 유도하는 데 필요한 가치를 유지합니다.

일부 출판사는 수익 창출 모델을 손상시키지 않고 색인을 확보하고자 크롤러에게 요약이나 발췌문만 표시합니다.

페이스북 인스턴트 아티클에서 얻은 교훈

Webflow와 같은 일부 기업에게는 AI로 수집된 데이터가 실제로 비즈니스적 이점을 제공할 수 있습니다. 사용자가 ChatGPT에 최고의 웹사이트 구축 플랫폼에 대해 문의했을 때 Webflow가 추천된다면, 이는 귀중한 노출이 됩니다.

AI를 통해 유입된 사용자는 검색을 통해 유입된 사용자보다 교육 수준이 높고 '더 높은 의도'를 가지고 있거나 고객이 될 준비가 더 되어 있는 경향이 있습니다.

그러나 트래픽과 독자에 의존하는 기업, 특히 미디어 채널, 콘텐츠 제작자와 기존 웹 트래픽에 의존하는 비즈니스 모델을 가진 기업에게는 이 논리가 성립하지 않습니다.

챗봇이 기사를 요약하거나 핵심 정보를 인용하면 사용자는 아마 클릭하지 않을 것입니다. 클릭이 없으면 광고 노출, 이메일 가입, 고객 데이터, 수익, 실질적인 가치도 없습니다.

타불라(광고 기술 플랫폼)의 CEO인 아담 싱홀다는 직설적으로 이렇게 말했습니다. "이런 일은 전에도 있었습니다. 퍼블리셔들이 페이스북에 콘텐츠를 넘겨 인스턴트 아티클을 사용하게 했는데, 무슨 일이 일어났습니까? 트래픽도 없고 수익도 없었습니다."

페이스북은 2015년 빠른 페이지 로딩 속도와 매끄러운 모바일 경험을 약속하며 인스턴트 아티클을 출시했습니다. 하지만 이는 언론사들에게 상당한 수익을 창출하는 데 실패했습니다. 독자들은 언론사 웹사이트는 물론, 그들의 비즈니스 모델을 뒷받침하는 광고, 이메일 가입, 추적 도구들을 거치지 않고 페이스북에만 머물렀습니다.

결국 페이스북은 2023년에 조용히 해당 프로그램을 종료했습니다.

싱홀다는 퍼플렉시티(Perplexity)와 챗GPT(ChatGPT) 같은 AI 도구가 이러한 실수를 더 큰 규모로 반복하고 있다고 생각합니다. 많은 퍼블리셔들이 AI 도구가 널리 도입되었음에도 불구하고 지난 한 해 동안 검색 트래픽이 20~30% 감소했다고 보고했습니다.

생존을 위해 돈을 지불하거나 창의력을 발휘하세요

콘텐츠와 트래픽 간의 이러한 단절이 서서히 해소되는 상황에 직면하여, 퍼블리셔와 플랫폼들은 대응하고 있습니다. 레딧, 뉴욕타임스, 복스 미디어 등 일부 플랫폼은 특정 AI 기업들이 높은 수수료를 받고 자사 콘텐츠에 접근할 수 있도록 하는 라이선스 계약을 체결했습니다. 하지만 이러한 계약은 예외적인 사례입니다.

통은 다른 미래를 꿈꿉니다. 퍼블리셔가 콘텐츠에 접근할 수 있는 사람과 볼 수 있는 콘텐츠를 스스로 통제하는 미래입니다. Webflow와 Cloudflare의 파트너십을 통해 기업은 이제 좋은 봇, 나쁜 봇, 그리고 LLM을 구분할 수 있습니다. 콘텐츠의 일부 또는 요약을 공유하거나, 아예 공유하지 않을 수도 있습니다.

하지만 단속은 여전히 까다롭습니다. 모든 봇이 robots.txt(사이트의 크롤링 정책)를 준수하는 것은 아닙니다. 일부 회사는 콘텐츠가 차단된 후에도 프록시 서버를 사용하여 크롤링했다는 비난을 받고 있습니다. 즉, 차단이 해제되어도 크롤링은 계속된다는 것을 의미합니다.

봇이 먼저 답변하는 세상에서, 인정받는 것과 경쟁에서 밀리는 것의 차이는 전체 산업의 성공과 실패를 가를 수 있습니다. AI가 만든 웹사이트는 이미 인간이 읽기보다는 다른 AI가 채굴하도록 설계되어 있습니다. 기계가 기계를 위해 만든 콘텐츠의 폐쇄 루프입니다.

AI로 인해 미디어 회사와 콘텐츠 제작자들은 큰 어려움에 직면하고 있습니다(사진: GARP).

이에 대처하기 위해 Taboola와 같은 회사는 Deeper Dive를 포함한 새로운 모델에 투자하고 있습니다. Deeper Dive는 퍼블리셔의 웹사이트에 내장된 AI 환경입니다.

외부 봇에게 사용자를 뺏기는 대신, 독자들이 질문을 하고 출판사의 기존 보도 자료를 기반으로 답변을 얻을 수 있도록 합니다. 싱홀다는 "AI의 상호작용성을 확보하면서도 출판사는 관계, 트래픽, 신뢰를 유지할 수 있습니다."라고 말했습니다.

그러한 신뢰는 AI 시대에 가장 가치 있는 화폐가 될 수 있습니다. 유창한 답변이 넘쳐나는 세상에서 사람들은 여전히 구체적인 것을 원합니다. 싱홀다는 "우리는 인간입니다. 돈, 건강, 자녀처럼 중요한 문제에 관해서는 여전히 누가 말하는지 알고 싶어 합니다."라고 말했습니다.

출처: https://dantri.com.vn/cong-nghe/ngay-tan-cua-internet-truyen-thong-dang-den-gan-20250721090232643.htm