Влияние блокировки ботов Cloudflare на основе ИИ

Cloudflare, один из крупнейших провайдеров интернет-инфраструктуры, запустил новую функцию блокировки ботов на основе ИИ, которая может стать “игроком” на рынке для создателей контента и более широкой сети. Эта инновационная система направлена на автоматизацию обнаружения и смягчения нежелательных искусственных интеллектов (ИИ) пауков, фундаментально переосмысливая отношения между владельцами сайтов и компаниями ИИ.

Cloudflare теперь первым провайдером интернет-инфраструктуры, который блокирует боты ИИ, доступ к контенту без разрешения или компенсации, по умолчанию. В этой статье мы рассмотрим, как работает новая система блокировки Cloudflare, рассмотрим ее глубокие последствия для сайтов, которые она покрывает, и исследуем потенциальные эффекты волны по всей экосистеме сети, особенно для новостных издателей, платформ электронной коммерции и перспективы появления подобных систем у конкурентов Cloudflare.

Как работает блокировка ботов ИИ Cloudflare

Основная функциональность и блокировка по умолчанию

Cloudflare уже увидел более 1 миллиона клиентов, активировавших подобную функцию, когда она стала доступна в июле 2024 года. Но компания объявила, что теперь по умолчанию будет блокировать боты ИИ от посещения сайтов, которые она размещает. Новая функция позволяет владельцам сайтов решать, могут ли боты ИИ получить доступ к их контенту и как компании ИИ могут использовать его. Это меняет скрапинг контента с модели “опт-аут” на модель “опт-ин”, и существующие клиенты могут включить эту функцию с помощью одного клика в панели управления Cloudflare.

Функция доступна всем клиентам, включая тех, кто использует бесплатные планы, что делает ее доступной для сайтов любого размера.

Модель “Платеж за паук”

Одной из основных функций новой блокировки ботов Cloudflare является обеспечение того, чтобы издатели получали оплату за контент, который скрапят и используют компании ИИ. Эта модель “Платеж за паук” направлена на создание нового рынка, где издатели могут требовать компенсацию от компаний ИИ каждый раз, когда одна из их страниц скрапится.

Владельцы сайтов в эксперименте могут выбрать, разрешить ли ботам ИИ, на индивидуальной основе, скрапить их сайт по установленной ставке, микроплатежу за каждый отдельный “паук”. Издателям предоставляется полный контроль, с тремя различными вариантами для каждого паука: разрешить бесплатный доступ, требовать оплату по настроенной ставке или полностью запретить доступ. Ценообразование будет определяться как издателями, которые могут устанавливать ставки, так и компаниями ИИ, которые могут выбирать, получить ли доступ к веб-страницам по этим ставкам.

Система интегрируется с существующей веб-инфраструктурой, используя HTTP-код состояния 402 (“Требуется оплата”). Когда бот ИИ запрашивает контент, он либо предоставляет намерение оплаты через заголовки запроса, либо получает ответ 402, указывающий на то, что требуется оплата.

Продвинутые инструменты управления ботами

Cloudflare теперь предлагает создать и управлять файлом robots.txt для клиентов, автоматически включая директивы, которые сигнализируют популярным операторам ботов ИИ не использовать контент для обучения моделей ИИ. Это важно, поскольку robots.txt является “системой чести”, которую многие сайты не используют эффективно. Среди топ-10 000 доменов, где был найден файл robots.txt, только около 14% имели директивы “allow” или “disallow”, нацеленные конкретно на боты ИИ.

Новая опция позволяет владельцам сайтов блокировать боты ИИ конкретно на частях своего сайта, которые монетизируются через рекламу. Активация этого параметра блокирует проверенные боты, классифицированные в категориях, связанных с ИИ, таких как Помощник ИИ, Паук ИИ или Архиватор, а также ряд непроверенных ботов, которые ведут себя аналогично. Эта комплексная функция доступна всем клиентам Cloudflare, включая тех, кто использует бесплатные планы.

Влияние на сайты, покрытые Cloudflare

Возвращение контроля и оценка контента

Новые инструменты Cloudflare рассматриваются как предоставляющие издателям “контроль, которого они заслуживают”, над своим контентом, что является необходимым для “выживания интернета в эпоху ИИ”. Традиционная модель интернета, где поисковые системы стимулировали трафик и доход от рекламы, считается сломанной некоторыми, поскольку скраперы, которые позволяли индексирование поисковых систем, также позволяют ботам ИИ собирать контент, такой как текст, статьи и изображения, для генерации ответов, не отправляя посетителей на исходный источник, лишая создателей дохода и признания.

Издатели приветствуют новую программу Cloudflare как редкую, решающую победу и игрок на рынке в предотвращении бесплатного скрапинга их контента миллионами неизвестных ботов ИИ. Лидеры отрасли описывают это как важный первый шаг к восстановлению жизнеспособной экономики интернета, подчеркивая, что создатели контента заслуживают компенсации за свою работу.

Решение финансовых и операционных проблем

Широкий скрапинг контента ботами ИИ имеет значительные финансовые последствия, подрывая значительные инвестиции, которые компании делают в создание и публикацию веб-контента. Неограниченная активность ботов также может иметь неблагоприятные эффекты на производительность сайта, что приводит к перегрузке серверов, замедлению сайтов, искажению данных аналитики и увеличению операционных затрат.

Издатели сообщают о проблемах с “неправильным трафиком”, который может привести к тому, что крупные платформы поставщиков будут блокировать домены, что приводит к значительным потерям в спросе и давлению на цены. Решение Cloudflare решает эту проблему, эффективно запирая дверь против неавторизованных пауков, что является значительным улучшением над недостаточной системой чести robots.txt.

Доказанное влияние и широкое внедрение издателей

Несколько крупных издателей, включая Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK и Fortune, подписали соглашение с Cloudflare, чтобы блокировать боты ИИ по умолчанию. Немедленное влияние было существенным, и некоторые издатели блокировали миллионы запросов ИИ от неавторизованных компаний в течение часов после активации функции. 

Для многих издателей необходимость в этом была очевидна из-за эксплуатации их интеллектуальной собственности и продолжающегося эскалации негативных последствий ИИ-обучения для трафика сайта. В начале 2025 года пауки Open AI возвращали одного посетителя на каждые 250 страниц, которые они скрапили, а к июню они возвращали одного посетителя на каждые 1 500 страниц, которые они скрапили.

Более широкие эффекты волны по экосистеме сети и будущее

Последствия для разработчиков ИИ и обучения моделей

Решение блокировать искусственные интеллекты пауков от доступа к контенту без разрешения владельцев сайтов или компенсации по умолчанию может существенно повлиять на способность разработчиков ИИ обучать свои модели. Это, вероятно, создаст краткосрочное влияние на обучение моделей ИИ и может в долгосрочной перспективе повлиять на жизнеспособность некоторых моделей.

OpenAI отказался участвовать, когда Cloudflare представил свой план блокировки ботов ИИ по умолчанию, ссылаясь на то, что сеть доставки контента добавляет посредника в систему.

Последствия для SEO и дифференциации поисковых систем

Критическим аспектом для владельцев сайтов, реализующих блокировку ботов ИИ Cloudflare, является понимание различия между ботами ИИ и традиционными ботами поисковых систем. Google (GOOGL ) не противится блокировке других пауков, а боты ИИ служат совершенно другой цели: они собирают информацию для обучения или обновления языковых моделей, в отличие от ботов поисковых систем, которые индексируют контент для рейтингов. Это означает, что блокировка ботов ИИ через систему Cloudflare не должна негативно повлиять на SEO или рейтинги, что означает, что стратегии SEO, такие как бэклинкинг, все еще будут важны.

Однако более широкий ландшафт SEO эволюционирует, поскольку поисковые системы интегрируют возможности ИИ в свои результаты. Блокировка конкретных ботов может повлиять на видимость сайтов в результатах поиска, потенциально влияя на обнаруживаемость, особенно когда поисковые системы разрабатывают функции, управляемые ИИ. Основное преимущество подхода Cloudflare заключается в его детальном контроле, позволяющем издателям сохранять преимущества SEO от традиционных поисковых систем, одновременно избирательно блокируя боты ИИ, которые не предоставляют прямого трафика или преимуществ рейтинга.

Секторальные последствия

Издатели новостей

Эта система предлагает потенциальную и необходимую прочную систему для издателей новостей, которые борются с экзистенциальными вопросами, поскольку трафик Google Search снижается, а чат-боты ИИ набирают популярность. Она предоставляет механизм для них, чтобы монетизировать свой контент без заключения отдельных лицензионных соглашений, которые обычно приносят пользу только крупным издателям.

Платформы электронной коммерции

Общие преимущества системы Cloudflare, такие как снижение нагрузки на сервер, предотвращение искажения данных аналитики и смягчение кражи контента, являются универсально применимыми к любому сайту, включая платформы электронной коммерции. Эти платформы сильно полагаются на последовательную производительность, точные данные пользователей и защиту от неавторизованного скрапинга данных.

Сервисы API

Основной принцип контролируемого доступа и монетизации цифровых активов, хотя сейчас он сосредоточен на веб-контенте, может концептуально распространиться на защиту и монетизацию данных, доступных через API, в будущих итерациях или связанных услугах.

Конкурентная среда и будущий прогноз

Cloudflare используется 20% веба, и, по оценкам, около 16% глобального интернет-трафика проходит напрямую через Cloudflare, что ставит ее уникально для реализации такой крупномасштабной системы. Видение рынка контента сталкивается с проблемами, поскольку убеждение компаний ИИ платить за контент, который они сейчас скрапят бесплатно, может быть сложным.

Хотя многие приветствуют инструмент Cloudflare, его можно рассматривать как частичное решение, а не полное, и внимание должно быть сосредоточено на продолжающейся необходимости более сильных юридических защит для предотвращения кражи контента компаниями ИИ во всем интернете.

Заключение

Блокировка ботов ИИ Cloudflare представляет собой многогранный подход к расширению прав и возможностей создателей контента и переосмыслению динамики между веб-издателями и ИИ. Предоставляя прочные механизмы контроля и новую экономическую модель, подобную “Платежу за паук”, она стремится создать более справедливый интернет для создателей и компаний ИИ. Хотя она сталкивается с проблемами и необходимостью более широкой адаптации отрасли, эта инициатива знаменует собой значительный шаг к обеспечению будущего создания контента в вебе.