Вплив блокування ботів Cloudflare на штучний інтелект

Cloudflare, один із найбільших постачальників інфраструктури інтернету, запустив нову функцію блокування ботів штучного інтелекту, яку вважають потенційним “ігровим змінником” для творців контенту та всієї мережі. Ця інноваційна система спрямована на автоматизацію виявлення та мінімізації нежаданих штучних інтелект-ботів, фундаментально переосмислюючи відносини між власниками веб-сайтів та компаніями штучного інтелекту.

Cloudflare тепер першим постачальником інфраструктури інтернету, який блокує боти штучного інтелекту, що отримують доступ до контенту без дозволу або компенсації, за замовчуванням. Ця стаття буде досліджувати, як працюють нові механізми блокування Cloudflare, вивчатиме їхні глибокі наслідки для веб-сайтів, які вони охоплюють, та досліджуватиме потенційні ефекти хвилі в екосистемі інтернету, особливо для видавців новин, платформ електронної комерції та перспективи появи подібних систем у конкурентів Cloudflare.

Як працює блокування ботів штучного інтелекту Cloudflare

Основна функціональність та блокування за замовчуванням

Cloudflare вже бачить більше 1 мільйона клієнтів, які активували подібну функцію, коли вона стала доступною у липні 2024 року. Але компанія оголосила, що тепер за замовчуванням блокуватиме боти штучного інтелекту від відвідування веб-сайтів, які вони розміщують. Нова пропозиція дозволяє власникам сайтів вирішувати, чи можуть боти штучного інтелекту отримувати доступ до їхнього контенту та як компанії штучного інтелекту можуть використовувати його. Це змінює витяг контенту з моделі “опт-аут” на модель “опт-ін”, а існуючі клієнти можуть активувати цю функцію одним кліком у панелі керування Cloudflare.

Ця функція доступна всім клієнтам, включаючи тих, хто користується безкоштовними тарифними планами, що робить її доступною для веб-сайтів будь-якого розміру.

Модель “Платеж за перехід”

Однією з основних особливостей нового блокувальника ботів Cloudflare є забезпечення того, щоб видавці отримували оплату за контент, який використовується компаніями штучного інтелекту. Ця модель “Платеж за перехід” спрямована на створення нового ринку, на якому видавці можуть вимагати компенсацію від компаній штучного інтелекту кожен раз, коли одна зі сторінок їхнього сайту буде перехідною.

Власники веб-сайтів у цьому експерименті можуть вибирати, чи дозволяють ботам штучного інтелекту окремо витягувати контент їхнього сайту за встановлену ставку, мікроплатеж за кожен окремий “перехід”. Видавці мають повний контроль, з трьома різними варіантами для кожного бота: дозволити безкоштовний доступ, вимагати оплату за встановлену ставку або заборонити доступ повністю. Ціни будуть визначатися як видавцями, які можуть встановлювати ставки, так і компаніями штучного інтелекту, які можуть вибирати, чи отримувати доступ до веб-сторінок за цією ставкою.

Система інтегрується з існуючою веб-інфраструктурою, використовуючи HTTP-код стану 402 (“Оплата необхідна”). Коли бот штучного інтелекту запитує контент, він або надсилає намір оплати через заголовки запиту, або отримує відповідь 402, яка вказує на те, що оплата необхідна.

Розширені інструменти керування ботами

Cloudflare тепер пропонує створити та керувати файлом robots.txt для клієнтів, автоматично включаючи директиви, які сигналізують популярним операторам ботів штучного інтелекту не використовувати контент для навчання моделей штучного інтелекту. Це важливо, оскільки robots.txt – це “система честі”, яку багато веб-сайтів не ефективно використовують. Серед перших 10 000 доменів, де був знайдений файл robots.txt, лише близько 14% мали директиви “дозволити” або “заборонити”, спрямовані конкретно на боти штучного інтелекту.

Нова опція дозволяє власникам веб-сайтів заблокувати боти штучного інтелекту конкретно на частинах їхнього сайту, які монетизуються через рекламу. Активування цього параметру блокуватиме перевірені боти, класифіковані в категоріях, пов’язаних зі штучним інтелектом, таких як помічник штучного інтелекту, бот штучного інтелекту або архіватор, а також ряд неперевірених ботів, які поводяться подібно. Ця комплексна функція доступна всім клієнтам Cloudflare, включаючи тих, хто користується безкоштовними тарифними планами.

Вплив на веб-сайти, охоплені Cloudflare

Відновлення контролю та оцінка контенту

Нові інструменти Cloudflare розглядаються як надання видавцям “контролю, якого вони заслуговують”, над своїм контентом, що є важливим для “виживання інтернету в епоху штучного інтелекту”. Традиційна модель інтернету, де пошукові системи генерують трафік та дохід від реклами, вважається зламаною деякими, оскільки скрепери, які дозволяють індексування пошукових систем, також дозволяють ботам штучного інтелекту збирають контент, такий як текст, статті та зображення, для генерації відповідей, не направляючи відвідувачів на оригінальне джерело, позбавляючи творців доходу та визнання.

Видавці вітують нову програму Cloudflare як рідку, вирішальну перемогу та ігровий змінник у запобіганні викраденню їхнього контенту безкоштовно мільйонами невідомих ботів штучного інтелекту. Лідери галузі описують це як важливий перший крок до відновлення життєздатної інтернет-економіки, підкреслюючи, що творці контенту заслуговують на компенсацію за свою роботу.

Вирішення фінансових та операційних проблем

Масовий збір контенту ботами штучного інтелекту має значні фінансові наслідки, підриваючи великі інвестиції компаній у створення та публікацію веб-контенту. Неконтрольована діяльність ботів також може мати негативні наслідки для продуктивності веб-сайту, що призводить до перевантаження серверів, сповільнення веб-сайтів, викривлення даних аналитики та збільшення операційних витрат.

Видавці повідомляють про проблеми з “недійсним трафіком”, які можуть привести до блокування доменів великими платформами постачання, що призводить до значних втрат у попиті та тиску на ціни. Рішення Cloudflare вирішує цю проблему, ефективно заблоковуючи двері проти несанкціонованих скреперів, що є суттєвим покращенням над недостатньою системою честі robots.txt.

Доведений вплив та широке прийняття видавцями

Декілька великих видавців, включаючи Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK та Fortune, підписали угоду з Cloudflare щодо блокування ботів штучного інтелекту за замовчуванням. Негайний вплив був суттєвим, з деякими видавцями, які блокували мільйони запитів штучного інтелекту від несанкціонованих компаній протягом годин після активації функції. 

Для багатьох видавців необхідність цього була очевидною через експлуатацію їхньої інтелектуальної власності, а також подальше загострення негативних наслідків штучного інтелекту на трафік сайту. На початку 2025 року скрепери Open AI повертали одного відвідувача на кожні 250 сторінок, які вони скопіювали, тоді як у червні вони повертали одного відвідувача на кожні 1 500 сторінок, які вони скопіювали.

Ширші ефекти хвилі в екосистемі інтернету та майбутнє

Наслідки для розробників штучного інтелекту та навчання моделей

Рішення блокувати штучні інтелект-боти від доступу до контенту без дозволу власників веб-сайтів або компенсації за замовчуванням може суттєво вплинути на можливість розробників штучного інтелекту тренувати свої моделі. Це, ймовірно, створить короткостроковий вплив на навчання моделей штучного інтелекту та може вплинути на життєздатність деяких моделей у довгостроковій перспективі.

OpenAI відмовився брати участь, коли Cloudflare попередньо представила свій план блокування ботів штучного інтелекту за замовчуванням на підставі того, що мережа доставки контенту додає посередника до системи.

Наслідки для SEO та розрізнення пошукових систем

Критично важливим для власників веб-сайтів, які реалізують блокування ботів штучного інтелекту Cloudflare, є розуміння розрізнення між ботами штучного інтелекту та традиційними пошуковими ботами. Google не турбується про те, чи блокуєте ви інші скрепери, а боти штучного інтелекту служать цілком іншій меті: вони збирають інформацію для навчання або оновлення мовних моделей, на відміну від пошукових ботів, які індексують контент для рейтингів. Це означає, що блокування ботів штучного інтелекту через систему Cloudflare не повинно негативно впливати на SEO або рейтинги, що означає, що стратегії SEO, такі як створення зовнішніх посилань, все ще будуть важливі.

Однак ширша ландшафт SEO еволюціонує, оскільки пошукові системи інтегрують можливості штучного інтелекту у свої результати. Блокування конкретних ботів може вплинути на видимість веб-сайтів у результатах пошуку, потенційно впливаючи на відкривання, особливо коли пошукові системи розробляють функції, керовані штучним інтелектом. Ключова перевага підходу Cloudflare полягає в його гранульованому контролі, який дозволяє видавцям зберігати переваги SEO від традиційних пошукових систем, одночасно вибірково блокуючи боти штучного інтелекту, які не забезпечують прямого трафіку чи переваг рейтингу.

Секторальні впливи

Видавці новин

Ця система пропонує потенційно і вкрай необхідну тривалу систему для видавців новин, які борються з екзистенційними питаннями, оскільки трафік Google Search знижується, а чат-боти штучного інтелекту набувають популярності. Вона пропонує механізм для них монетизувати свій контент без укладення окремих ліцензійних угод, які зазвичай приносять користь лише великим видавцям.

Платформи електронної комерції

Загальні переваги системи Cloudflare, такі як зменшення навантаження на сервер, запобігання викривленню даних аналитики та мінімізація крадіжки контенту, універсально застосовні до будь-якого веб-сайту, включаючи платформи електронної комерції. Ці платформи сильно залежать від стабільної продуктивності, точних даних користувачів та захисту від несанкціонованого збору даних.

Служби API

Основний принцип контрольованого доступу та монетизації цифрових активів, хоча зараз зосереджений на веб-контенті, концептуально може розшириться на захист та монетизацію даних, доступних через API, у майбутніх ітераціях або пов’язаних послугах.

Конкурентний ландшафт та майбутній погляд

Cloudflare використовується 20% інтернету, і оцінюється, що близько 16% глобального інтернет-трафіку прямує безпосередньо через Cloudflare, що позиціонує її унікально для реалізації такої великомасштабної системи. Візія ринку контенту стикається з викликами, оскільки переконання компаній штучного інтелекту платити за контент, який вони зараз скопіюють безкоштовно, може бути складним.

Хоча цю інструмент Cloudflare вітала багато хто, її можна розглядати як часткове рішення, а не повне, і увагу слід зосередити на постійній необхідності більш сильних юридичних захистів, щоб запобігти крадіжці контенту компаніями штучного інтелекту у всьому інтернеті.

Висновок

Блокування ботів штучного інтелекту Cloudflare представляє багатогранний підхід до надання творцям контенту можливості та зміни динаміки між веб-видавцями та штучним інтелектом. Надавши потужні механізми контролю та нову економічну модель, подібну до “Платежу за перехід”, вона спрямована на створення більш справедливого інтернету для творців та компаній штучного інтелекту. Хоча ця ініціатива стикається з викликами та потребує більш широкої адаптації галузі, вона позначає суттєвий крок до забезпечення майбутнього створення контенту у мережі.