Tác động của tính năng chặn Bot AI của Cloudflare

Cloudflare, một trong những nhà cung cấp cơ sở hạ tầng internet lớn nhất, đã ra mắt tính năng chặn Bot AI mới, được coi là một “trò chơi thay đổi” cho các nhà tạo nội dung và toàn bộ web. Hệ thống này nhằm tự động hóa việc phát hiện và giảm thiểu các Bot AI không mong muốn, cơ bản tái tưởng tượng mối quan hệ giữa chủ sở hữu trang web và các công ty AI.

Cloudflare hiện là nhà cung cấp cơ sở hạ tầng internet đầu tiên chặn các Bot AI truy cập nội dung mà không có sự cho phép hoặc bồi thường, theo mặc định. Bài viết này sẽ điều tra cách tính năng chặn của Cloudflare hoạt động, kiểm tra các tác động sâu sắc của nó đối với các trang web mà nó bao phủ, và khám phá các tác động lan rộng tiềm năng trên hệ sinh thái web, đặc biệt là đối với các nhà xuất bản tin tức, nền tảng thương mại điện tử và khả năng xuất hiện của các hệ thống tương tự từ các đối thủ của Cloudflare.

Cloudflare hoạt động như thế nào

Chức năng cốt lõi và chặn mặc định

Cloudflare đã thấy hơn 1 triệu khách hàng kích hoạt tính năng tương tự khi nó trở thành một tùy chọn vào tháng 7 năm 2024. Nhưng công ty đã宣 bố rằng nó sẽ chặn Bot AI theo mặc định từ việc truy cập các trang web mà nó lưu trữ. Tính năng mới này cho phép chủ sở hữu trang web quyết định liệu Bot AI có thể truy cập nội dung của họ và cách các công ty AI có thể sử dụng nó. Điều này thay đổi việc thu thập nội dung từ một mô hình “từ chối” thành một mô hình “cho phép”, và khách hàng hiện tại có thể kích hoạt tính năng này với một cú nhấp chuột trong bảng điều khiển Cloudflare.

Tính năng này có sẵn cho tất cả khách hàng, bao gồm cả những người dùng kế hoạch miễn phí, khiến nó trở nên dễ tiếp cận với các trang web của mọi kích cỡ.

Mô hình “Trả tiền cho mỗi lần thu thập”

Một tính năng chính của công cụ chặn Bot AI của Cloudflare là đảm bảo các nhà xuất bản được trả tiền cho nội dung của họ bị thu thập và sử dụng bởi các công ty AI. Mô hình “Trả tiền cho mỗi lần thu thập” này nhằm tạo ra một thị trường mới nơi các nhà xuất bản có thể yêu cầu bồi thường từ các công ty AI mỗi lần một trong các trang của họ bị thu thập.

Chủ sở hữu trang web trong thí nghiệm có thể chọn cho phép Bot AI, trên cơ sở từng trường hợp, thu thập trang web của họ với một mức giá cố định, một khoản thanh toán nhỏ cho mỗi lần “thu thập”. Các nhà xuất bản được cấp quyền kiểm soát đầy đủ, với ba tùy chọn riêng biệt cho mỗi Bot: cho phép truy cập miễn phí, yêu cầu thanh toán với một mức giá cấu hình, hoặc từ chối truy cập hoàn toàn. Giá sẽ được xác định bởi cả các nhà xuất bản, những người có thể đặt mức giá, và các công ty AI, những người có thể chọn truy cập trang web với mức giá đó.

Hệ thống tích hợp với cơ sở hạ tầng web hiện có, tận dụng mã trạng thái HTTP 402 (‘Yêu cầu thanh toán’). Khi một Bot AI yêu cầu nội dung, nó sẽ cung cấp ý định thanh toán qua tiêu đề yêu cầu hoặc nhận được phản hồi 402 chỉ ra rằng thanh toán là bắt buộc.

Công cụ quản lý Bot nâng cao

Cloudflare hiện cung cấp tạo và quản lý tệp tin robots.txt cho khách hàng, tự động bao gồm các chỉ thị cho các nhà điều hành Bot AI phổ biến không sử dụng nội dung cho đào tạo mô hình AI. Điều này rất quan trọng vì robots.txt là một “hệ thống danh dự” mà nhiều trang web không sử dụng hiệu quả. Trong số 10.000 tên miền hàng đầu nơi tìm thấy tệp tin robots.txt, chỉ khoảng 14% có chỉ thị “cho phép” hoặc “từ chối” nhắm vào Bot AI cụ thể.

Một tùy chọn mới cho phép chủ sở hữu trang web chặn Bot AI cụ thể trên các phần của trang web được kiếm tiền thông qua quảng cáo. Kích hoạt thiết lập này sẽ chặn các Bot đã xác minh được phân loại trong các danh mục liên quan đến AI như Trợ lý AI, Bot thu thập AI hoặc Lưu trữ, cũng như một số Bot không xác minh hành động tương tự. Tính năng toàn diện này có sẵn cho tất cả khách hàng Cloudflare, bao gồm cả những người dùng kế hoạch miễn phí.

Tác động đối với các trang web được Cloudflare bảo vệ

Khôi phục quyền kiểm soát và định giá nội dung

Các công cụ mới của Cloudflare được coi là trao cho các nhà xuất bản “quyền kiểm soát mà họ xứng đáng” đối với nội dung của mình, điều cần thiết cho “Internet để tồn tại trong thời đại AI.” Mô hình Internet truyền thống, nơi các công cụ tìm kiếm thúc đẩy lưu lượng truy cập và doanh thu quảng cáo, được coi là “hỏng” bởi một số người vì các công cụ thu thập mà cho phép lập chỉ mục công cụ tìm kiếm là những gì cho phép Bot AI thu thập nội dung như văn bản, bài viết và hình ảnh để tạo ra câu trả lời, mà không gửi người dùng đến nguồn gốc ban đầu, tước quyền của các nhà tạo nội dung về doanh thu và công nhận.

Các nhà xuất bản đã chào đón chương trình mới của Cloudflare như một chiến thắng hiếm hoi và quyết định trong việc ngăn chặn nội dung của họ bị thu thập miễn phí bởi hàng triệu Bot AI không xác định. Các nhà lãnh đạo ngành coi đây là bước đầu tiên quan trọng để xây dựng lại một nền kinh tế Internet khả thi, nhấn mạnh rằng các nhà tạo nội dung xứng đáng được bồi thường cho công việc của họ.

Địa chỉ các thách thức tài chính và hoạt động

Việc thu thập nội dung rộng rãi bởi Bot AI có các tác động tài chính đáng kể, làm suy yếu các khoản đầu tư lớn mà các công ty thực hiện để tạo và xuất bản nội dung web. Hoạt động Bot không kiểm soát cũng có thể có các tác động tiêu cực đến hiệu suất trang web, dẫn đến máy chủ quá tải, trang web chậm, dữ liệu phân tích bị sai lệch và chi phí hoạt động tăng.

Các nhà xuất bản đã báo cáo các vấn đề với ‘lưu lượng truy cập không hợp lệ’, điều này có thể dẫn đến các nền tảng cung cấp phía máy chủ chặn tên miền, dẫn đến tổn thất đáng kể về nhu cầu và áp lực giá. Giải pháp của Cloudflare giải quyết vấn đề này bằng cách hiệu quả khóa cửa chống lại các Bot không được ủy quyền, một cải tiến đáng kể so với hệ thống danh dự robots.txt không đầy đủ.

Tác động được chứng minh và sự áp dụng rộng rãi của các nhà xuất bản

Một số nhà xuất bản lớn, bao gồm Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK và Fortune, đã ký kết với Cloudflare để chặn Bot AI theo mặc định. Tác động ngay lập tức đã rất đáng kể, với một số nhà xuất bản chặn hàng triệu yêu cầu AI từ các công ty không được ủy quyền trong vài giờ sau khi kích hoạt tính năng. 

Đối với nhiều nhà xuất bản, nhu cầu này là rõ ràng do sự khai thác tài sản trí tuệ của họ, và sự gia tăng liên tục của các tác động tiêu cực của tìm kiếm AI đối với lưu lượng truy cập trang web. Vào đầu năm 2025, các Bot thu thập của Open AI đã trả lại một người truy cập cho mỗi 250 trang thu thập, trong khi vào tháng 6, họ đã trả lại một người truy cập cho mỗi 1.500 trang thu thập.

Tác động lan rộng trên hệ sinh thái web và tương lai

Tác động đối với các nhà phát triển AI và đào tạo mô hình

Quyết định chặn Bot AI khỏi việc truy cập nội dung mà không có sự cho phép hoặc bồi thường của chủ sở hữu trang web có thể tác động đáng kể đến khả năng của các nhà phát triển AI trong việc đào tạo mô hình của họ. Điều này có thể tạo ra tác động ngắn hạn đối với đào tạo mô hình AI và có thể ảnh hưởng đến tính khả thi của một số mô hình trong dài hạn.

OpenAI đã từ chối tham gia khi Cloudflare xem trước kế hoạch chặn Bot AI theo mặc định với lý do rằng mạng lưới phân phối nội dung đang thêm một trung gian vào hệ thống.

Tác động đối với SEO và phân biệt công cụ tìm kiếm

Một yếu tố quan trọng đối với các chủ sở hữu trang web khi thực hiện tính năng chặn Bot AI của Cloudflare là hiểu sự khác biệt giữa Bot AI và Bot tìm kiếm truyền thống. Google (GOOGL ) không quan tâm đến việc bạn chặn các Bot khác, và Bot AI phục vụ một mục đích hoàn toàn khác: chúng thu thập thông tin để đào tạo hoặc cập nhật mô hình ngôn ngữ, không giống như Bot tìm kiếm thu thập nội dung để lập chỉ mục cho xếp hạng. Điều này có nghĩa là chặn Bot AI thông qua hệ thống của Cloudflare không nên ảnh hưởng tiêu cực đến SEO hoặc xếp hạng, có nghĩa là các chiến lược SEO như tạo liên kết vẫn sẽ quan trọng.

Tuy nhiên, cảnh quan SEO rộng lớn hơn đang phát triển khi các công cụ tìm kiếm tích hợp khả năng AI vào kết quả của chúng. Chặn các Bot cụ thể có thể ảnh hưởng đến khả năng hiển thị của trang web trong kết quả tìm kiếm, có thể ảnh hưởng đến khả năng khám phá, đặc biệt là khi các công cụ tìm kiếm phát triển các tính năng được hỗ trợ bởi AI. Ưu điểm chính của phương pháp của Cloudflare là kiểm soát chi tiết, cho phép các nhà xuất bản duy trì lợi ích SEO từ các công cụ tìm kiếm truyền thống trong khi chọn lọc chặn Bot AI không mang lại lưu lượng truy cập hoặc lợi ích xếp hạng trực tiếp.

Tác động theo ngành

Nhà xuất bản tin tức

Hệ thống này cung cấp một cơ chế bền vững và cần thiết cho các nhà xuất bản tin tức đang vật lộn với các câu hỏi về sự tồn tại khi lưu lượng truy cập tìm kiếm của Google giảm và các Bot trò chuyện AI trở nên phổ biến. Nó cung cấp một cơ chế để họ kiếm tiền từ nội dung của mình mà không cần phải thỏa thuận cấp phép riêng lẻ thường chỉ có lợi cho các nhà xuất bản lớn.

Nền tảng thương mại điện tử

Lợi ích chung của hệ thống Cloudflare, chẳng hạn như giảm tải máy chủ, ngăn chặn dữ liệu phân tích bị sai lệch và giảm thiểu việc sao chép nội dung, đều có thể áp dụng cho bất kỳ trang web nào, bao gồm cả nền tảng thương mại điện tử. Những nền tảng này phụ thuộc rất nhiều vào hiệu suất nhất quán, dữ liệu người dùng chính xác và bảo vệ chống lại việc thu thập dữ liệu không được ủy quyền.

Dịch vụ API

Nguyên tắc cốt lõi của việc truy cập được kiểm soát và định giá tài sản kỹ thuật số, mặc dù hiện tại tập trung vào nội dung web, có thể mở rộng để bảo vệ và định giá dữ liệu được truy cập thông qua API trong các phiên bản hoặc dịch vụ liên quan trong tương lai.

Cảnh quan cạnh tranh và Tương lai

Cloudflare được sử dụng bởi 20% web, và ước tính rằng khoảng 16% lưu lượng truy cập internet toàn cầu đi trực tiếp qua Cloudflare, đặt nó vào vị trí duy nhất để triển khai một hệ thống quy mô lớn như vậy. Tầm nhìn của một thị trường cho nội dung phải đối mặt với thách thức, vì việc thuyết phục các công ty AI trả tiền cho nội dung mà họ hiện đang thu thập miễn phí có thể khó khăn.

Mặc dù được nhiều người chào đón, công cụ của Cloudflare có thể được coi là một giải pháp một phần chứ không phải là một giải pháp hoàn chỉnh, và sự tập trung nên được đặt vào sự cần thiết phải có sự bảo vệ pháp lý mạnh mẽ hơn để ngăn chặn việc sao chép nội dung bởi các công ty AI trên toàn bộ internet.

Kết luận

Tính năng chặn Bot AI của Cloudflare đại diện cho một phương pháp đa diện để trao quyền cho các nhà tạo nội dung và thay đổi lại động lực giữa các nhà xuất bản web và AI. Bằng cách cung cấp các cơ chế kiểm soát mạnh mẽ và một mô hình kinh tế mới như Trả tiền cho mỗi lần thu thập, nó nhằm thiết lập một internet công bằng hơn cho cả nhà tạo nội dung và công ty AI. Mặc dù phải đối mặt với thách thức và cần sự thích nghi của ngành công nghiệp rộng rãi hơn, sáng kiến này đánh dấu một bước quan trọng hướng tới bảo vệ tương lai của việc tạo nội dung trên web.