Google dự định hỗ trợ cơ chế kiểm soát dùng chung việc huấn luyện AI trong robots.txt

Ngày 30 tháng 10 năm 2026, Google thông báo dự định hỗ trợ một cơ chế kiểm soát dùng chung việc huấn luyện AI trong robots.txt, giúp chủ sở hữu trang web có một cách duy nhất để thể hiện lựa chọn về việc huấn luyện trên nhiều nhà cung cấp AI. Cam kết này được đưa ra cùng ngày với các thông báo tương tự từ Microsoft và OpenAI.

Google sẽ áp dụng cơ chế kiểm soát này như thế nào

Kế hoạch được John Mueller, người ủng hộ Google Search, trình bày trong bài đăng trên blog Google Search Central. Cơ chế kiểm soát này dựa trên công trình của nhóm công tác AI Preferences thuộc Internet Engineering Task Force (IETF) và phát triển từ Google-Extended, cơ chế kiểm soát việc huấn luyện AI mà Google cho biết đã cung cấp từ năm 2023.

Thay vì phải quản lý hướng dẫn riêng cho từng nhà phát triển AI, chủ sở hữu trang web sẽ có thể dùng một mã thông báo chính sách chung trong robots.txt để thiết lập các lựa chọn tổng quát áp dụng cho những nhà cung cấp AI tham gia. Khi một trang web dùng mã thông báo này để từ chối việc huấn luyện mà không chỉ định rõ Google-Extended, Google dự định sẽ hiểu lựa chọn đó như thể nhà xuất bản đã không cho phép Google-Extended. Các nhà cung cấp AI khác có thể xử lý tín hiệu tương tự, nhờ đó chủ sở hữu trang web có thể từ chối trên toàn bộ các nhà cung cấp tham gia cùng lúc hoặc lựa chọn từng nhà cung cấp.

Theo bài đăng, các cơ chế kiểm soát riêng của từng công ty hiện có sẽ tiếp tục hoạt động song song với tín hiệu chung. Nhờ vậy, chủ sở hữu trang web có thể thể hiện lựa chọn tổng quát thông qua tín hiệu toàn ngành, đồng thời vẫn điều chỉnh hướng dẫn cho từng nhà phát triển bằng các cơ chế như Google-Extended. Những trang web cho phép cụ thể Google-Extended đủ điều kiện xuất hiện trong câu trả lời và nhận lượt nhấp thông qua tính năng cung cấp thông tin nền trong Gemini Apps.

Google cho biết đề xuất này phản ánh ý kiến đóng góp từ các nhà xuất bản, nhóm xã hội dân sự, cơ quan quản lý và các bên liên quan khác, những bên đã kêu gọi xây dựng cơ chế kiểm soát việc huấn luyện AI trên toàn ngành. Google cũng cho rằng sự ủng hộ của các nhà cung cấp AI lớn sẽ tạo ra một tiêu chuẩn bền vững, có thể áp dụng trên toàn ngành. Công ty cho biết thêm rằng đề xuất này phù hợp với Bộ quy tắc thực hành của EU dành cho các nhà cung cấp mô hình AI đa dụng theo Đạo luật AI của EU, trong đó công nhận robots.txt là phương thức chính để các nhà xuất bản web thể hiện những lựa chọn mà máy có thể đọc được. Google đặt mục tiêu hỗ trợ cơ chế kiểm soát mới này cùng với các nhà cung cấp AI khác vào năm 2027 và cho biết sẽ cập nhật tiến độ.

OpenAI đưa ra cam kết tương tự trong cùng ngày. Thông báo của OpenAI cho biết công ty sẽ tuân thủ tín hiệu robots.txt chung, đặt mục tiêu triển khai trong những tháng tới, đồng thời duy trì và tiếp tục tôn trọng các cơ chế kiểm soát trình thu thập dữ liệu hiện có. OpenAI cho biết trong thông báo rằng họ tham gia cùng các thành viên khác của nhóm công tác AI Preferences và khuyến khích các nhà cung cấp AI khác tuân thủ tín hiệu này.

Bản dự thảo IETF làm cơ sở cho tín hiệu này

Cơ chế này được quy định trong một bản dự thảo Internet có tên “Tín hiệu lựa chọn huấn luyện có thể đọc được bằng máy”, do Kevin Kelley của Anthropic biên soạn và đề ngày 30 tháng 10 năm 2026. Tài liệu được dự định đưa vào quy trình xây dựng tiêu chuẩn và hết hạn vào ngày 3 tháng 5 năm 2027; theo công cụ theo dõi tài liệu của IETF, đây là đề xuất của cá nhân, không được IETF xác nhận và không có vị thế chính thức trong quy trình tiêu chuẩn.

Theo bản dự thảo, đơn vị vận hành dịch vụ gắn các lựa chọn sử dụng với từng đường dẫn bằng cách viết các nhóm robots.txt thông thường, được xác định theo mã thông báo chính sách dành riêng cho từng mục đích là __usage_ai-training trong dòng User-Agent. Nhóm ví dụ trong bản dự thảo thể hiện lựa chọn không cho phép huấn luyện AI trên toàn bộ trang web, ngoại trừ các đường dẫn bên dưới /press-kit/. Cơ chế này không bổ sung tên chỉ thị hay cú pháp mới: ngôn ngữ đường dẫn, quy tắc ưu tiên kết quả khớp dài nhất và cấu trúc nhóm của tiêu chuẩn robots.txt, RFC 9309, vẫn không thay đổi, nên các bộ phân tích cú pháp đã được triển khai trên internet sẽ bỏ qua những nhóm dùng mã thông báo chính sách mà chúng không nhận diện. Không được hiểu các nhóm ký tự đại diện có User-Agent: * là khớp với mã thông báo chính sách; tệp robots.txt không có nhóm __usage_ai-training thì hoàn toàn không thể hiện lựa chọn nào.

Mã thông báo này được định nghĩa theo khái niệm huấn luyện AI trong bộ thuật ngữ AIPREF: “Sử dụng một tài sản để điều chỉnh các tham số đã học của mô hình AI tạo sinh.” Định nghĩa này không bao gồm việc huấn luyện các mô hình chỉ được dùng cho những tác vụ không tạo sinh, kể cả khi mô hình có khả năng thực hiện tác vụ tạo sinh. Bản dự thảo cũng nhấn mạnh rằng mã thông báo thể hiện lựa chọn về việc sử dụng nội dung, chứ không phải chỉ thị về hành vi thu thập dữ liệu, dù các bên tiếp nhận có thể dựa vào lựa chọn đó để định hướng việc thu thập dữ liệu; các lựa chọn cụ thể cần được ưu tiên hơn lựa chọn chung, còn các thỏa thuận riêng có thể thay thế những lựa chọn đã thể hiện.

Ngày 30 tháng 10 năm 2026, Kelley công bố bản dự thảo trên danh sách thư ai-control của IETF và viết rằng Anthropic đã bắt đầu triển khai hỗ trợ. Ông mô tả công trình này là phần bổ trợ cho các cơ chế kiểm soát trình thu thập dữ liệu hiện có của Anthropic, chứ không phải phương án thay thế.

Microsoft áp dụng và các mốc chuyển đổi

Microsoft thông báo áp dụng cơ chế này cùng ngày trong bài đăng trên blog Bing của Krishna Madhavan, Giám đốc sản phẩm cấp cao phụ trách Microsoft Bing. Microsoft cho biết họ là công ty đầu tiên cung cấp cho nhà xuất bản các cơ chế kiểm soát việc huấn luyện AI và cung cấp thông tin nền, đồng thời dẫn chứng các thẻ NoArchive và NoCache mà công ty giới thiệu vào năm 2023.

Microsoft đang áp dụng tùy chọn dùng chung về huấn luyện AI cho các trang web và đường dẫn, đồng thời mở rộng tùy chọn này xuống cấp trang thông qua thẻ meta và tiêu đề phản hồi HTTP, cũng như bổ sung một tùy chọn riêng ở cấp trang về việc AI đối chiếu thông tin với nguồn dữ liệu. Bên cạnh Allow và Disallow, tùy chọn đối chiếu thông tin bổ sung lựa chọn DisallowExtended, giới hạn việc đối chiếu này ở các trải nghiệm do Microsoft vận hành như AI Mode, AI Overview, Copilot và Microsoft 365, đồng thời loại trừ các dịch vụ đối chiếu thông tin mà Microsoft cung cấp cho bên thứ ba, chẳng hạn như Web IQ và dịch vụ đối chiếu thông tin thông qua quyền truy cập API trong Foundry. Nếu không công bố tùy chọn nào, cả hai tùy chọn đều mặc định là Allow. Microsoft lưu ý rằng việc chọn Disallow hoặc DisallowExtended đối với tính năng đối chiếu thông tin sẽ làm giảm mức độ hiện diện của thương hiệu trong các trải nghiệm AI; các tùy chọn này không ảnh hưởng đến điều kiện xuất hiện trong kết quả tìm kiếm Bing truyền thống và cũng không thiết lập thỏa thuận cấp phép hay thanh toán.

Các tùy chọn mới sẽ thay thế NoArchive và NoCache đối với hoạt động huấn luyện và đối chiếu thông tin, đồng thời bắt đầu có hiệu lực từ ngày 1 tháng 2 năm 2027 khi Microsoft thu thập dữ liệu trang web. Tùy chọn chuyển tiếp tạm thời cho việc đối chiếu thông tin sẽ được cung cấp trong Bing Webmaster Tools từ ngày 15 tháng 12 năm 2026 cho các trang web vẫn sử dụng những thẻ cũ vào thời điểm đó. Các trang web này phải công bố tùy chọn mới và ghi nhận một tùy chọn tạm thời về việc đối chiếu thông tin trước ngày 1 tháng 3 năm 2027; sau thời điểm đó, NoArchive và NoCache sẽ không còn được đọc như các tùy chọn áp dụng cho hoạt động huấn luyện hoặc đối chiếu thông tin. Các tùy chọn tạm thời tiếp tục có hiệu lực cho đến khi Microsoft thu thập lại dữ liệu của một trang và phát hiện tùy chọn mới về việc đối chiếu thông tin, hoặc đến ngày 30 tháng 9 năm 2027, tùy thời điểm nào đến trước.