OpenAI sẽ tôn trọng tín hiệu robots.txt dùng chung về lựa chọn huấn luyện AI

Ngày 30 tháng 10 năm 2026, OpenAI thông báo rằng họ sẽ tôn trọng một tín hiệu dùng chung trong robots.txt—tệp mà các trang web sử dụng để nêu lựa chọn về cách nội dung của mình được sử dụng—để người vận hành trang web có thể truyền đạt một lựa chọn duy nhất về huấn luyện AI cùng lúc đến nhiều nhà cung cấp tham gia.

Tín hiệu tự nguyện dùng chung giữa các nhà cung cấp

Trong thông báo, OpenAI mô tả đây là một nỗ lực tự nguyện và cho biết nỗ lực này giải quyết một gánh nặng hiện hữu: trước đây, người vận hành trang web phải xác định từng trình thu thập dữ liệu riêng lẻ và duy trì quy tắc riêng cho từng nhà cung cấp. Theo công ty, tín hiệu dùng chung giúp nhà xuất bản và người vận hành trang web truyền đạt cùng một lựa chọn đến nhiều nhà cung cấp tham gia cùng lúc. OpenAI cho biết họ đặt mục tiêu triển khai tín hiệu này trong những tháng tới và sẽ chia sẻ bản cập nhật tiếp theo kèm thông tin chi tiết về việc triển khai khi thực hiện.

Công ty cho biết tín hiệu mới sẽ không thay thế các cơ chế kiểm soát hiện có mà họ cung cấp thông qua robots.txt; các cơ chế này sẽ tiếp tục được áp dụng và tôn trọng. OpenAI cho biết động thái này dựa trên công việc đang được Nhóm công tác AI Preferences của Lực lượng Đặc nhiệm Kỹ thuật Internet (IETF) tiến hành, đồng thời nói rằng họ tham gia cùng các thành viên khác của nhóm công tác trong việc đưa ra thông báo và khuyến khích các nhà cung cấp AI khác tôn trọng tín hiệu này. Công ty mô tả bước đi này là hướng tới một trang web mở, nơi mọi người có thể xuất bản và khám phá thông tin, còn chủ sở hữu trang web có những cách rõ ràng và đơn giản hơn để truyền đạt lựa chọn về việc sử dụng nội dung của mình; công ty cũng cho biết sẽ tiếp tục điều chỉnh các thông lệ khi những cuộc thảo luận về tiêu chuẩn này phát triển.

Cách thức hoạt động của tín hiệu

Tín hiệu được quy định trong một Bản nháp Internet riêng lẻ có tiêu đề Tín hiệu lựa chọn huấn luyện có thể đọc bằng máy (draft-kelley-aipref-training-preference-signal-00), do Kevin Kelley thuộc Anthropic soạn thảo, đề ngày 30 tháng 10 năm 2026 và hết hạn ngày 3 tháng 5 năm 2027. Datatracker của IETF lưu ý rằng Bản nháp Internet riêng lẻ không được IETF xác nhận và không có vị thế chính thức trong quy trình xây dựng tiêu chuẩn của IETF.

Theo bản nháp, người vận hành dịch vụ gắn các lựa chọn sử dụng, chẳng hạn như “không huấn luyện AI”, với các đường dẫn bằng cách viết những nhóm robots.txt thông thường, được xác định trong dòng User-Agent bằng một mã chính sách dành riêng cho từng mục đích. Bản nháp không đưa ra tên chỉ thị hay cú pháp mới: ngôn ngữ đường dẫn, quy tắc ưu tiên khớp dài nhất và cấu trúc nhóm của tiêu chuẩn robots.txt được công bố dưới dạng RFC 9309 vẫn giữ nguyên. Do đó, bản nháp cho biết các bộ phân tích cú pháp hiện có được triển khai trên Internet sẽ tiếp tục diễn giải các tín hiệu quản lý lưu lượng như trước đây và bỏ qua các nhóm dùng mã chính sách, giống như cách chúng bỏ qua mọi nhóm nêu tên tác nhân người dùng mà chúng không nhận diện.

Bản nháp định nghĩa mã chính sách dùng chung giữa các nhà cung cấp là __usage_ai-training. Nhóm ví dụ ghép dòng “User-Agent: __usage_ai-training” với “Disallow: /” và “Allow: /press-kit/”, thể hiện lựa chọn không cho phép huấn luyện AI trên mọi đường dẫn, ngoại trừ các đường dẫn nằm dưới /press-kit/. Không được diễn giải các nhóm ký tự đại diện, tức “User-Agent: *”, là khớp với mã chính sách; nếu không nhóm nào trong tệp chứa mã này thì chưa có lựa chọn nào được đưa ra.

Bản nháp cũng nêu rõ mã chính sách không phải là chỉ thị về hành vi thu thập dữ liệu. Theo bản nháp, các lựa chọn về việc sử dụng nội dung và tín hiệu quản lý lưu lượng của trình thu thập dữ liệu là độc lập và không chi phối lẫn nhau; các thỏa thuận riêng có thể thay thế những lựa chọn được thể hiện qua cơ chế này. Các mục tiêu được nêu gồm gắn lựa chọn với từng đường dẫn, giữ khoảng cách tối thiểu với RFC 9309, tránh sao chép quy tắc trên quy mô lớn, không làm thay đổi hành vi của các bộ phân tích cú pháp không triển khai cơ chế này và bảo đảm cách diễn giải nhất quán giữa các bên tiếp nhận.

Hệ thuật ngữ làm nền tảng cho tín hiệu

Ý nghĩa của mã này bám theo bản nháp thuật ngữ của nhóm công tác, Bộ thuật ngữ diễn đạt các lựa chọn về việc sử dụng AI (draft-ietf-aipref-vocab-08), do Paul Keller thuộc Open Future và Martin Thomson thuộc Mozilla soạn thảo, được cập nhật lần cuối vào tháng 9 năm 2026 với tư cách là tài liệu của nhóm công tác dự kiến trở thành Tiêu chuẩn Đề xuất. Bộ thuật ngữ này định nghĩa Huấn luyện AI là việc sử dụng một tài sản để điều chỉnh các tham số đã học của mô hình AI tạo sinh, không bao gồm việc huấn luyện các mô hình chỉ được dùng cho những tác vụ không tạo sinh; đồng thời, bộ thuật ngữ định nghĩa mô hình AI tạo sinh là mô hình được sử dụng hoặc cung cấp để tạo nội dung tổng hợp ở một hay nhiều phương thức.

Bộ thuật ngữ cũng định nghĩa một nhóm riêng là Sử dụng AI, bao gồm các tài sản được dùng làm đầu vào cho mô hình AI tạo sinh thay vì được người dùng cung cấp trực tiếp, và một nhóm Tìm kiếm dành cho các ứng dụng có mục đích chính là chọn tài sản và hướng người dùng đến vị trí của chúng. Mỗi nhóm nhận một giá trị lựa chọn: được phép, không được phép hoặc chưa xác định; khi các tuyên bố mâu thuẫn, lựa chọn hạn chế nhất sẽ được áp dụng. Bản nháp bộ thuật ngữ nêu rõ tài liệu không bảo đảm các lựa chọn sẽ được tuân thủ và để bên tiếp nhận tự quyết định có làm theo hay không; một ghi chú dành cho độc giả cảnh báo rằng nội dung hiện chưa phản ánh sự đồng thuận của nhóm công tác. Một mục, vẫn đang được theo dõi như vấn đề còn bỏ ngỏ, nêu rằng việc tuân thủ các lựa chọn huấn luyện bao gồm việc chuyển tiếp cùng mô hình những lựa chọn gắn với các tài sản dùng để huấn luyện khi mô hình được phân phối.

Phần ghi nhận của bản dự thảo về tín hiệu huấn luyện nêu tên hai đồng chủ tịch nhóm công tác là Mark Nottingham của Cloudflare và Suresh Krishnan của Cisco, các biên tập viên bộ từ vựng Thomson và Keller, cùng giám đốc phụ trách lĩnh vực Mike Bishop của Akamai. Phần này cũng liệt kê các cá nhân tham gia, kèm thông tin đơn vị công tác chỉ nhằm mục đích nhận diện, bởi những người tham gia IETF đóng góp với tư cách cá nhân. Họ đến từ các tổ chức như OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation và Creative Commons.

Các biện pháp kiểm soát trình thu thập dữ liệu hiện có của OpenAI

Tài liệu hướng dẫn về trình thu thập dữ liệu của OpenAI, mà công ty cho biết sẽ tiếp tục có hiệu lực song song với tín hiệu mới, mô tả GPTBot là tác nhân thu thập nội dung có thể được dùng để huấn luyện các mô hình nền tảng AI tạo sinh của công ty; việc chặn GPTBot cho biết nội dung của một trang web không nên được dùng cho mục đích huấn luyện đó. OAI-SearchBot giúp các trang web xuất hiện trong các tính năng tìm kiếm của ChatGPT; những trang web từ chối cho bot này truy cập sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT, dù vẫn có thể được hiển thị dưới dạng liên kết điều hướng. OAI-AdsBot kiểm tra mức độ an toàn của các trang web được gửi làm quảng cáo trên ChatGPT; dữ liệu bot này thu thập không được dùng để huấn luyện các mô hình nền tảng AI tạo sinh. ChatGPT-User xử lý các lượt truy cập trang được kích hoạt bởi hành động của người dùng trong ChatGPT, thay vì hoạt động thu thập dữ liệu tự động; tài liệu lưu ý rằng các quy tắc trong robots.txt có thể không áp dụng cho những lượt truy cập này.

Theo tài liệu, mỗi thiết lập hoạt động độc lập với các thiết lập còn lại. Vì vậy, quản trị viên web có thể cho phép OAI-SearchBot xuất hiện trong kết quả tìm kiếm, đồng thời chặn GPTBot để ngăn nội dung được dùng cho mục đích huấn luyện. Các điều chỉnh trong tìm kiếm có thể mất khoảng 24 giờ mới có hiệu lực sau khi trang web cập nhật robots.txt. OpenAI cho biết sẽ chia sẻ chi tiết triển khai tín hiệu dùng chung khi đưa tín hiệu này vào thực hiện trong những tháng tới.