OpenAI, AI 학습 선호도를 위한 robots.txt 공통 신호 존중

OpenAI는 2026년 10월 30일, 웹사이트가 콘텐츠 사용 방식에 대한 선호도를 표시하는 데 사용하는 파일인 robots.txt에 공통 신호를 반영하겠다고 발표했습니다. 이에 따라 웹사이트 운영자는 여러 참여 제공업체에 AI 학습에 관한 하나의 선호도를 동시에 전달할 수 있습니다.

여러 제공업체가 공유하는 자발적 신호

OpenAI는 발표에서 이번 조치가 자발적인 것이라고 설명하며, 지금까지 웹사이트 운영자가 크롤러를 하나씩 파악하고 각 제공업체마다 별도의 규칙을 관리해야 했던 부담을 해소한다고 밝혔습니다. 회사에 따르면 공통 신호를 사용하면 게시자와 웹사이트 운영자가 여러 참여 제공업체에 동일한 선호도를 한 번에 전달할 수 있습니다. OpenAI는 앞으로 몇 달 안에 이 신호를 구현할 계획이며, 구현할 때 세부 정보를 담은 추가 소식을 전하겠다고 밝혔습니다.

회사는 새 신호가 robots.txt를 통해 이미 제공하는 제어 기능을 대체하지 않으며, 기존 기능은 계속 적용되고 존중될 것이라고 밝혔습니다. OpenAI는 이번 조치가 인터넷 엔지니어링 태스크 포스(IETF)의 AI 선호도 작업반에서 진행 중인 작업을 바탕으로 한다고 설명했습니다. 또한 작업반의 다른 참여자들과 함께 이번 발표에 나섰다고 밝혔으며, 다른 AI 제공업체에도 이 신호를 존중할 것을 권했습니다. 회사는 이번 조치가 사람들이 정보를 게시하고 찾을 수 있으며 웹사이트 소유자가 콘텐츠 사용 방식에 관한 선택을 더 명확하고 간편하게 전달할 수 있는 열린 웹으로 나아가는 과정이라고 설명했습니다. 아울러 관련 표준 논의가 진전됨에 따라 관행을 계속 조정하겠다고 밝혔습니다.

신호의 작동 방식

이 신호는 Kevin Kelley(Anthropic)가 작성하고 2026년 10월 30일자로 발표되어 2027년 5월 3일에 만료되는 개별 인터넷 초안 기계 판독이 가능한 학습 선호도 신호(draft-kelley-aipref-training-preference-signal-00)에 정의되어 있습니다. IETF 데이터트래커에 따르면 개별 인터넷 초안은 IETF의 승인을 받은 문서가 아니며, IETF 표준화 절차에서 공식적인 지위를 갖지 않습니다.

초안에 따르면 서비스 운영자는 User-Agent 줄에 용도별 정책 토큰을 지정하는 일반 robots.txt 그룹을 작성해 ‘AI 학습 금지’와 같은 사용 선호도를 경로에 연결합니다. 이 초안은 새로운 지시어 이름이나 문법을 도입하지 않습니다. RFC 9309로 발표된 robots.txt 표준의 경로 표현 방식, 최장 일치 우선순위, 그룹 구조는 변경되지 않습니다. 따라서 초안에 따르면 인터넷 전반에 배포된 기존 파서는 이전과 마찬가지로 트래픽 관리 신호를 해석하며, 자신이 인식하지 못하는 사용자 에이전트를 명시한 그룹과 마찬가지로 정책 토큰 그룹을 무시합니다.

초안은 여러 제공업체에서 공통으로 사용하는 정책 토큰 __usage_ai-training을 정의합니다. 초안의 예시 그룹은 ‘User-Agent: __usage_ai-training’ 줄에 ‘Disallow: /’와 ‘Allow: /press-kit/’를 함께 지정해, /press-kit/ 아래의 경로를 제외한 모든 경로에서 AI 학습을 원하지 않는다는 선호도를 나타냅니다. 와일드카드 그룹, 즉 ‘User-Agent: *’는 정책 토큰과 일치하는 것으로 해석해서는 안 됩니다. 파일에 해당 토큰이 포함된 그룹이 없다면 선호도가 표시되지 않은 것입니다.

초안은 정책 토큰이 크롤링 동작을 제어하는 지시어가 아니라고도 명시합니다. 콘텐츠 사용 선호도와 크롤러 트래픽 관리 신호는 서로 독립적이고 별개이며, 비공개 계약이 이 메커니즘을 통해 표시된 선호도에 우선할 수 있다고 설명합니다. 초안이 밝힌 목표에는 경로별 연결 설정, RFC 9309와의 차이를 최소화하는 것, 규칙의 대규모 중복을 피하는 것, 이 메커니즘을 구현하지 않는 파서의 동작을 바꾸지 않는 것, 그리고 여러 해석 주체가 일관되게 해석하도록 하는 것이 포함됩니다.

신호의 바탕이 되는 어휘

이 토큰의 의미는 작업반의 어휘 초안인 AI 사용 선호도를 표현하기 위한 어휘(draft-ietf-aipref-vocab-08)에 기반합니다. 이 문서는 Open Future의 Paul Keller와 Mozilla의 Martin Thomson이 작성했으며, 제안 표준을 목표로 하는 작업반 문서로 2026년 9월에 마지막으로 업데이트되었습니다. 해당 어휘는 AI 학습을 생성형 AI 모델의 학습된 매개변수를 수정하기 위해 자산을 사용하는 것으로 정의하며, 생성형이 아닌 작업에만 사용되는 모델의 학습은 제외합니다. 또한 생성형 AI 모델은 하나 이상의 양식에서 합성 콘텐츠를 생성하는 데 사용되거나 사용하도록 제공되는 모델로 정의합니다.

이 어휘는 별도의 AI 사용 범주도 정의합니다. 이 범주는 사용자가 직접 제공하는 것이 아니라 생성형 AI 모델의 입력으로 사용되는 자산을 다룹니다. 또한 자산을 선택하고 사용자를 해당 자산의 위치로 안내하는 것이 주된 목적인 애플리케이션을 위한 검색 범주도 정의합니다. 각 범주에는 허용, 불허 또는 알 수 없음의 선호도 값이 부여되며, 선언이 서로 충돌하면 가장 제한적인 선호도가 적용됩니다. 어휘 초안은 선호도가 반드시 준수되도록 보장하지 않으며, 준수 여부는 수신자가 결정하도록 둔다고 명시합니다. 독자에게 전하는 주의 문구는 문서의 내용이 아직 작업반의 합의를 반영하지 않는다고 밝힙니다. 아직 공개 쟁점으로 포함 여부를 검토 중인 한 절에는 학습 선호도를 준수하려면 모델을 배포할 때 학습 자산에 연결된 선호도도 모델과 함께 전달해야 한다고 명시되어 있습니다.

학습 신호 초안의 감사의 글에는 작업 그룹 의장인 Cloudflare의 Mark Nottingham과 Cisco의 Suresh Krishnan, 용어 편집자인 Thomson과 Keller, 책임 영역 책임자인 Akamai의 Mike Bishop이 언급되어 있다. 또한 OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation, Creative Commons 등 소속 기관이 확인 목적으로만 기재된 개인 참가자들도 나열되어 있다. IETF 참가자는 개인 자격으로 기여하기 때문이다.

OpenAI의 기존 크롤러 제어 기능

OpenAI의 크롤러 문서에 따르면, 회사가 새 신호와 함께 계속 적용된다고 밝힌 이 문서는 GPTBot을 생성형 AI 기반 모델 학습에 사용될 수 있는 콘텐츠를 크롤링하는 에이전트로 설명한다. GPTBot을 차단하면 해당 사이트의 콘텐츠를 그 학습에 사용해서는 안 된다는 뜻이다. OAI-SearchBot은 ChatGPT의 검색 기능에 웹사이트를 표시하며, 이를 허용하지 않는 사이트는 ChatGPT 검색 답변에 표시되지 않지만 탐색 링크로는 계속 나타날 수 있다. OAI-AdsBot은 ChatGPT 광고로 제출된 웹페이지의 안전성을 검증하며, 수집한 데이터는 생성형 AI 기반 모델을 학습하는 데 사용되지 않는다. ChatGPT-User는 자동 크롤링이 아니라 ChatGPT에서 사용자의 동작으로 인해 발생한 페이지 방문을 처리하며, 문서에는 robots.txt 규칙이 이러한 방문에는 적용되지 않을 수 있다고 나와 있다.

문서에 따르면 각 설정은 서로 독립적이므로 웹마스터는 검색 결과에 OAI-SearchBot이 표시되도록 허용하면서 학습 목적의 GPTBot은 차단할 수 있다. 사이트의 robots.txt를 업데이트한 뒤 검색 결과가 조정되기까지 약 24시간이 걸릴 수 있다. OpenAI는 앞으로 몇 달 안에 공통 신호를 구현할 때 구현 세부 정보를 공유하겠다고 밝혔다.