Google, robots.txt를 통한 공통 AI 학습 제어 기능 지원 계획

Google은 2026년 10월 30일 robots.txt에서 공통 AI 학습 제어 기능을 지원할 계획이라고 발표했습니다. 이 기능을 통해 웹사이트 운영자는 여러 AI 제공업체에 학습 관련 기본 설정을 한 번에 전달할 수 있습니다. 같은 날 Microsoft와 OpenAI도 관련 계획을 발표했습니다.

Google의 제어 기능 적용 방식

John Mueller Google 검색 옹호 담당자가 Google 검색 센트럴 블로그 게시물에서 계획을 공개했습니다. 이 제어 기능은 Internet Engineering Task Force (IETF)의 AI Preferences 워킹그룹이 진행한 작업을 기반으로 하며, Google이 2023년부터 제공해 왔다고 밝힌 AI 학습 제어 기능인 Google-Extended를 확장합니다.

웹사이트 운영자는 AI 개발자마다 별도의 지침을 관리하는 대신 robots.txt에 공통 정책 토큰을 사용해 참여 AI 제공업체 전반에 적용할 포괄적인 기본 설정을 지정할 수 있게 됩니다. 웹사이트가 이 토큰을 사용해 학습을 거부하고 Google-Extended를 명시적으로 지정하지 않은 경우, Google은 게시자가 Google-Extended를 허용하지 않은 것으로 간주할 계획입니다. 다른 AI 제공업체도 이 신호를 비슷한 방식으로 처리할 수 있으므로, 운영자는 참여 업체 전체를 대상으로 한 번에 학습을 거부하거나 업체별로 선택할 수 있습니다.

게시물에 따르면 기존의 업체별 제어 기능은 공통 신호와 함께 계속 작동합니다. 따라서 웹사이트 운영자는 업계 공통 신호를 통해 포괄적인 선택을 전달하는 동시에 Google-Extended와 같은 제어 기능을 사용해 개별 개발자에 맞춘 지침도 설정할 수 있습니다. Google-Extended를 명시적으로 허용한 웹사이트는 Gemini Apps의 그라운딩을 통해 응답에 표시되고 클릭을 유도할 수 있습니다.

Google은 이번 제안이 AI 학습에 업계 전반에서 적용할 수 있는 제어 기능을 요구해 온 게시자, 시민사회 단체, 규제 기관 및 기타 이해관계자의 의견을 반영한 것이라고 밝혔습니다. 또한 주요 AI 제공업체들이 함께 지원하면 업계 전반에서 통용되는 지속 가능한 표준을 마련할 수 있다고 설명했습니다. Google은 이번 제안이 EU AI법에 따른 범용 AI 모델 제공업체를 위한 EU 실천 강령에도 부합한다고 밝혔습니다. 이 강령은 웹 게시자가 기계가 읽을 수 있는 기본 설정을 표현하는 주요 방식으로 robots.txt를 인정합니다. Google은 다른 AI 제공업체들과 함께 2027년에 새 제어 기능을 지원하는 것을 목표로 하며, 진행 상황을 업데이트하겠다고 밝혔습니다.

OpenAI도 같은 날 이에 상응하는 약속을 했습니다. OpenAI의 발표에 따르면 회사는 robots.txt 공통 신호를 준수하고, 앞으로 몇 달 안에 이를 구현하는 것을 목표로 하며, 기존 크롤러 제어 기능을 계속 유지하고 존중할 예정입니다. OpenAI는 발표에서 다른 AI Preferences 워킹그룹 참여자들과 함께한다고 밝혔으며, 다른 AI 제공업체에도 이 신호를 준수할 것을 촉구했습니다.

이 신호의 바탕이 된 IETF 초안

이 메커니즘은 Kevin Kelley(Anthropic 작성)가 2026년 10월 30일 작성한 인터넷 초안 「기계 판독 가능한 학습 선호 신호」에 명시되어 있습니다. 이 문서는 표준화 절차에 제출할 예정이며 2027년 5월 3일에 만료됩니다. IETF 데이터트래커에 따르면 이 문서는 개인이 제출한 것으로, IETF의 승인을 받지 않았으며 표준화 절차상 공식적인 지위를 갖지 않습니다.

초안에 따르면 서비스 운영자는 User-Agent 행에 목적별 정책 토큰인 __usage_ai-training을 넣어 일반 robots.txt 그룹을 작성함으로써 경로별 사용 기본 설정을 지정합니다. 초안의 예시 그룹은 사이트 전체에서 AI 학습을 허용하지 않되 /press-kit/ 아래 경로는 예외로 둡니다. 이 메커니즘은 새로운 지시어 이름이나 문법을 추가하지 않습니다. robots.txt 표준인 RFC 9309의 경로 문법, 가장 구체적인 경로가 우선되는 규칙, 그룹 구조는 그대로 유지되므로 인터넷에 이미 배포된 파서는 인식하지 못하는 정책 토큰 그룹을 무시합니다. User-Agent: *로 지정한 와일드카드 그룹은 정책 토큰과 일치하는 것으로 해석해서는 안 됩니다. 또한 __usage_ai-training 그룹이 없는 robots.txt 파일은 어떠한 기본 설정도 나타내지 않습니다.

이 토큰의 의미는 AIPREF 어휘집에 정의된 AI 학습의 의미를 따릅니다. “생성형 AI 모델의 학습된 매개변수를 변경하기 위해 자산을 사용하는 것”입니다. 이 정의는 생성형 작업을 수행할 수 있는 모델이라도 생성형이 아닌 작업에만 사용되는 모델의 학습은 제외합니다. 또한 초안은 이 토큰이 크롤링 동작에 관한 지시가 아니라 콘텐츠 사용에 관한 기본 설정을 나타낸다고 강조합니다. 다만 토큰을 사용하는 측은 크롤링에 관한 결정을 내릴 때 이 기본 설정을 참고할 수 있습니다. 구체적인 표현이 일반적인 표현보다 우선하며, 비공개 계약은 명시된 기본 설정에 우선할 수 있습니다.

Kelley는 2026년 10월 30일 IETF의 ai-control 메일링 리스트에 초안을 발표하면서 Anthropic이 이미 이를 지원하는 작업에 착수했다고 밝혔습니다. 그는 이번 작업이 Anthropic의 기존 크롤러 제어 기능을 대체하는 것이 아니라 보완한다고 설명했습니다.

Microsoft의 도입 및 전환 일정

Microsoft는 같은 날 Microsoft Bing 수석 제품 관리자인 Krishna Madhavan이 작성한 Bing 블로그 게시물을 통해 도입 계획을 발표했습니다. Microsoft는 2023년에 도입한 NoArchive 및 NoCache 태그를 언급하며, AI 학습과 그라운딩에 대한 게시자 제어 기능을 제공한 최초의 기업이라고 밝혔습니다.

Microsoft는 사이트와 경로에 적용되는 공통 AI 학습 설정을 도입하고, 메타 태그와 HTTP 응답 헤더를 통해 이를 페이지 단위로 확장하는 한편, 페이지 단위의 별도 AI 그라운딩 설정도 추가합니다. 그라운딩 설정에는 Allow 및 Disallow와 함께 새로운 DisallowExtended 옵션이 추가됩니다. 이 옵션을 선택하면 AI Mode, AI Overview, Copilot, Microsoft 365 등 Microsoft가 운영하는 서비스에서만 그라운딩을 허용하고, Web IQ 및 Foundry의 API 액세스를 통한 그라운딩처럼 Microsoft가 제삼자에게 제공하는 그라운딩 서비스는 제외합니다. 설정을 게시하지 않으면 두 설정 모두 기본값인 Allow가 적용됩니다. Microsoft는 그라운딩에 Disallow 또는 DisallowExtended를 선택하면 AI 서비스에서 브랜드 노출이 줄어든다고 경고했습니다. 이 설정은 기존 Bing 검색 결과에 노출될 자격에는 영향을 주지 않으며, 라이선스나 결제 방식도 정하지 않습니다.

새 설정은 학습 및 그라운딩에 적용되던 NoArchive와 NoCache를 대체하며, Microsoft가 크롤링하는 페이지부터 2027년 2월 1일에 적용되기 시작합니다. 기존 태그를 사용하는 사이트는 Bing Webmaster Tools에서 2026년 12월 15일부터 임시 그라운딩 전환 설정을 이용할 수 있습니다. 해당 사이트는 2027년 3월 1일 전에 새 설정을 게시하고 임시 그라운딩 설정을 등록해야 합니다. 그 이후에는 NoArchive와 NoCache를 학습 또는 그라운딩 설정으로 더 이상 읽지 않습니다. 임시 설정은 Microsoft가 페이지를 다시 크롤링해 새 그라운딩 설정을 확인할 때까지 또는 2027년 9월 30일까지 유지되며, 둘 중 먼저 도래하는 시점에 종료됩니다.