تعتزم Google دعم آلية مشتركة للتحكم في تدريب الذكاء الاصطناعي عبر robots.txt

أعلنت Google في 30 أكتوبر 2026 أنها تعتزم دعم آلية مشتركة للتحكم في تدريب الذكاء الاصطناعي عبر robots.txt، بما يتيح لأصحاب المواقع طريقة واحدة للتعبير عن تفضيلاتهم المتعلقة بالتدريب لدى عدة مزودين للذكاء الاصطناعي. وجاء هذا الالتزام بالتزامن مع إعلانين صدرا في اليوم نفسه عن Microsoft وOpenAI.

كيف ستطبّق Google آلية التحكم

عرض John Mueller، أحد مناصري البحث في Google، الخطة في منشور على مدونة Google Search Central. وتستند آلية التحكم إلى عمل مجموعة عمل تفضيلات الذكاء الاصطناعي التابعة لـ Internet Engineering Task Force (IETF)، وتبني على Google-Extended، وهي آلية التحكم في تدريب الذكاء الاصطناعي التي تقول Google إنها توفرها منذ عام 2023.

بدلًا من إدارة تعليمات منفصلة لكل مطور للذكاء الاصطناعي، سيتمكن أصحاب المواقع من استخدام رمز سياسة مشترك ضمن robots.txt لتحديد تفضيلات عامة تسري على مزودي الذكاء الاصطناعي المشاركين. وعندما يستخدم موقع ما الرمز لرفض استخدام محتواه في التدريب، من دون أن يحدد صراحةً Google-Extended، تعتزم Google تفسير ذلك كما لو أن ناشر الموقع حظر Google-Extended. ويمكن لمزودي الذكاء الاصطناعي الآخرين التعامل مع الإشارة بالطريقة نفسها، ما يتيح لأصحاب المواقع رفض المشاركة لدى جميع المزودين المشاركين دفعة واحدة أو اختيار مزودين بعينهم.

بحسب المنشور، ستواصل آليات التحكم الخاصة بكل شركة العمل إلى جانب الإشارة المشتركة، بحيث يتمكن أصحاب المواقع من التعبير عن خيار عام من خلال الإشارة المعتمدة على مستوى القطاع، مع مواصلة تخصيص التعليمات لكل مطور على حدة باستخدام آليات مثل Google-Extended. وتكون المواقع التي تسمح تحديدًا باستخدام Google-Extended مؤهلة للظهور في الردود وتلقي النقرات عبر الاستناد إلى محتواها في تطبيقات Gemini.

قالت Google إن المقترح يعكس آراء الناشرين ومجموعات المجتمع المدني والجهات التنظيمية وأصحاب المصلحة الآخرين، الذين دعوا إلى وضع ضوابط على مستوى القطاع لتدريب الذكاء الاصطناعي، وإن دعم كبرى شركات الذكاء الاصطناعي له من شأنه أن يفضي إلى معيار راسخ قابل للتطبيق في القطاع بأكمله. وأضافت الشركة أن المقترح يتوافق أيضًا مع مدونة الممارسات الأوروبية لمزودي نماذج الذكاء الاصطناعي للأغراض العامة بموجب قانون الذكاء الاصطناعي للاتحاد الأوروبي، الذي يقرّ بأن robots.txt وسيلة أساسية تتيح لناشري الويب التعبير عن تفضيلات قابلة للقراءة آليًا. وتهدف Google إلى دعم آلية التحكم الجديدة، إلى جانب مزودي الذكاء الاصطناعي الآخرين، في عام 2027، وقالت إنها ستوافي الجمهور بتحديثات عن التقدم المحرز.

قدّمت OpenAI التزامًا موازيًا في اليوم نفسه. وجاء في إعلان OpenAI أن الشركة ستلتزم بالإشارة المشتركة في robots.txt، وتهدف إلى تطبيقها خلال الأشهر المقبلة، وستُبقي ضوابط برامج الزحف الحالية لديها سارية وتحترمها. وقالت OpenAI في الإعلان إنها تنضم إلى المشاركين الآخرين في مجموعة عمل تفضيلات الذكاء الاصطناعي، وشجعت مزودي الذكاء الاصطناعي الآخرين على الالتزام بالإشارة.

مسودة IETF التي تستند إليها الإشارة

ترد مواصفات الآلية في مسودة إنترنت بعنوان «إشارة قابلة للقراءة آليًا لتفضيلات التدريب»، أعدّها Kevin Kelley من Anthropic، ومؤرخة في 30 أكتوبر 2026. والوثيقة معدّة للمسار المعياري، وتنتهي صلاحيتها في 3 مايو 2027؛ ووفقًا لمتتبع IETF، فهي مقترح فردي لم تصادق عليه IETF، ولا يتمتع بأي صفة رسمية في عملية وضع المعايير.

بموجب المسودة، يربط مشغّل الخدمة تفضيلات الاستخدام بمسارات الموقع من خلال كتابة مجموعات robots.txt اعتيادية، يحددها رمز سياسة مخصص لغرض بعينه، هو __usage_ai-training، في سطر User-Agent. وتعرض المجموعة الواردة مثالًا في المسودة تفضيلًا ضد استخدام محتوى الموقع بأكمله في تدريب الذكاء الاصطناعي، باستثناء المسارات الواقعة ضمن /press-kit/. ولا تستحدث الآلية أسماء توجيهات أو قواعد صياغة جديدة؛ إذ تظل لغة المسارات وأولوية أطول تطابق وبنية المجموعات المحددة في معيار robots.txt، RFC 9309، بلا تغيير، ما يعني أن المحللات المنشورة بالفعل في أنحاء الإنترنت ستتجاهل مجموعات رموز السياسات التي لا تتعرف إليها. ويجب ألا يُفسَّر أن مجموعات أحرف البدل، أي المجموعات التي تتضمن User-Agent: *، تطابق رمز السياسة، كما أن ملف robots.txt الذي لا يتضمن مجموعة __usage_ai-training لا يعبّر عن أي تفضيل على الإطلاق.

يستمد الرمز معناه من تعريف مفردات AIPREF لتدريب الذكاء الاصطناعي: «استخدام أحد الأصول لتعديل المعلمات التي تعلّمها نموذج ذكاء اصطناعي توليدي». ويستثني هذا التعريف تدريب النماذج المستخدمة حصريًا في مهام غير توليدية، حتى عندما يكون النموذج قادرًا على أداء مهام توليدية. وتؤكد المسودة أيضًا أن الرمز يعبّر عن تفضيل بشأن استخدام المحتوى، لا عن توجيه لسلوك الزحف، وإن كان بإمكان الجهات المستهلكة الاسترشاد بالتفضيلات عند الزحف؛ كما ينبغي إعطاء التعبيرات المحددة أولوية على التعبيرات العامة، ويجوز للاتفاقات الخاصة أن تتجاوز التفضيلات المعلنة.

أعلن Kelley عن المسودة على قائمة مراسلة التحكم بالذكاء الاصطناعي التابعة لـ IETF في 30 أكتوبر 2026، وكتب أن Anthropic بدأت بالفعل تنفيذ دعمها. ووصف هذا العمل بأنه مكمّل لضوابط الزحف الحالية لدى Anthropic، لا بديلًا عنها.

اعتماد Microsoft ومواعيد الانتقال

أعلنت Microsoft اعتمادها للإشارة في اليوم نفسه، في منشور على مدونة Bing بقلم Krishna Madhavan، مدير المنتجات الرئيسي في Microsoft Bing. وقالت Microsoft إنها أول شركة توفر للناشرين ضوابط للتدريب على الذكاء الاصطناعي والاستناد إلى المصادر، مشيرةً إلى علامتي NoArchive وNoCache اللتين طرحتهما في عام 2023.

تعتمد Microsoft تفضيل تدريب الذكاء الاصطناعي المشترك للمواقع والمسارات، وتوسّع نطاق تطبيقه ليشمل مستوى الصفحة عبر وسوم البيانات الوصفية وعناوين استجابة HTTP، مع إضافة تفضيل مستقل للاستناد إلى المحتوى على مستوى الصفحة. وإلى جانب Allow وDisallow، يضيف تفضيل الاستناد خيارًا جديدًا هو DisallowExtended، الذي يقصر استخدام المحتوى للاستناد عليه في التجارب التي تديرها Microsoft، مثل AI Mode وAI Overview وCopilot وMicrosoft 365، مع استثناء خدمات الاستناد التي توفرها Microsoft لأطراف ثالثة، مثل Web IQ والاستناد عبر الوصول إلى واجهة API في Foundry. ويكون الخيار الافتراضي لكلا التفضيلين هو Allow ما لم يُنشر تفضيل. ونبّهت Microsoft إلى أن اختيار Disallow أو DisallowExtended للاستناد يقلل ظهور العلامة التجارية في تجارب الذكاء الاصطناعي؛ ولا تؤثر هذه التفضيلات في الأهلية للظهور ضمن نتائج بحث Bing التقليدية، كما أنها لا تحدد ترتيبات الترخيص أو الدفع.

ستحل التفضيلات الجديدة محل NoArchive وNoCache فيما يتعلق بالتدريب والاستناد، وسيبدأ سريانها في 1 فبراير 2027 مع زحف Microsoft إلى الصفحات. وستُتاح تفضيلات الانتقال المؤقتة للاستناد في Bing Webmaster Tools في 15 ديسمبر 2026 للمواقع التي تستخدم الوسوم القديمة في ذلك التاريخ. ويجب على هذه المواقع نشر تفضيلاتها الجديدة وتسجيل تفضيل مؤقت للاستناد قبل 1 مارس 2027؛ وبعد ذلك، لن تُقرأ NoArchive وNoCache على أنهما تفضيلان للتدريب أو الاستناد. وتظل التفضيلات المؤقتة سارية إلى أن تعيد Microsoft الزحف إلى الصفحة وتكتشف تفضيل الاستناد الجديد، أو حتى 30 سبتمبر 2027، أيهما يأتي أولًا.