OpenAI ستحترم إشارة مشتركة في robots.txt لتفضيلات تدريب الذكاء الاصطناعي

أعلنت OpenAI في 30 أكتوبر 2026 أنها ستحترم إشارة مشتركة في ملف robots.txt، وهو الملف الذي تستخدمه المواقع للتعبير عن تفضيلاتها بشأن كيفية استخدام محتواها، بحيث يتمكن مشغلو المواقع من إيصال تفضيل واحد بشأن تدريب الذكاء الاصطناعي إلى عدة جهات مزودة مشاركة في الوقت نفسه.

إشارة طوعية مشتركة بين المزوّدين

وصفت OpenAI هذه المبادرة في إعلانها بأنها طوعية، وقالت إنها تعالج عبئًا قائمًا: فحتى الآن، كان على مشغّلي المواقع تحديد برامج الزحف كلًّا على حدة، والاحتفاظ بقواعد منفصلة لكل مزوّد على حدة. وقالت الشركة إن الإشارة المشتركة تتيح للناشرين ومشغّلي المواقع إبلاغ عدة مزوّدين مشاركين بالتفضيل نفسه في الوقت ذاته. وأضافت OpenAI أنها تهدف إلى تطبيق الإشارة خلال الأشهر المقبلة، وستصدر تحديثًا آخر يتضمن تفاصيل التطبيق عند تنفيذ ذلك.

وقالت الشركة إن الإشارة الجديدة لن تحل محل عناصر التحكم التي توفرها حاليًا عبر robots.txt، والتي ستظل سارية وتحظى بالاحترام. وأوضحت OpenAI أن هذه الخطوة تستند إلى العمل الجاري لفريق عمل تفضيلات الذكاء الاصطناعي التابع لفريق مهام هندسة الإنترنت، وقالت إنها تنضم إلى المشاركين الآخرين في فريق العمل في الإعلان عن هذه المبادرة، وشجعت مزوّدي الذكاء الاصطناعي الآخرين على احترام الإشارة. ووصفت الشركة الخطوة بأنها تقدم نحو شبكة مفتوحة يستطيع الناس فيها نشر المعلومات واكتشافها، وتتوفر فيها لأصحاب المواقع سبل أوضح وأبسط للتعبير عن خياراتهم بشأن كيفية استخدام محتواهم. كما قالت إنها ستواصل تكييف ممارساتها مع تطور النقاشات حول هذه المعايير.

كيف تعمل الإشارة

تُحدَّد الإشارة في مسودة إنترنت فردية بعنوان إشارة قابلة للقراءة آليًا لتفضيلات التدريب (draft-kelley-aipref-training-preference-signal-00)، أعدّها كيفن كيلي من Anthropic، وتحمل تاريخ 30 أكتوبر 2026 وتنتهي صلاحيتها في 3 مايو 2027. وتشير منصة تتبع المسودات التابعة لفريق مهام هندسة الإنترنت إلى أن مسودة الإنترنت الفردية لا تحظى بتأييد الفريق، ولا تتمتع بمكانة رسمية ضمن عملية وضع معاييره.

بموجب المسودة، يربط مشغّل الخدمة تفضيلات الاستخدام، مثل «عدم استخدام المحتوى في تدريب الذكاء الاصطناعي»، بمسارات محددة من خلال كتابة مجموعات عادية في robots.txt، يحددها رمز سياسة خاص بكل غرض في سطر User-Agent. ولا تستحدث المسودة أسماء توجيهات أو قواعد نحوية جديدة؛ إذ تظل لغة المسارات وأولوية أطول تطابق وبنية المجموعات في معيار robots.txt المنشور بصفته RFC 9309 كما هي دون تغيير. ونتيجة لذلك، تقول المسودة إن أدوات التحليل الحالية المنتشرة عبر الإنترنت ستواصل تفسير إشارات إدارة حركة المرور كما فعلت من قبل، وستتجاهل مجموعات رموز السياسات، كما تتجاهل أي مجموعة تسمّي وكيل مستخدم لا تتعرف إليه.

تعرّف المسودة رمز السياسة المشترك بين المزوّدين __usage_ai-training. ويجمع المثال الذي تقدمه بين السطر “User-Agent: __usage_ai-training” والسطرين “Disallow: /” و”Allow: /press-kit/”، للتعبير عن تفضيل بعدم استخدام أي مسار في تدريب الذكاء الاصطناعي، باستثناء المسارات الواقعة ضمن /press-kit/. ويجب عدم تفسير مجموعات أحرف البدل، أي “User-Agent: *”، على أنها تطابق رمز السياسة؛ وإذا لم تتضمن أي مجموعة في ملف ما هذا الرمز، فهذا يعني أنه لم يُعبَّر عن أي تفضيل.

وتنص المسودة أيضًا على أن رمز السياسة ليس توجيهًا لسلوك الزحف. وتوضح أن تفضيلات استخدام المحتوى وإشارات إدارة حركة مرور برامج الزحف مستقلّة ومتعامدة، وأن الاتفاقات الخاصة قد تتجاوز التفضيلات المعبر عنها عبر هذه الآلية. وتشمل الأهداف المعلنة ربط التفضيلات بمسارات محددة، والابتعاد بأقل قدر ممكن عن RFC 9309، وتجنب التكرار واسع النطاق للقواعد، والإبقاء على سلوك أدوات التحليل التي لا تطبق الآلية دون تغيير، وضمان تفسير متسق لدى الجهات التي تستخدمها.

المفردات التي تستند إليها الإشارة

يتوافق معنى الرمز مع مسودة المفردات التي أعدها فريق العمل، مفردات للتعبير عن تفضيلات استخدام الذكاء الاصطناعي (draft-ietf-aipref-vocab-08)، وكتبها بول كيلر من Open Future ومارتن تومسون من Mozilla، وكان آخر تحديث لها في سبتمبر 2026 بصفتها وثيقة لفريق العمل تهدف إلى أن تصبح معيارًا مقترحًا. وتعرّف هذه المفردات تدريب الذكاء الاصطناعي بأنه استخدام أحد الأصول لتعديل المعلمات المتعلّمة لنموذج ذكاء اصطناعي توليدي، مع استثناء تدريب النماذج المستخدمة حصريًا في مهام غير توليدية. كما تعرّف نموذج الذكاء الاصطناعي التوليدي بأنه نموذج يُستخدم، أو يُتاح استخدامه، لتوليد محتوى اصطناعي بصيغة واحدة أو أكثر.

وتعرّف المفردات أيضًا فئة منفصلة هي استخدام الذكاء الاصطناعي، وتشمل الأصول التي تُستخدم مدخلاتٍ لنموذج ذكاء اصطناعي توليدي بدلًا من أن يقدّمها المستخدم مباشرة، وفئة البحث للتطبيقات التي يتمثل غرضها الأساسي في اختيار الأصول وتوجيه المستخدمين إلى مواقعها. وتُسنَد إلى كل فئة قيمة تفضيل هي مسموح أو غير مسموح أو غير معروف، وعند تعارض التصريحات، يُطبّق التفضيل الأكثر تقييدًا. وتنص مسودة المفردات على أنها لا تضمن الالتزام بالتفضيلات، وتترك للجهة المتلقية قرار اتباعها من عدمه؛ كما يحذّر تنبيه موجّه إلى القراء من أن محتواها لا يعكس بعد توافقًا في الآراء داخل فريق العمل. ويذكر أحد الأقسام، الذي لا يزال إدراجه مدرجًا بوصفه مسألة مفتوحة، أن الامتثال لتفضيلات التدريب يشمل نقل التفضيلات المرتبطة بأصول التدريب مع النموذج عند توزيعه.

تذكر إقرارات مسودة إشارة التدريب رئيسَي مجموعة العمل، Mark Nottingham من Cloudflare وSuresh Krishnan من Cisco، ومحررَي المفردات Thomson وKeller، ومدير المنطقة المسؤول Mike Bishop من Akamai. كما تسرد مشاركين أفرادًا، مع ذكر انتماءاتهم المؤسسية لأغراض التعريف فقط، لأن المشاركين في IETF يساهمون بصفتهم الشخصية، ومنهم ممثلون عن OpenAI وGoogle وMicrosoft وMeta وCloudflare وCommon Crawl Foundation وNews Corp وFinancial Times وBBC وElectronic Frontier Foundation وCreative Commons.

ضوابط الزحف الحالية لدى OpenAI

توضح وثائق الزاحف لدى OpenAI، التي قالت الشركة إنها ستظل سارية إلى جانب الإشارة الجديدة، أن GPTBot هو الوكيل الذي يزحف إلى المحتوى الذي قد يُستخدم في تدريب نماذج الذكاء الاصطناعي التوليدي الأساسية لديها؛ ويشير حظر GPTBot إلى أنه ينبغي عدم استخدام محتوى الموقع في ذلك التدريب. ويتيح OAI-SearchBot ظهور المواقع ضمن ميزات البحث في ChatGPT، ولن تظهر المواقع التي تختار عدم السماح له في إجابات البحث في ChatGPT، مع أنها قد تظل تظهر كروابط للتنقل. ويتحقق OAI-AdsBot من سلامة صفحات الويب المقدمة كإعلانات على ChatGPT، ولا تُستخدم البيانات التي يجمعها لتدريب نماذج الذكاء الاصطناعي التوليدي الأساسية. ويتولى ChatGPT-User معالجة زيارات الصفحات التي تطلقها إجراءات المستخدم في ChatGPT، بدلًا من الزحف التلقائي، وتشير الوثائق إلى أن قواعد robots.txt قد لا تنطبق على تلك الزيارات.

وفقًا للوثائق، يعمل كل إعداد باستقلال عن الإعدادات الأخرى؛ لذا يمكن لمسؤول الموقع السماح لـ OAI-SearchBot بالظهور في نتائج البحث، مع حظر GPTBot لأغراض التدريب. وقد يستغرق تطبيق التغييرات على البحث نحو 24 ساعة بعد تحديث ملف robots.txt للموقع. وقالت OpenAI إنها ستشارك تفاصيل تطبيق الإشارة المشتركة عند تنفيذها خلال الأشهر المقبلة.