تأثير حظر Cloudflare للبوتات الذكية

Cloudflare، واحدة من أكبر مزودي البنية التحتية للإنترنت، قد أطلقت ميزة جديدة تسمى حظر البوتات الذكية، والتي يُعتبرها بعضها محورًا لتحول كبير في عالم إنشاء المحتوى والويب بشكل أوسع. يهدف هذا النظام المتقدم إلى توفير آلية تلقائية لاكتشاف البوتات الذكية غير المرغوب فيها ومعالجتها، مما يغير بشكل جوهري العلاقة بين ملاك المواقع الإلكترونية وشركات الذكاء الاصطناعي.

Cloudflare هي الآن أول مزود للبنية التحتية للإنترنت يحظر البوتات الذكية التي تصل إلى المحتوى دون إذن أو تعويض، افتراضيًا. سيتم في هذه المقالة استقصاء كيفية عمل آليات الحظر الجديدة التي تقدمها Cloudflare، وفحص الآثار العميقة على المواقع الإلكترونية التي تغطيها، واستكشاف التأثيرات المحتملة على نطاق واسع في نظام الويب، خاصةً对于 ناشري الأخبار ومنصات التجارة الإلكترونية وفرص ظهور أنظمة مماثلة من منافسي Cloudflare.

كيف يعمل حظر البوتات الذكية من Cloudflare

الوظائف الأساسية والحظر الافتراضي

لقد رأت Cloudflare بالفعل أكثر من مليون عميل يتفعلون بميزة مماثلة عندما أصبحت خيارًا في يوليو 2024. ولكن الشركة أعلنت أنها سوف تحظر البوتات الذكية افتراضيًا من زيارة المواقع الإلكترونية التي تستضيفها. تمكن العرض الجديد ملاك المواقع من決定 ما إذا كان يمكن للبوتات الذكية الوصول إلى محتوىهم وكيف يمكن لشركات الذكاء الاصطناعي استخدام ذلك المحتوى. هذا يغير نموذج الحصاد من نموذج “الخروج” إلى نموذج “الدخول”، ويمكن للعملاء الحاليين تفعيل هذه الميزة بنقرة واحدة في لوحة تحكم Cloudflare.

تتوفر الميزة لجميع العملاء، بما في ذلك أولئك الذين يستخدمون الخطط المجانية، مما يجعلها متاحة للمواقع الإلكترونية من جميع الأحجام.

نموذج “الدفع لكل زحف”

ميزة رئيسية في حظر البوتات الذكية من Cloudflare هي ضمان حصول الناشرين على تعويض عن محتوىهم الذي يتم حصاده واستخدامه من قبل شركات الذكاء الاصطناعي. يهدف نموذج “الدفع لكل زحف” إلى إنشاء سوق جديد حيث يمكن للناشرين طلب تعويض من شركات الذكاء الاصطناعي كل مرة يتم فيها زحف一页 من صفحاتهم.

يمكن لملاك المواقع في التجربة اختيار السماح للبوتات الذكية، على أساس فردي، بزحف موقعهم الإلكتروني بسعر معين، وهو دفع μικروي مقابل كل “زحف” فردي. يتم منح الناشرين السيطرة الكاملة، مع ثلاث خيارات مختلفة لكل زاحف: السماح بالوصول المجاني، أو مطالبتهم بالدفع بسعر معين، أو منع الوصول تمامًا. سيتم تحديد الأسعار من قبل الناشرين، الذين يمكنهم تحديد الأسعار، وشركات الذكاء الاصطناعي، التي يمكنها اختيار الوصول إلى صفحات الويب بتلك الأسعار.

يتكامل النظام مع البنية التحتية للويب الحالية، مستخدمًا رمز حالة HTTP 402 (‘الدفع مطلوب’). عندما يطلب زاحف ذكاء اصطناعي محتوى، إما أن يقدم نوية دفع عبر رؤوس الطلب أو يستلم استجابة 402 تشير إلى أن الدفع مطلوب.

أدوات إدارة البوتات المتقدمة

توفر Cloudflare الآن إنشاء ملف robots.txt وإدارته للعملاء، مع تضمين توجيهات تلقائية تُبلغ مشغلي البوتات الذكية الشهيرة بعدم استخدام المحتوى لتدريب نماذج الذكاء الاصطناعي. هذا أمر بالغ الأهمية لأن ملف robots.txt هو نظام شرفي لا يستخدمه العديد من المواقع بشكل فعال. بين أفضل 10,000 نطاق حيث تم العثور على ملف robots.txt، كان只有 حوالي 14% منهم يحتوي على توجيهات “السماح” أو “المنع” تستهدف البوتات الذكية على وجه الخصوص.

تتيح خيار جديد لملاك المواقع حظر البوتات الذكية بشكل خاص على أجزاء من موقعهم التي يتم تحقيق إيرادات منها من خلال الإعلانات. عند تفعيل هذا الإعداد، سيتم حظر البوتات الموثقة التي يتم تصنيفها في فئات متعلقة بالذكاء الاصطناعي مثل مساعد الذكاء الاصطناعي أو زاحف الذكاء الاصطناعي أو أرشيف، بالإضافة إلى عدد من البوتات غير الموثقة التي تتصرف بشكل مشابه. تتوفر هذه الميزة الشاملة لجميع عملاء Cloudflare، بما في ذلك أولئك الذين يستخدمون الخطط المجانية.

التأثير على المواقع التي تغطيها Cloudflare

استعادة السيطرة وتقييم المحتوى

يُعتبر أدوات Cloudflare الجديدة كمنح الناشرين “السيطرة التي يستحقونها” على محتوىهم، وهو أمر ضروري لكي “يبقى الإنترنت على قيد الحياة في عصر الذكاء الاصطناعي”. يُعتبر نموذج الإنترنت التقليدي، حيث يقود محركات البحث حركة المرور وإيرادات الإعلانات، “مكسورًا” من قبل بعض الأشخاص لأن زاحفات محركات البحث التي تمكنت من فهرسة محركات البحث هي ما يسمح للبوتات الذكية بجمع المحتوى مثل النصوص والمقالات والصور لإنشاء إجابات، دون إرسال زوار إلى المصدر الأصلي، مما يفرغ من مُصادر الإيرادات والاعتراف بالمنشئين.

احتفل الناشرون ببرنامج Cloudflare الجديد باعتباره انتصارًا نادرًا وحاسمًا ومحورًا لتحول في منع محتوىهم من السرقة مجانًا من قبل ملايين البوتات الذكية غير المعروفة. يصف قادة الصناعة ذلك بأنه الخطوة الأولى الحاسمة نحو إعادة بناء اقتصاد إنترنت قابل للتطبيق، مشيرين إلى أن منشئي المحتوى يستحقون تعويضًا عن عملهم.

معالجة التحديات المالية والتشغيلية

يتمتع حصاد المحتوى الواسع النطاق بواسطة البوتات الذكية بأثر مالي كبير، مما يؤثر على الاستثمارات الكبيرة التي تقوم بها الشركات في إنشاء ونشر المحتوى على الويب. يمكن أن يكون للنشاط غير الخاضع للرقابة للبوتات تأثيرات سلبية على أداء الموقع الإلكتروني، مما يؤدي إلى تحميل الخوادم، وتباطؤ المواقع، وتحريف بيانات التحليلات، وزيادة التكاليف التشغيلية.

أفاد الناشرون بمشاكل تتعلق BY “حركة مرور غير صالحة”، مما يمكن أن يؤدي إلى حظر منصات التوريد الكبيرة للمواقع، مما يؤدي إلى خسائر كبيرة في الطلب وضغط على الأسعار. يعالج حل Cloudflare هذه القضية من خلال إغلاق الباب أمام زاحفات غير مصرح بها، وهو تحسن كبير على نظام robots.txt غير كافٍ.

التأثير المثبت والانتشار الواسع بين الناشرين

عدد من الناشرين الكبار، بما في ذلك Conde Nast وTIME وThe Associated Press وThe Atlantic وADWEEK وFortune، قد وقعوا مع Cloudflare لمنع البوتات الذكية افتراضيًا. كان التأثير الفوري كبيرًا، حيث منع بعض الناشرين ملايين الطلبات من الشركات غير المصرح لها في غضون ساعات من تفعيل الميزة. 

对于 العديد من الناشرين، كان الحاجة إلى هذا واضحًا بسبب استغلال ملكية الفكر، وتزايد الآثار السلبية للبحث المدفوع بالذكاء الاصطناعي على حركة المرور على الموقع. في بداية عام 2025، أرجعت زاحفات Open AI زائرًا واحدًا لكل 250 صفحة تم زحفها، بينما في يونيو أرجعت زائرًا واحدًا لكل 1500 صفحة تم زحفها.

التأثيرات الواسعة على نظام الويب والمستقبل

الآثار على مطوري الذكاء الاصطناعي وتدريب النماذج

يمكن أن يؤثر قرار منع البوتات الذكية من الوصول إلى المحتوى دون إذن أو تعويض من ملاك المواقع بشكل كبير على قدرة مطوري الذكاء الاصطناعي على تدريب نماذجهم. ومن المحتمل أن يؤدي ذلك إلى تأثير قصير الأمد على تدريب نماذج الذكاء الاصطناعي، ويمكن أن يؤثر في النهاية على جدوى بعض النماذج.

رفضت OpenAI المشاركة عندما قدمت Cloudflare خطتها لمنع البوتات الذكية افتراضيًا على أساس أن شبكة التوصيل هي التي أضافت وسيطًا إلى النظام.

آثار محركات البحث والتمييز بين محركات البحث

نقطة حاسمة لملاك المواقع الإلكترونية الذين يطبقون حظر البوتات الذكية من Cloudflare هي فهم الفرق بين البوتات الذكية وботات محركات البحث التقليدية. لا يهتم جوجل إذا كنت تحظر زاحفات أخرى، والبوتات الذكية تخدم غرضًا مختلفًا تمامًا: جمع المعلومات لتدريب أو تحديث نماذج اللغة، على عكس بốtات محركات البحث التي تفهرس المحتوى للترتيب. هذا يعني أن منع البوتات الذكية من خلال نظام Cloudflare لا ينبغي أن يؤثر سلبًا على محركات البحث أو التصنيف، مما يعني أن استراتيجيات محركات البحث مثل الارتباط الخلفي ستظل مهمة.

ومع ذلك، فإن مشهد محركات البحث الأوسع يتطور مع دمج محركات البحث لقدرات الذكاء الاصطناعي في نتائجها. قد يؤثر منع البوتات المحددة على ظهور المواقع الإلكترونية في نتائج البحث، مما قد يؤثر على اكتشافها، خاصة مع تطور محركات البحث لميزات مدفوعة بالذكاء الاصطناعي. ميزة نظام Cloudflare هي التحكم الدقيق، مما يسمح للناشرين بالحفاظ على فوائد محركات البحث التقليدية بينما يمنعون بشكل انتقائي البوتات الذكية التي لا توفر أي حركة مرور أو فوائد تصنيف مباشرة.

التأثيرات المحددة للقطاع

ناشرو الأخبار

يوفر هذا النظام نظامًا محتملًا وقويًا للناشرين الإخباريين الذين يتصارعون مع أسئلة وجودية مع انخفاض حركة مرور جوجل وزيادة شعبية البوتات الذكية. يوفر آلية لهم لتحقيق إيرادات من محتوىهم دون الحاجة إلى اتفاقيات ترخيص فردية التي تخدم عادةً فقط الناشرين الكبار.

منصات التجارة الإلكترونية

المنافع العامة لنظام Cloudflare، مثل تقليل التحميل على الخادم ومنع بيانات التحليلات المخادعة ومكافحة سرقة المحتوى، تطبيقها عالمي على أي موقع إلكتروني، بما في ذلك منصات التجارة الإلكترونية. تعتمد هذه المنصات بشكل كبير على الأداء المستمر، والبيانات الدقيقة للمستخدمين، وحماية البيانات من الحصاد غير المصرح به.

خدمات API

مبدأ الوصول المسيطر والتحقيق من الأصول الرقمية، على الرغم من أنه يركز حاليًا على محتوى الويب، يمكن أن يمتد بشكل مفهوم لحماية وتحقيق إيرادات من البيانات التي يتم الوصول إليها عبر واجهات برمجة التطبيقات في الإصدارات أو الخدمات المتعلقة في المستقبل.

المناظر التنافسية والتنبؤ بالمستقبل

تستخدم Cloudflare من قبل 20% من الويب، ويُقدر أن حوالي 16% من حركة مرور الإنترنت العالمية تنتقل مباشرة عبر Cloudflare، مما يضعها في موقع فريد لتنفيذ نظام على هذا النطاق الواسع. يجد رؤية سوق للمحتوى تحديات، حيث قد يكون إقناع شركات الذكاء الاصطناعي بدفع ثمن المحتوى الذي يتم حصاده حاليًا مجانًا أمرًا صعبًا.

في حين أن العديد من الأشخاص يرحبون به، يمكن اعتبار أداة Cloudflare كحل جزئي وليس كاملاً، ويجب التركيز على الحاجة المستمرة إلى حماية قانونية أقوى لمنع سرقة المحتوى من قبل شركات الذكاء الاصطناعي في جميع أنحاء الإنترنت.

الختام

ي представляет حظر البوتات الذكية من Cloudflare نهجًا متعددة الأوجه لتمكين منشئي المحتوى وإعادة تشكيل الديناميكيات بين ناشري الويب وشركات الذكاء الاصطناعي. من خلال توفير آليات السيطرة القوية ونموذج اقتصادي جديد مثل الدفع لكل زحف، يهدف إلى إنشاء إنترنت أكثر عادلية لمنشئي المحتوى وشركات الذكاء الاصطناعي على حد سواء. في مواجهة التحديات والاحتياج إلى تعديلات أوسع في الصناعة، تشكل هذه المبادرة خطوة كبيرة نحو حماية مستقبل إنشاء المحتوى على الويب.