كلاود فلير تبدأ بحظر زواحف الذكاء الاصطناعي التي تتخفى خلف روبوتات البحث بشكل افتراضي

دخلت سياسة كلاود فلير الافتراضية الجديدة للزواحف حيّز التنفيذ في 15 سبتمبر، حيث تحظر تلقائيًا روبوتات تدريب الذكاء الاصطناعي والروبوتات الوكيلة على أي صفحة تحمل إعلانات، ما لم يُعلن الزاحف بوضوح عن أي من الأغراض الثلاثة الذي يخدمه. يسد هذا التغيير ثغرة كانت تتيح للزواحف الادعاء بأنها فهرسة بحث بينما تجمع في الوقت نفسه محتوى لتدريب نماذج الذكاء الاصطناعي، وهي ممارسة اشتكى منها الناشرون منذ أن بدأت النماذج اللغوية الكبيرة بزحف الويب المفتوح على نطاق واسع.

ثلاث فئات، قاعدة تطبيق واحدة

تصنّف كلاود فلير الآن حركة بيانات روبوتات الذكاء الاصطناعي إلى ثلاث فئات. البحث يشمل الزحف الذي يفهرس المحتوى للإجابة لاحقًا عن أسئلة بشأنه، وهو نوع النشاط الذي تسامح معه أصحاب المواقع لعقود مقابل حركة مرور إحالة. الوكيل يشمل السلوك الآلي الذي يتصرف في الوقت الفعلي نيابة عن شخص ما — أدوات مثل ChatGPT-User من OpenAI أو Claude من Anthropic عندما يتحكم مباشرة في متصفح لصالح مستخدم. التدريب يشمل الزواحف التي تستوعب المحتوى خصيصًا لتدريب نموذج أو ضبطه بدقة، حيث تُمتص البيانات بشكل دائم في النظام بدلاً من الرجوع إليها عند الطلب.

منطق التطبيق هو ما يجعل هذا الأمر ذا أهمية: عندما يؤدي زاحف واحد وظائف متعددة — زاحف Google نفسه، على سبيل المثال، يجمع بين البحث والتدريب — تطبّق كلاود فلير الآن أيًا كانت القاعدة الأكثر تقييدًا على الإطلاق. الروبوت الذي يمزج بين فهرسة البحث وجمع بيانات التدريب يُعامل كزاحف تدريب لأغراض الحظر، دون استثناء، حتى في الطلبات التي يقوم فيها اسميًا بالفهرسة فقط.

ما الذي يتحكم فيه أصحاب المواقع فعليًا

يمكن للناشرين الآن ضبط مستوى السماح بالمحتوى بشكل مستقل عن الإعدادات الافتراضية لفئة الروبوت: الوصول الفوري يسمح للزاحف بالتفاعل دون تخزين المحتوى أو إعادة استخدامه، والوصول المرجعي يسمح بالفهرسة والاقتباس والربط العكسي (وهو الإعداد الافتراضي الجديد للصفحات المدعومة بالإعلانات)، والوصول الكامل يسمح بالتلخيص وإعادة الإنتاج. الضوابط التفصيلية نفسها أصبحت سارية منذ 1 يوليو؛ أما 15 سبتمبر فهو التاريخ الذي يبدأ فيه تطبيق الموقف الافتراضي الجديد — حظر روبوتات التدريب والوكلاء، والسماح لروبوتات البحث — تلقائيًا على العملاء الجدد، والمواقع المُنشأة حديثًا، وجميع العملاء الحاليين في الفئة المجانية. أما العملاء المدفوعون الذين سبق أن ضبطوا إعداداتهم الخاصة فيحتفظون بها دون تغيير.

لماذا يهم هذا الأمر إلى ما هو أبعد من سياسة شبكة توصيل محتوى واحدة

تقف كلاود فلير أمام حصة كبيرة من محتوى الناشرين المدعوم بالإعلانات على الويب، ما يعني أن هذا التحول في الإعدادات الافتراضية يعمل كمعيار فعلي للصناعة بدلاً من كونه قاعدة داخلية لشركة واحدة — فالمواقع التي لا تلمس إعدادات كلاود فلير الخاصة بها ستبدأ ببساطة بحظر زواحف تدريب الذكاء الاصطناعي اعتبارًا من اليوم. بالنسبة لمختبرات الذكاء الاصطناعي، يرفع هذا التغيير التكلفة العملية لجمع بيانات التدريب من الويب على نطاق واسع: يتعين على الزواحف الآن الإعلان بصدق عن غرضها أو المخاطرة بالحظر الكامل، بدلاً من التسلل بهدوء ضمن حركة مرور فهرسة البحث. كما أنه رهان على أن الناشرين سيستخدمون الأفضلية التي يخلقها هذا الوضع للتفاوض على مقابل مادي — فسوق Pay Per Crawl الأوسع من كلاود فلير، الذي يتيح للناشرين فرض رسوم على وصول الذكاء الاصطناعي إلى محتواهم، بُني خصيصًا لهذه اللحظة بالذات.