إعدادات Cloudflare الافتراضية الجديدة لزواحف الذكاء الاصطناعي: تدقيق وصول Googlebot للمواقع العاملة خلف Cloudflare

إذا كان موقعك يعمل خلف Cloudflare، فربما تغيّر معنى إعداد لم تفتحه قط. تصنّف Cloudflare الآن زواحف الذكاء الاصطناعي بحسب ما تفعله، ومنذ 15 سبتمبر 2026 تطبّق إعدادات افتراضية جديدة على الصفحات التي تعرض إعلانات. وتكمن المشكلة في أن الزاحف الرئيسي لدى Google يؤدي أكثر من مهمة، وقاعدة Cloudflare لهذه الحالة هي الأشد صرامة. لم ينشر أحد دليلاً على أن هذا أفقد أي موقع زياراته من Google. ومع ذلك يستحق الأمر عشرين دقيقة للتأكد من أن موقعك لم يتأثر.

ما الذي تغيّر في 15 سبتمبر

أعلنت Cloudflare التغيير في 1 يوليو. وهي تقسم الآن حركة الذكاء الاصطناعي إلى ثلاثة أنماط سلوك. Search هو "أي سلوك يجمع محتواك أو يفهرسه ليتمكن من الإجابة عن أسئلة حوله لاحقاً". وAgent هو "سلوك آلي يتصرف، عادةً في الوقت الفعلي، نيابة عن شخص لإنجاز مهمة الآن". وTraining هو "زاحف يأخذ محتواك لتدريب نموذج أو ضبطه".

يمكن التحكم في كل نمط سلوك على حدة. واعتباراً من 15 سبتمبر، أصبح الإعداد الافتراضي بحسب سجل التغييرات لمطوري Cloudflare هو أن "الروبوتات المصنفة ضمن Training أو Agent تُحظر على الصفحات التي تعرض إعلانات، بينما يظل Search مسموحاً". والصفحات الممولة بالإعلانات تكسب من زوارها، ويصل كثير منهم عبر البحث، ولهذا تكتسب مسألة Googlebot أهميتها.

من المتأثر: صفحتا Cloudflare لا تتفقان

تصف مدونة Cloudflare وبيانها الصحفي، وكلاهما بتاريخ 1 يوليو، نطاق التغيير بطريقتين مختلفتين.

البيان الصحفي هو القراءة الأوسع، ويشمل المواقع الأكثر عرضة لأن تُضبط مرة واحدة ثم تُترك: مواقع الشركات الصغيرة على خطة Free. لا تستنتج من اسم الخطة ما إذا كنت متأثراً. افتح لوحة التحكم واقرأ ما تقوله الإعدادات اليوم.

لماذا يخضع زاحف البحث لأشد القواعد صرامة

تتحدث مدونة Cloudflare بوضوح عن الزواحف التي تجمع بين الأمرين: "بما أن الإعدادات الافتراضية ستُطبَّق وفق أشد القواعد المنطبقة صرامة، فإن الزواحف متعددة الأغراض مثل Googlebot وApplebot وBingBot ستُحظر لدى العملاء الذين اختاروا حظر Training (سواء عبر الخيارات الجديدة لإدارة حركة الذكاء الاصطناعي، أو عبر خدمة Block AI bots القديمة)". ويضيف سجل التغييرات أن "الزواحف متعددة الأغراض التي تجمع بين Search وTraining ستتأثر بالإعدادات الافتراضية الجديدة لحظر Training". ويذهب البيان الصحفي أبعد من ذلك بالنسبة للعملاء الجدد والمواقع الجديدة: "الزواحف المختلطة التي لا تمنح أصحاب المواقع القدرة على الاختيار بين البحث واستخدام الوكلاء والتدريب ستُحظر على جميع الصفحات التي تعرض إعلانات".

أداة Google الخاصة بالتحكم في التدريب هي Google-Extended، وتقول وثائق Google عن الزواحف إنها "لا تملك سلسلة وكيل مستخدم منفصلة في طلب HTTP. يتم الزحف باستخدام سلاسل وكيل المستخدم الحالية لدى Google". فلا يستطيع جدار الحماية، وهو ينظر إلى طلب واحد من Googlebot، أن يعرف ما إذا كانت تلك الصفحة ستغذي البحث أو تدريب Gemini أو كليهما. وترى Cloudflare، في بيانها الصحفي، أن "الزواحف المختلطة تضر بأصحاب المواقع وبشركات الذكاء الاصطناعي الشفافة على حد سواء".

التدقيق خطوة بخطوة

1. راجع إعدادات لوحة التحكم

في لوحة تحكم Cloudflare، اختر النطاق وافتح إعدادات Security، وهي الصفحة التي يحيل إليها سجل تغييرات Cloudflare لهذه الخيارات. دوّن الإعداد الخاص بـ Search وAgent وTraining. تحقق مما إذا كان مفتاح Block AI bots القديم مفعّلاً، إذ تذكره Cloudflare طريقاً ثانياً إلى النتيجة نفسها. ثم افتح AI Crawl Control، حيث تُظهر علامة التبويب Crawlers ما إذا كان كل زاحف مسموحاً أو محظوراً. لاحظ ما إذا كان الموقع يعرض إعلانات: الإعدادات الافتراضية الجديدة تعمل على صفحات الإعلانات، لكن مدونة Cloudflare تصف حظر Training المضبوط يدوياً بأنه يوقف Googlebot من دون أي إشارة إلى الإعلانات.

2. افحص robots.txt وتذكّر ما لا يستطيع إخبارك به

افتح yourdomain.com/robots.txt. تأكد من أن لا شيء يمنع Googlebot من الصفحات التي تريد فهرستها، ولاحظ ما إذا كانت Cloudflare تدير الملف، إذ تضيف إليه أسطر Content Signals. ملف robots.txt طلب تلتزم به الزواحف حسنة السلوك. أما حظر Cloudflare فيُطبَّق على حافة الشبكة قبل أن يصل الطلب إلى خادمك. ولا يثبت ملف robots.txt سليم شيئاً عمّا إذا كان Googlebot يُرفض.

3. ابحث عن Googlebot في السجلات

صفِّ سجلاتك حسب وكيل المستخدم Googlebot وقارن الأسابيع السابقة لـ 15 سبتمبر واللاحقة له. تحقق من أن الزيارات حقيقية، لأن تزوير وكيل المستخدم سهل: تقول Google إن زواحفها الحقيقية تُحل إلى أسماء مضيفين على googlebot.com وتزحف من النطاقات الواردة في قوائم عناوين IP التي تنشرها. إذا حظرت Cloudflare الطلب، فلن يصل إلى خادمك أبداً، لذا ستُظهر سجلات الخادم تراجعاً هادئاً في زيارات Googlebot، لا سلسلة من الأخطاء. ومن جهة Cloudflare، يمكن تصفية علامة التبويب Metrics في AI Crawl Control حسب الزاحف لمعرفة كيفية التعامل مع طلباته.

4. اقرأ إحصاءات الزحف في Search Console

في Search Console، افتح "الإعدادات" ثم "إحصاءات الزحف". لا يظهر التقرير إلا للمواقع على مستوى الجذر، لذا استخدم موقعاً من نوع النطاق أو موقعاً ببادئة عنوان URL على مستوى الجذر. تحقق من ثلاثة أمور:

• إجمالي طلبات الزحف، بحثاً عن انخفاض ملحوظ حول 15 سبتمبر لم يتعافَ.
• استجابات الزحف، بحثاً عن ارتفاع في أي استجابة غير OK.
• نوع Googlebot، لمعرفة ما إذا كان زاحف الهواتف الذكية، الذي تستخدمه Google للزحف إلى المحتوى لأغراض الفهرسة والترتيب، هو الذي تراجع.

يسبق الزحف الفهرسة، لذا قد تظهر مشكلة الزحف هنا قبل أن تظهر في مرات الظهور. تحقق الآن، لا بعد تقرير الزيارات. وإذا كنت تتابع بالفعل مرات ظهور AI Overview في تقرير AI Overviews في Search Console، فضع علامة على 15 سبتمبر هناك أيضاً، حتى لا تُحسب مشكلة الزحف خسارةً في النقرات لصالح إجابات الذكاء الاصطناعي.

5. اختر إعدادات تفصل البحث عن التدريب

إذا كنت تريد الظهور في بحث Google ولا تمانع تدريب Gemini، فاسمح بـ Training. وقبل 15 سبتمبر، أتاحت Cloudflare أيضاً خيار إلغاء صريحاً في إعدادات Security يؤكد أنك "لا تريد أي تغييرات على زواحف Training التي تزحف أيضاً لأغراض البحث"، فتحقق مما إذا كان قد سُجّل. ويقول البيان الصحفي إن الإعدادات يمكن تغييرها من لوحة التحكم في أي وقت. وإذا كنت تريد البحث من دون تدريب Gemini، فاترك Training غير محظور ليصل Googlebot، وأضف قاعدة منع لـ Google-Extended في robots.txt. وتؤكد Google أن Google-Extended "لا يؤثر في إدراج الموقع في بحث Google ولا يُستخدم إشارةً للترتيب في بحث Google". ويحتاج Bingbot وApplebot، اللذان تذكرهما Cloudflare إلى جانب Googlebot، إلى الفحص نفسه.

راجع إعداد Agent أيضاً. فحظر الوكلاء على صفحات الإعلانات يصدّ كذلك أدوات الذكاء الاصطناعي التي تجلب صفحة لشخص ما في الوقت الفعلي، وقد يكون ذلك خياراً افتراضياً خاطئاً لمتجر أو موقع حجوزات يريد أن يكون في متناول وكلاء الذكاء الاصطناعي الذين يتصفحون مواقع العملاء. وإذا أردت أن يُستشهد بك في إجابات الذكاء الاصطناعي، فذلك يعتمد أيضاً على وصول زواحف البحث إليك، لذا يدعم التدقيق نفسه فرص الاستشهاد بك في بحث الذكاء الاصطناعي.