المواقع الإلكترونية
التحكم في زحافات الذكاء الاصطناعي وروبوتات البحث
The Crawlers tab controls which automated visitors are allowed to index your site, grouped into search engines, AI answer engines, SEO tools, and social preview bots. This guide explains what each…
تتحكم علامة التبويب Crawlers في الزائرين المؤتمتين المسموح لهم بفهرسة موقعك، وهي مجمعة إلى محركات بحث ومحركات إجابات الذكاء الاصطناعي وأدوات تحسين محركات البحث وروبوتات معاينة الوسائط الاجتماعية. يشرح هذا الدليل ما يفعله كل مجموعة وما يسمح به Kapsule افتراضياً وما يكلفك الحجب فعلياً.
مكان وجود إعدادات الزحافات في KPanel
- سجل الدخول إلى KPanel.
- انقر على Websites في الشريط الجانبي الأيسر، ثم انقر على الموقع.
- في شريط علامات تبويب الموقع، افتح Performance، ثم Crawlers.
العنوان المباشر هو /websites/<site-id>/crawlers.
ما يغيره هذا الصفحة فعلياً
يؤدي تبديل مجموعة إلى إعادة كتابة ملف robots.txt الخاص بموقعك. هذا الملف عبارة عن طلب منشور للزائرين المؤتمتين حسني السلوك، وتحترمه الزحافات الرئيسية.
يترتب على ذلك نتيجتان، وكلاهما مهم.
إنه طلب وليس جدار. الزحافة التي تتجاهل robots.txt لا تتأثر بأي شيء على هذه الصفحة. إذا كانت مشكلتك هي الكشط من قبل شيء لا يعرّف نفسه بصراحة، فهذه ليست الأداة المناسبة: استخدم قائمة حجب عناوين IP أو تصفية البلدان على صفحة Security الخاصة بالموقع بدلاً من ذلك. انظر Site Security وCountry Blocking for a Site.
يتحكم في الزحف وليس في ما تم فهرسته بالفعل. يوقف حجب الزحافة الجلبات المستقبلية. المحتوى الموجود بالفعل في فهرس عادة ما يختفي بمرور الوقت، لكن ليس فوراً.
يتم حفظ التغييرات لحظة تبديل المفتاح. تعرض الصفحة Saving، ثم Saved, robots.txt updated.
المجموعات الأربع
محركات البحث. الزحافات التقليدية خلف نتائج البحث العادية: Googlebot و Bingbot و DuckDuckBot و Applebot و YandexBot.
محركات البحث والإجابات بالذكاء الاصطناعي. زحافات الأنظمة التي تتضمن محتواك في الإجابات التي ينشئها الذكاء الاصطناعي ونظرات البحث: GPTBot و OAI-SearchBot من OpenAI و ClaudeBot و anthropic-ai من Anthropic و PerplexityBot و Google-Extended و Cohere و Meta و Diffbot.
أدوات تحسين محركات البحث والتحليلات. زحافات من منصات تُستخدم لتدقيق المواقع: AhrefsBot و SemrushBot و MJ12bot و DotBot و Baiduspider.
الوسائط الاجتماعية والمعاينة. زحافات تجلب بطاقة معاينة عندما يشارك شخص ما رابطاً: Twitterbot و جالب معاينة Facebook و LinkedInBot و Slackbot و Discordbot.
تسرد كل بطاقة مجموعة كل زحافة فيها مع مالكها، حتى تتمكن من رؤية ما يغطيه التبديل بالضبط قبل قلبه.
موقف Kapsule الافتراضي: زحافات الذكاء الاصطناعي مسموحة
كل مجموعة مسموحة افتراضياً، بما في ذلك زحافات الذكاء الاصطناعي، وهذا موقف متعمد وليس إغفال.
عدد من الاستضافات يحجب زحافات الذكاء الاصطناعي بصمت نيابة عن عملائها. نحن لا نفعل ذلك، لأن هذه حركة المرور الخاصة بك وقرارك الخاص، وبسبب أن الافتراضي يكلفك الرؤية. نتائج البحث بالذكاء الاصطناعي هي مصدر إحالات حقيقي ومتنام. الموقع الذي لا تستطيع أنظمة الذكاء الاصطناعي قراءته لن يظهر في تلك الإجابات، مما يعني أنه لن يحصل على تلك الحركة.
إذا كنت تريد حجبها، فالتحكم موجود هنا. نحن ببساطة لن نتخذ هذا الاختيار نيابة عنك دون إخبارك.
الاختيار لكل مجموعة
محركات البحث. اتركها مسموحة ما لم يكن الموقع خاصاً حقاً، وفي هذه الحالة حماية كلمة المرور هي الأداة الصحيحة على أي حال. انظر Password-Protecting a Site.
محركات البحث والإجابات بالذكاء الاصطناعي. هذا هو القرار الحقيقي على الصفحة.
اسمح بها إذا كنت تريد حركة مرور واستشهادات من إجابات الذكاء الاصطناعي، وهو الحال بالنسبة لكل موقع تجاري تقريباً وناشر وعمل خدمات.
فكر في حجبها إذا كان محتواك هو منتجك والملخص يزيل السبب للزيارة، إذا كانت لديك قيود تعاقدية أو ترخيص على كيفية إعادة استخدام المحتوى، أو إذا اتخذت اختياراً تحريرياً متعمداً بشأن تدريب الذكاء الاصطناعي.
كن صادقاً بشأن المقايضة. الحجب يعني أن موقعك سيختفي من نظرات البحث والإجابات التي ينشئها الذكاء الاصطناعي، وهذا خسارة حركة مرور قابلة للقياس وليست مخاطرة نظرية.
أدوات تحسين محركات البحث والتحليلات. المجموعة الأكثر قابلية للدفاع عنها للحجب. إنها لا توفر لك أي شيء بشكل مباشر: فهي تسمح للآخرين بتدقيق موقعك، ويمكنها إضافة عبء زحف حقيقي على موقع كبير. يعني حجبهم أن موقعك أقل ظهوراً في أدوات أبحاث المنافسين، وهو ما يعتبره البعض ميزة. التكلفة هي أن أدوات تحسين محركات البحث الخاصة بك قد تفقد أيضاً البيانات عن موقعك.
الوسائط الاجتماعية والمعاينة. اتركها مسموحة ما لم تكن لا تريد معاينات الروابط أبداً. يعني حجب هذه أن الروابط إلى موقعك المشتركة على منصات الوسائط الاجتماعية وتطبيقات الدردشة تظهر كعناوين URL مجردة بدون عنوان أو وصف أو صورة، مما يقلل من نسبة النقر فعلياً.
حجب جميع زحافات الذكاء الاصطناعي مرة واحدة
في أسفل الصفحة توجد بطاقة منطقة الخطر، Block all AI crawlers. إضافة قواعد disallow لكل زحافة في مجموعة الذكاء الاصطناعي في إجراء واحد.
النقر عليه يطلب تأكيداً أولاً، والتأكيد ينص على العاقبة بوضوح: سيختفي موقعك من نظرات البحث بالذكاء الاصطناعي، وهذا يكلف حركة مرور حقيقية.
هذا قرار حركة مرور، وليس قرار أمان. حجب زحافات الذكاء الاصطناعي لا يحمي محتواك من النسخ: يمكن لأي شخص بعد ذلك قراءة صفحاتك، والفاعل السيء لم يكن سيحترم robots.txt على أي حال. ما يفعله بشكل موثوق هو إزالتك من الإجابات التي ينشئها الذكاء الاصطناعي. تأكد من أن هذه هي المقايضة التي تريدها.
الإجراء قابل للعكس. بدّل مجموعة الذكاء الاصطناعي مرة أخرى وسيتم إزالة قواعد disallow عند الحفظ التالي. العودة إلى فهرس بعد ذلك يستغرق وقتاً.
من يمكنه تغيير هذا
يتطلب تغيير إعدادات الزحافات صلاحية الكتابة على الموقع. مع دور القراءة فقط يتم تعطيل المفاتيح، وتمرير المؤشر على أحدها يشرح السبب. اطلب من مالك الحساب إجراء التغيير أو تعديل دورك.
استكشاف الأخطاء
حجبت مجموعة لكن الزحافة لا تزال تزور. تعيد الزحافات حسنة السلوك قراءة robots.txt بشكل دوري بدلاً من القراءة قبل كل طلب، لذا امنحها وقتاً. إذا لم تتوقف أبداً، فإن الزحافة لا تحترم الملف وتحتاج إلى التحكم في الوصول بدلاً من ذلك. انظر Site Security.
صفحاتي لا تزال في نتائج البحث بعد الحجب. يوقف الحجب الزحف المستقبلي. تنتهي صلاحية إدخالات الفهرس الموجودة بمرور الوقت. لإزالة المحتوى بسرعة، استخدم أداة الإزالة الخاصة بمحرك البحث.
توقفت معاينات الروابط عن العمل. مجموعة الوسائط الاجتماعية محجوبة. شغّلها مرة أخرى.
أداة تحسين محركات البحث الخاصة بي لا تحتوي على بيانات لموقعي. مجموعة تحسين محركات البحث محجوبة، مما يؤثر على أدواتك وكذلك على أدوات الجميع الآخرين.
انخفضت حركة المرور بعد تغيير شيء هنا. تحقق من المجموعات المحجوبة. إذا كان البحث أو الذكاء الاصطناعي معطلاً، فهذا هو السبب، وتشغيله مرة أخرى يبدأ التعافي.
زحافة أهتم بها غير مدرجة. تغطي المجموعات الزحافات المسماة الرئيسية. أي شيء غير مدرج يقع ضمن قاعدة السماح العامة في أعلى الملف ولا يتم حجبه من خلال هذه التبديلات.
موقعي لا يتم فهرسته على الإطلاق وكل شيء مسموح هنا. شيء آخر يحجبه. تحقق مما إذا كانت حماية كلمة المرور على مستوى الموقع قيد التشغيل، أو إذا كان تصفية البلدان تحجب منطقة الزحافة، أو ما إذا كان الموقع موجوداً على عنوان مشترك بدلاً من المجال الخاص بك.
الصفحات ذات الصلة
- Site Traffic Analytics لمعرفة تكلفة حركة المرور من الزحافات بالفعل من حيث الطلبات وعرض النطاق الترددي.
- Site Security لحجب عناوين IP وعناصر التحكم في الوصول الأخرى الحقيقية.
- Country Blocking for a Site لتصفية قائمة على الجغرافيا.
- Password-Protecting a Site لإخفاء موقع من كل شيء، بما في ذلك الزحافات.