वेबसाइट
AI Crawlers और Search Bots को नियंत्रित करना
The Crawlers tab controls which automated visitors are allowed to index your site, grouped into search engines, AI answer engines, SEO tools, and social preview bots. This guide explains what each…
Crawlers टैब को नियंत्रित करता है कि कौन से स्वचालित आगंतुकों को आपकी साइट को इंडेक्स करने की अनुमति है, जो सर्च इंजन, AI उत्तर इंजन, SEO टूल और सोशल प्रिव्यू बॉट में समूहीकृत हैं। यह गाइड समझाता है कि प्रत्येक समूह क्या करता है, Kapsule डिफ़ॉल्ट रूप से क्या अनुमति देता है, और ब्लॉकिंग वास्तव में आपको क्या खर्च करती है।
KPanel में Crawler सेटिंग्स कहाँ रहती हैं
- KPanel में साइन इन करें।
- बाएँ साइडबार में Websites पर क्लिक करें, फिर साइट पर क्लिक करें।
- साइट के टैब स्ट्रिप में, Performance खोलें, फिर Crawlers।
सीधा पता /websites/<site-id>/crawlers है।
यह पृष्ठ वास्तव में क्या बदलता है
एक समूह को टॉगल करने से आपकी साइट की robots.txt फ़ाइल दोबारा लिखी जाती है। वह फ़ाइल अच्छे व्यवहार वाले स्वचालित आगंतुकों के लिए एक प्रकाशित अनुरोध है, और प्रमुख crawlers इसका सम्मान करते हैं।
दो परिणाम निम्नलिखित हैं, और दोनों महत्वपूर्ण हैं।
यह एक अनुरोध है, दीवार नहीं। एक crawler जो robots.txt को अनदेखा करता है इस पृष्ठ पर कुछ भी से प्रभावित नहीं है। यदि आपकी समस्या किसी ऐसी चीज़ द्वारा स्क्रैपिंग है जो अपनी पहचान ईमानदारी से नहीं करती है, तो यह गलत टूल है: इसके बजाय साइट के Security पृष्ठ पर IP ब्लॉक सूची या देश फ़िल्टरिंग का उपयोग करें। Site Security और Country Blocking for a Site देखें।
यह crawling को नियंत्रित करता है, पहले से इंडेक्स किए गए को नहीं। एक crawler को ब्लॉक करने से भविष्य की fetches रुक जाती हैं। एक इंडेक्स में मौजूद सामग्री आमतौर पर समय के साथ बाहर निकल जाती है, लेकिन तुरंत नहीं।
परिवर्तन एक स्विच को टॉगल करने के क्षण में सहेजे जाते हैं। पृष्ठ Saving दिखाता है, फिर Saved, robots.txt updated।
चार समूह
Search engines। सामान्य खोज परिणामों के पीछे के पारंपरिक crawlers: Googlebot, Bingbot, DuckDuckBot, Applebot और YandexBot।
AI search और answer engines। AI-जनित उत्तरों और खोज अवलोकनों में आपकी सामग्री शामिल करने वाली प्रणालियों के लिए crawlers: OpenAI से GPTBot और OAI-SearchBot, Anthropic से ClaudeBot और anthropic-ai, PerplexityBot, Google-Extended, Cohere, Meta और Diffbot।
SEO और analytics tools। साइटों को ऑडिट करने के लिए उपयोग किए जाने वाले प्लेटफॉर्म से crawlers: AhrefsBot, SemrushBot, MJ12bot, DotBot और Baiduspider।
Social media और preview। Crawlers जो एक प्रिव्यू कार्ड प्राप्त करते हैं जब कोई एक लिंक साझा करता है: Twitterbot, Facebook प्रिव्यू fetcher, LinkedInBot, Slackbot और Discordbot।
प्रत्येक समूह कार्ड इसमें हर crawler को अपने मालिक के साथ सूचीबद्ध करता है, ताकि आप इसे फ़्लिप करने से पहले देख सकें कि एक टॉगल क्या कवर करता है।
Kapsule का डिफ़ॉल्ट: AI Crawlers की अनुमति है
प्रत्येक समूह डिफ़ॉल्ट रूप से अनुमति दी जाती है, जिसमें AI crawlers भी शामिल हैं, और यह एक जानबूझकर स्थिति है न कि एक निरीक्षण।
कई होस्ट अपने ग्राहकों की ओर से चुपचाप AI crawlers को ब्लॉक करते हैं। हम नहीं करते, क्योंकि यह आपका ट्रैफ़िक और आपका निर्णय है, और क्योंकि डिफ़ॉल्ट आपको दृश्यमानता खर्च करता है। AI खोज परिणाम रेफरल का एक वास्तविक और बढ़ता हुआ स्रोत हैं। एक साइट जो AI प्रणालियों द्वारा नहीं पढ़ी जा सकती है वह उन उत्तरों में दिखाई नहीं देती है, जिसका मतलब है कि इसे वह ट्रैफ़िक नहीं मिलता है।
यदि आप उन्हें ब्लॉक करना चाहते हैं, तो नियंत्रण यहीं है। हम बस आपके लिए इसे बिना बताए यह विकल्प नहीं चुनेंगे।
प्रत्येक समूह के लिए निर्णय लेना
Search engines। जब तक साइट वास्तव में निजी न हो, अनुमति दें, उस स्थिति में पासवर्ड सुरक्षा वैसे भी सही उपकरण है। Password-Protecting a Site देखें।
AI search और answer engines। यह पृष्ठ पर वास्तविक निर्णय है।
उन्हें अनुमति दें यदि आप AI उत्तरों से ट्रैफ़िक और उद्धरण चाहते हैं, जो लगभग हर वाणिज्यिक साइट, प्रकाशक और सेवा व्यवसा के लिए मामला है।
उन्हें ब्लॉक करने पर विचार करें यदि आपकी सामग्री आपका उत्पाद है और इसे सारांशित करने से विज़िट करने का कारण हटा दिया जाता है, यदि आपके पास सामग्री के पुन: उपयोग के तरीके पर अनुबंधजन्य या लाइसेंसिंग प्रतिबंध हैं, या यदि आपने AI प्रशिक्षण के बारे में एक जानबूझकर संपादकीय विकल्प बनाया है।
व्यापार के बारे में ईमानदार रहें। ब्लॉकिंग का मतलब है कि आपकी साइट AI-जनित खोज अवलोकनों और उत्तरों से गायब हो जाती है, और यह एक सैद्धांतिक जोखिम नहीं, वास्तविक खोई हुई ट्रैफ़िक है।
SEO और analytics tools। ब्लॉक करने के लिए सबसे रक्षणीय समूह। वे आपको सीधे कुछ नहीं देते हैं: वे अन्य लोगों को आपकी साइट को ऑडिट करने देते हैं, और एक बड़ी साइट पर वास्तविक crawl लोड जोड़ सकते हैं। उन्हें ब्लॉक करने का मतलब है कि आपकी साइट प्रतिस्पर्धियों के अनुसंधान उपकरणों में कम दिखाई देती है, जिसे कुछ लोग एक विशेषता मानते हैं। लागत यह है कि आपके स्वयं के SEO टूलिंग को भी आपकी साइट के बारे में डेटा खो सकता है।
Social media और preview। जब तक आप कभी लिंक प्रिव्यू नहीं चाहते हों, अनुमति दें। उन्हें ब्लॉक करने का मतलब है कि सोशल प्लेटफॉर्म और चैट ऐप्स पर साझा की गई आपकी साइट के लिंक कोई शीर्षक, विवरण या छवि के साथ नग्न URL के रूप में दिखाई देते हैं, जो क्लिक-थ्रू को मापने योग्य रूप से कम करते हैं।
एक बार में सभी AI Crawlers को ब्लॉक करना
पृष्ठ के निचले भाग में एक खतरे-क्षेत्र कार्ड है, Block all AI crawlers। यह एक कार्रवाई में AI समूह में हर crawler के लिए disallow नियम जोड़ता है।
इसे क्लिक करने से पहले पुष्टि के लिए कहा जाता है, और पुष्टि परिणाम को स्पष्ट रूप से बताती है: आपकी साइट AI खोज अवलोकनों से गायब हो जाएगी, और इससे वास्तविक ट्रैफ़िक खर्च होता है।
यह एक सुरक्षा निर्णय नहीं, बल्कि एक ट्रैफ़िक निर्णय है। AI crawlers को ब्लॉक करना आपकी सामग्री को कॉपी किए जाने से नहीं रोकता है: कोई भी अभी भी आपके पृष्ठों को पढ़ सकता है, और एक बुरा अभिनेता robots.txt का सम्मान कभी नहीं करने वाला था। जो यह विश्वसनीय रूप से करता है वह आपको AI-जनित उत्तरों से हटा देता है। सुनिश्चित करें कि यह व्यापार है जो आप चाहते हैं।
कार्रवाई प्रतिवर्ती है। AI समूह को वापस चालू करें और अगली बार सहेजे जाने पर disallow नियम हटा दिए जाते हैं। बाद में एक इंडेक्स में वापस पाना समय लेता है।
कौन इसे बदल सकता है
Crawler सेटिंग्स को बदलने के लिए साइट लिखने की अनुमति की आवश्यकता है। एक read-only role के साथ स्विच अक्षम हैं, और एक पर मंडराने से समझाया जाता है कि क्यों। परिवर्तन करने के लिए या अपनी भूमिका समायोजित करने के लिए एक खाता मालिक से पूछें।
समस्या निवारण
मैंने एक समूह को ब्लॉक किया लेकिन crawler अभी भी दौरा कर रहा है। अच्छे व्यवहार वाले crawlers हर अनुरोध से पहले नहीं, बल्कि समय-समय पर robots.txt को दोबारा पढ़ते हैं, इसलिए समय दें। यदि यह कभी नहीं रुकता है, तो crawler फ़ाइल का सम्मान नहीं कर रहा है और आपको एक access control की आवश्यकता है। Site Security देखें।
मेरे पृष्ठ ब्लॉक करने के बाद भी खोज परिणामों में हैं। ब्लॉकिंग भविष्य की crawling को रोकता है। मौजूदा इंडेक्स प्रविष्टियाँ समय के साथ समाप्त होती हैं। सामग्री को जल्दी हटाने के लिए, सर्च इंजन के अपने हटाने उपकरण का उपयोग करें।
Link previews काम करना बंद कर दिया। सोशल समूह ब्लॉक है। इसे वापस चालू करें।
मेरे SEO tool के पास मेरी साइट के लिए कोई डेटा नहीं है। SEO समूह ब्लॉक है, जो आपके टूल को और सभी के साथ प्रभावित करता है।
ब्लॉकिंग के बाद ट्रैफ़िक में गिरावट आई है। जांचें कि कौन से समूह ब्लॉक हैं। यदि search या AI बंद है, तो यह कारण है, और इसे वापस चालू करने से recovery शुरू होती है।
एक crawler जिसकी मुझे परवाह है, वह सूचीबद्ध नहीं है। समूह मुख्य नाम वाले crawlers को कवर करते हैं। सूचीबद्ध न होने वाली कोई भी चीज़ फ़ाइल के शीर्ष पर सामान्य allow नियम के तहत आती है और इन टॉगल द्वारा ब्लॉक नहीं की जाती है।
मेरी साइट को बिल्कुल भी इंडेक्स नहीं किया जा रहा है और यहाँ सब कुछ अनुमति है। कुछ और इसे ब्लॉक कर रहा है। जांचें कि क्या पूरी-साइट पासवर्ड सुरक्षा चालू है, देश फ़िल्टरिंग crawler के क्षेत्र को ब्लॉक कर रहा है, या साइट एक साझा पते पर है न कि आपके अपने डोमेन पर।
संबंधित पृष्ठ
- Site Traffic Analytics यह देखने के लिए कि crawler ट्रैफ़िक वास्तव में आपको अनुरोधों और बैंडविड्थ में क्या खर्च करता है।
- Site Security IP ब्लॉकिंग और अन्य वास्तविक access controls के लिए।
- Country Blocking for a Site भूगोल-आधारित फ़िल्टरिंग के लिए।
- Password-Protecting a Site एक साइट को हर चीज़ से छिपाने के लिए, crawlers सहित।