AI-Crawlers en Zoekbots beheren

Het tabblad Crawlers bepaalt welke geautomatiseerde bezoekers uw site mogen indexeren, onderverdeeld in zoekmachines, AI-antwoordmachines, SEO-tools en sociale preview-bots. Deze handleiding legt uit wat elke groep doet, wat Kapsule standaard toestaat, en wat blokkering u werkelijk kost.

Waar Crawler-instellingen zich bevinden in KPanel

1. Meld u aan bij KPanel.
2. Klik Websites in de linkerzijbalk en klik vervolgens op de site.
3. Open in de tabbladstrip van de site Performance en vervolgens Crawlers.

Het directe adres is /websites/<site-id>/crawlers.

Wat deze pagina werkelijk verandert

Het in- of uitschakelen van een groep herschrijft het robots.txt-bestand van uw site. Dat bestand is een gepubliceerd verzoek aan goed opgevoerde geautomatiseerde bezoekers, en de grote crawlers respecteren dit.

Hieruit volgen twee gevolgen, en beide zijn belangrijk.

Het is een verzoek, geen muur. Een crawler die robots.txt negeert, wordt niet beïnvloed door wat zich op deze pagina bevindt. Als uw probleem scraping door iets is dat zichzelf niet eerlijk identificeert, is dit het verkeerde gereedschap: gebruik in plaats daarvan de IP-bloklijst of landfiltering op de pagina Security van de site. Zie Site Security en Country Blocking for a Site.

Het bepaalt crawling, niet wat al geïndexeerd is. Het blokkeren van een crawler stopt toekomstige fetches. Inhoud die al in een index staat, verdwijnt meestal na verloop van tijd, maar niet onmiddellijk.

Wijzigingen worden opgeslagen op het moment dat u een schakelaar in- of uitschakelt. De pagina toont Saving, vervolgens Saved, robots.txt updated.

De vier groepen

Zoekmachines. De traditionele crawlers achter gewone zoekresultaten: Googlebot, Bingbot, DuckDuckBot, Applebot en YandexBot.

AI-zoek- en antwoordmachines. Crawlers voor systemen die uw inhoud opnemen in door AI gegenereerde antwoorden en zoekvoorstellen: GPTBot en OAI-SearchBot van OpenAI, ClaudeBot en anthropic-ai van Anthropic, PerplexityBot, Google-Extended, Cohere, Meta en Diffbot.

SEO- en analytictools. Crawlers van platforms die worden gebruikt om sites te controleren: AhrefsBot, SemrushBot, MJ12bot, DotBot en Baiduspider.

Sociale media en preview. Crawlers die een preview-kaart ophalen wanneer iemand een link deelt: Twitterbot, de Facebook-preview-fetcher, LinkedInBot, Slackbot en Discordbot.

Elke groepkaart bevat alle crawlers daarin, met de eigenaar, zodat u precies kunt zien wat een schakelaar afdekt voordat u deze omzet.

Standaard van Kapsule: AI-Crawlers zijn toegestaan

Elke groep is standaard toegestaan, inclusief AI-crawlers, en dat is een bewuste keuze in plaats van een toeval.

Een aantal providers blokkeert AI-crawlers stilletjes namens hun klanten. Wij doen dat niet, omdat het uw verkeer en uw beslissing is, en omdat de standaardinstelling u zichtbaarheid kost. AI-zoekresultaten zijn een echte en groeiende bron van verwijzingen. Een site die AI-systemen niet kunnen lezen, verschijnt niet in die antwoorden, wat betekent dat het dat verkeer niet krijgt.

Als u deze wilt blokkeren, is het besturingselement hier beschikbaar. We zullen deze keuze gewoon niet voor u maken zonder u dat te vertellen.

Voor elke groep bepalen

Zoekmachines. Laat deze toe tenzij de site werkelijk privé is. In dat geval is wachtwoordbeveiliging toch het juiste gereedschap. Zie Password-Protecting a Site.

AI-zoek- en antwoordmachines. Dit is de echte beslissing op deze pagina.

Sta deze toe als u verkeer en citaties van AI-antwoorden wilt, wat het geval is voor bijna elke commerciële site, uitgever en servicebedrijf.

Overweeg deze te blokkeren als uw inhoud uw product is en samenvatting de reden om te bezoeken wegneemt, als u contractuele of licentierestricties hebt op hoe inhoud opnieuw kan worden gebruikt, of als u een bewuste redactionele keuze hebt gemaakt over AI-training.

Wees eerlijk over de afweging. Blokkeren betekent dat uw site verdwijnt uit door AI gegenereerde zoekvoorstellen en antwoorden, en dat is meetbaar verloren verkeer, geen theoretisch risico.

SEO- en analytictools. De meest verdedigbare groep om te blokkeren. Ze bieden u rechtstreeks niets: ze laten andere mensen uw site controleren, en ze kunnen echte crawlbelasting op een grote site toevoegen. Deze blokkeren betekent dat uw site minder zichtbaar is in de onderzoekstools van concurrenten, wat sommigen als een voordeel beschouwen. De prijs is dat uw eigen SEO-tool ook gegevens over uw site kan verliezen.

Sociale media en preview. Laat deze toe tenzij u nooit preview-koppelingen wilt. Deze blokkeren betekent dat koppelingen naar uw site die op sociale platforms en chat-apps worden gedeeld, als kale URL's verschijnen zonder titel, beschrijving of afbeelding, wat aantoonbaar de doorklikking vermindert.

Alle AI-Crawlers tegelijk blokkeren

Onderaan de pagina staat een danger-zone-kaart, Block all AI crawlers. Het voegt in één actie disallow-regels toe voor elke crawler in de AI-groep.

Erop klikken vraagt eerst om bevestiging, en de bevestiging stelt het gevolg duidelijk: uw site verdwijnt uit AI-zoekvoorstellen, en dit kost werkelijk verkeer.

De actie kan ongedaan worden gemaakt. Zet de AI-groep weer aan en de disallow-regels worden verwijderd bij het volgende opslaan. Het opnieuw in een index opnemen duurt na het verwijderen enige tijd.

Wie kan dit veranderen

Het wijzigen van crawler-instellingen vereist schrijfmachtiging voor de site. Met een alleen-lezen rol zijn de schakelaars uitgeschakeld, en erover hoveren legt uit waarom. Vraag een accounteigenaar om de wijziging aan te brengen of pas uw rol aan.

Problemen oplossen

Ik heb een groep geblokkeerd maar de crawler bezoekt nog steeds. Goed opgevoerde crawlers lezen robots.txt periodiek in plaats van vóór elk verzoek, dus geef het wat tijd. Als het nooit stopt, respecteert de crawler het bestand niet en hebt u een toegangscontrole nodig. Zie Site Security.

Mijn pagina's staan nog steeds in zoekresultaten na blokkering. Blokkering stopt toekomstige crawling. Bestaande indexitems vervallen na verloop van tijd. Als u inhoud snel wilt verwijderen, gebruikt u het eigen verwijderingsprogramma van de zoekmachine.

Preview-koppelingen werken niet meer. De sociale groep is geblokkeerd. Zet deze weer aan.

Mijn SEO-tool heeft geen gegevens voor mijn site. De SEO-groep is geblokkeerd, wat van invloed is op uw tools en die van iedereen ander.

Verkeer daalde nadat ik hier iets heb veranderd. Controleer welke groepen zijn geblokkeerd. Als zoeken of AI uit staat, is dat de oorzaak, en het weer inschakelen start het herstel.

Een crawler waar ik om geef, staat niet in de lijst. De groepen beslaan de grote naamcrawlers. Alles wat niet wordt vermeld, valt onder de algemene toestaan-regel bovenaan het bestand en wordt niet geblokkeerd door deze schakelaars.

Mijn site wordt helemaal niet geïndexeerd en alles is hier toegestaan. Iets anders blokkeert het. Controleer of wachtwoordbeveiliging voor de hele site is ingeschakeld, of landfiltering het regio van de crawler blokkeert, of de site op een gedeeld adres staat in plaats van uw eigen domein.

Gerelateerde pagina's

• Site Traffic Analytics om te zien wat crawler-verkeer u werkelijk in verzoeken en bandbreedte kost.
• Site Security voor IP-blokkering en andere echte toegangscontroles.
• Country Blocking for a Site voor op geografie gebaseerde filtering.
• Password-Protecting a Site om een site voor alles te verbergen, inclusief crawlers.