Controlling AI Crawlers and Search Bots

Die Registerkarte Crawlers kontrolliert, welche automatisierten Besucher darf deine Website indexieren, gruppiert in Suchmaschinen, KI-Antwortsuchmaschinen, SEO-Tools und Social-Preview-Bots. Diese Anleitung erklärt, was jede Gruppe tut, was Kapsule standardmäßig erlaubt, und welche Kosten das Blockieren tatsächlich mit sich bringt.

Wo die Crawler-Einstellungen in KPanel zu finden sind

1. Melden Sie sich bei KPanel an.
2. Klicken Sie in der linken Seitenleiste auf Websites und dann auf die Website.
3. Öffnen Sie in der Registerkarte der Website Performance und dann Crawlers.

Die direkte Adresse ist /websites/<site-id>/crawlers.

Was diese Seite tatsächlich ändert

Das Umschalten einer Gruppe schreibt die robots.txt-Datei deiner Website um. Diese Datei ist eine veröffentlichte Anfrage an wohlerzogene automatisierte Besucher, und die großen Crawler respektieren sie.

Zwei Folgen ergeben sich daraus, und beide sind wichtig.

Es ist eine Anfrage, nicht eine Mauer. Ein Crawler, der robots.txt ignoriert, wird durch nichts auf dieser Seite beeinträchtigt. Wenn dein Problem Web-Scraping durch etwas ist, das sich nicht ehrlich identifiziert, ist dies das falsche Tool: Verwenden Sie stattdessen die IP-Blockliste oder die Länderfilterung auf der Seite Security der Website. Siehe Site Security und Country Blocking for a Site.

Es kontrolliert das Crawling, nicht das, was bereits indexiert ist. Das Blockieren eines Crawlers stoppt zukünftige Abrufe. Inhalte, die bereits in einem Index sind, verschwinden normalerweise mit der Zeit, aber nicht sofort.

Änderungen werden gespeichert, sobald Sie einen Schalter umschalten. Die Seite zeigt Saving an, dann Saved, robots.txt updated.

Die vier Gruppen

Suchmaschinen. Die traditionellen Crawler hinter gewöhnlichen Suchergebnissen: Googlebot, Bingbot, DuckDuckBot, Applebot und YandexBot.

KI-Such- und Antwortsuchmaschinen. Crawler für Systeme, die deinen Inhalt in KI-generierte Antworten und Suchübersichten einbeziehen: GPTBot und OAI-SearchBot von OpenAI, ClaudeBot und anthropic-ai von Anthropic, PerplexityBot, Google-Extended, Cohere, Meta und Diffbot.

SEO- und Analytics-Tools. Crawler von Plattformen, die zum Auditing von Websites verwendet werden: AhrefsBot, SemrushBot, MJ12bot, DotBot und Baiduspider.

Soziale Medien und Vorschau. Crawler, die eine Vorschaukarte abrufen, wenn jemand einen Link teilt: Twitterbot, der Facebook-Vorschauabrufer, LinkedInBot, Slackbot und Discordbot.

Jede Gruppenkarte listet jeden Crawler in ihr auf, mit seinem Besitzer, sodass Sie genau sehen können, was ein Umschalter abdeckt, bevor Sie ihn betätigen.

Kapsule's Standard: KI-Crawler sind erlaubt

Jede Gruppe ist standardmäßig erlaubt, einschließlich KI-Crawler, und das ist eine bewusste Position und kein Versehen.

Eine Reihe von Hosting-Anbietern blockieren KI-Crawler stillschweigend im Namen ihrer Kunden. Wir tun das nicht, denn es ist dein Traffic und deine Entscheidung, und weil der Standard dir Sichtbarkeit kostet. KI-Suchergebnisse sind eine echte und wachsende Quelle für Verweise. Eine Website, die KI-Systeme nicht lesen können, erscheint nicht in diesen Antworten, was bedeutet, dass sie diesen Traffic nicht bekommt.

Wenn du sie blockieren möchtest, ist die Steuerung hier. Wir werden diese Entscheidung einfach nicht für dich treffen, ohne dir das zu sagen.

Für jede Gruppe entscheiden

Suchmaschinen. Lassen Sie sie erlaubt, es sei denn, die Website ist wirklich privat, in welchem Fall Passwortschutz sowieso das richtige Tool ist. Siehe Password-Protecting a Site.

KI-Such- und Antwortsuchmaschinen. Dies ist die echte Entscheidung auf dieser Seite.

Erlauben Sie sie, wenn Sie Traffic und Zitierungen aus KI-Antworten wünschen, was für fast jede kommerzielle Website, jeden Herausgeber und jedes Serviceunternehmen der Fall ist.

Erwägen Sie, sie zu blockieren, wenn dein Inhalt dein Produkt ist und die Zusammenfassung den Grund zum Besuch entfernt, wenn du vertragliche oder Lizenzierungsbeschränkungen dafür hast, wie Inhalte wiederverwendet werden dürfen, oder wenn du eine bewusste redaktionelle Entscheidung zur KI-Ausbildung getroffen hast.

Seien Sie ehrlich über den Austausch. Das Blockieren bedeutet, dass deine Website aus KI-generierten Suchübersichten und Antworten verschwindet, und das ist ein messbarer Verlust von Traffic, nicht ein theoretisches Risiko.

SEO- und Analytics-Tools. Die am leichtesten zu verteidigende Gruppe zum Blockieren. Sie bringen dir direkt nichts: Sie lassen andere Personen deine Website auditen, und sie können echte Crawl-Last auf einer großen Website hinzufügen. Das Blockieren bedeutet, dass deine Website in den Forschungstools von Konkurrenten weniger sichtbar ist, was manche Menschen als Vorteil sehen. Die Kosten sind, dass deine eigenen SEO-Tools möglicherweise auch Daten über deine Website verlieren.

Soziale Medien und Vorschau. Lassen Sie sie erlaubt, es sei denn, Sie möchten nie Link-Vorschaubilder. Das Blockieren dieser bedeutet, dass Links zu deiner Website, die auf sozialen Plattformen und Chat-Apps geteilt werden, als bloße URLs ohne Titel, Beschreibung oder Bild erscheinen, was die Durchklickrate messbar reduziert.

Alle KI-Crawler auf einmal blockieren

Unten auf der Seite gibt es eine Danger-Zone-Karte, Block all AI crawlers. Sie fügt Disallow-Regeln für jeden Crawler in der KI-Gruppe in einer Aktion hinzu.

Das Anklicken fordert zuerst eine Bestätigung an, und die Bestätigung gibt die Konsequenz deutlich an: deine Website verschwindet aus KI-Suchübersichten, und das kostet echten Traffic.

Die Aktion ist umkehrbar. Schalten Sie die KI-Gruppe zurück ein und die Disallow-Regeln werden beim nächsten Speichern entfernt. Danach im Index wieder aufgenommen zu werden dauert Zeit.

Wer kann das ändern

Das Ändern von Crawler-Einstellungen benötigt die Schreibberechtigung für die Website. Mit einer schreibgeschützten Rolle sind die Schalter deaktiviert, und das Hovern über einen erklärt warum. Bitten Sie einen Kontoinhaber, die Änderung vorzunehmen oder Ihre Rolle anzupassen.

Fehlerbehebung

Ich habe eine Gruppe blockiert, aber der Crawler besucht immer noch. Wohlerzogene Crawler lesen robots.txt regelmäßig nach, anstatt vor jeder Anfrage, also geben Sie ihm Zeit. Wenn es nie stoppt, respektiert der Crawler die Datei nicht und Sie benötigen stattdessen eine Zugriffskontrolle. Siehe Site Security.

Meine Seiten sind nach dem Blockieren immer noch in Suchergebnissen. Das Blockieren stoppt zukünftiges Crawling. Bestehende Index-Einträge laufen mit der Zeit ab. Um Inhalte schnell zu entfernen, verwenden Sie das eigene Entfernungstool der Suchmaschine.

Link-Vorschaubilder funktionieren nicht mehr. Die Social-Gruppe ist blockiert. Schalten Sie sie wieder ein.

Mein SEO-Tool hat keine Daten für meine Website. Die SEO-Gruppe ist blockiert, was sowohl deine Tools als auch die aller anderen beeinflusst.

Der Traffic fiel, nachdem ich hier etwas geändert habe. Überprüfen Sie, welche Gruppen blockiert sind. Wenn Suche oder KI aus sind, ist das die Ursache, und das Einschalten wieder startet die Wiederherstellung.

Ein Crawler, der mir wichtig ist, wird nicht aufgelistet. Die Gruppen decken die großen bekannten Crawler ab. Alles, was nicht aufgelistet ist, fällt unter die allgemeine Erlaubnisregel oben in der Datei und wird durch diese Umschalter nicht blockiert.

Meine Website wird überhaupt nicht indexiert und alles ist hier erlaubt. Etwas anderes blockiert sie. Überprüfen Sie, ob der Passwortschutz für die gesamte Website aktiviert ist, ob die Länderfilterung die Region des Crawlers blockiert, oder ob sich die Website unter einer freigegebenen Adresse befindet, anstatt unter Ihrer eigenen Domäne.

Verwandte Seiten

• Site Traffic Analytics um zu sehen, welche Crawler-Traffic dich tatsächlich in Anfragen und Bandbreite kostet.
• Site Security für IP-Blockierung und andere echte Zugriffskontrolle.
• Country Blocking for a Site für geografiebasierte Filterung.
• Password-Protecting a Site um eine Website vor allem zu verbergen, Crawler inbegriffen.