Contrôler les robots d'indexation et les crawlers de recherche

L'onglet Crawlers contrôle quels visiteurs automatisés sont autorisés à indexer votre site, regroupés en moteurs de recherche, moteurs de réponse IA, outils SEO et robots d'aperçu social. Ce guide explique ce que fait chaque groupe, ce que Kapsule autorise par défaut et ce que le blocage vous coûte réellement.

Où se trouvent les paramètres des crawlers dans KPanel

1. Connectez-vous à KPanel.
2. Cliquez sur Websites dans la barre latérale gauche, puis cliquez sur le site.
3. Dans la bande d'onglets du site, ouvrez Performance, puis Crawlers.

L'adresse directe est /websites/<site-id>/crawlers.

Ce que cette page change réellement

L'activation ou la désactivation d'un groupe réécrit le fichier robots.txt de votre site. Ce fichier est une demande publiée aux visiteurs automatisés bien intentionnés, et les principaux crawlers la respectent.

Deux conséquences s'ensuivent, et toutes deux sont importantes.

C'est une demande, pas un mur. Un crawler qui ignore robots.txt n'est pas affecté par quoi que ce soit sur cette page. Si votre problème est du scraping par quelque chose qui ne s'identifie pas honnêtement, ce n'est pas le bon outil : utilisez plutôt la liste de blocage d'adresses IP ou le filtrage par pays sur la page Security du site. Voir Site Security et Country Blocking for a Site.

Elle contrôle l'indexation, pas ce qui est déjà indexé. Bloquer un crawler arrête les récupérations futures. Le contenu déjà dans un index disparaît généralement avec le temps, mais pas instantanément.

Les modifications s'enregistrent dès que vous basculez un interrupteur. La page affiche Saving, puis Saved, robots.txt updated.

Les quatre groupes

Moteurs de recherche. Les crawlers traditionnels derrière les résultats de recherche ordinaires : Googlebot, Bingbot, DuckDuckBot, Applebot et YandexBot.

Moteurs de recherche et de réponse IA. Crawlers pour les systèmes qui incluent votre contenu dans les réponses générées par IA et les aperçus de recherche : GPTBot et OAI-SearchBot d'OpenAI, ClaudeBot et anthropic-ai d'Anthropic, PerplexityBot, Google-Extended, Cohere, Meta et Diffbot.

Outils SEO et d'analyse. Crawlers provenant de plates-formes utilisées pour auditer les sites : AhrefsBot, SemrushBot, MJ12bot, DotBot et Baiduspider.

Réseaux sociaux et aperçu. Crawlers qui récupèrent une carte d'aperçu lorsque quelqu'un partage un lien : Twitterbot, le récupérateur d'aperçu Facebook, LinkedInBot, Slackbot et Discordbot.

Chaque carte de groupe répertorie chaque crawler qu'elle contient, avec son propriétaire, afin que vous puissiez voir exactement ce qu'un basculement couvre avant de l'activer.

Défaut de Kapsule : les crawlers IA sont autorisés

Chaque groupe est autorisé par défaut, y compris les crawlers IA, et c'est une position délibérée plutôt qu'une inadvertance.

Un certain nombre d'hébergeurs bloquent silencieusement les crawlers IA au nom de leurs clients. Nous ne le faisons pas, car c'est votre trafic et votre décision, et parce que le défaut vous coûte de la visibilité. Les résultats de recherche IA sont une source réelle et croissante de renvois. Un site que les systèmes IA ne peuvent pas lire n'apparaît pas dans ces réponses, ce qui signifie qu'il ne génère pas ce trafic.

Si vous voulez les bloquer, le contrôle est juste ici. Nous ne prendrons simplement pas cette décision pour vous sans vous le dire.

Décider pour chaque groupe

Moteurs de recherche. Laissez autorisés sauf si le site est véritablement privé, auquel cas la protection par mot de passe est de toute façon le bon outil. Voir Password-Protecting a Site.

Moteurs de recherche et de réponse IA. C'est la vraie décision de cette page.

Autorisez-les si vous voulez du trafic et des citations provenant de réponses IA, ce qui est le cas pour presque tous les sites commerciaux, éditeurs et entreprises de services.

Envisagez de les bloquer si votre contenu est votre produit et que sa synthèse supprime la raison de visiter, si vous avez des restrictions contractuelles ou de licence sur la façon dont le contenu peut être réutilisé, ou si vous avez fait un choix éditorial délibéré concernant l'entraînement de l'IA.

Soyez honnête sur le compromis. Le blocage signifie que votre site disparaît des aperçus et réponses de recherche générés par IA, et c'est une perte de trafic mesurable, pas un risque théorique.

Outils SEO et d'analyse. Le groupe le plus justifiable à bloquer. Ils ne vous fournissent rien directement : ils permettent à d'autres personnes d'auditer votre site, et ils peuvent ajouter une charge de crawl réelle sur un grand site. Les bloquer signifie que votre site est moins visible dans les outils de recherche des concurrents, ce que certains considèrent comme une caractéristique. Le coût est que votre propre outillage SEO peut également perdre des données sur votre site.

Réseaux sociaux et aperçu. Laissez autorisés sauf si vous ne voulez jamais d'aperçus de lien. Les bloquer signifie que les liens vers votre site partagés sur les plateformes sociales et les applications de chat apparaissent comme des URL nues sans titre, description ou image, ce qui réduit mesurément les clics.

Bloquer tous les crawlers IA à la fois

En bas de la page se trouve une carte de zone dangereuse, Block all AI crawlers. Elle ajoute des règles de désautorisation pour chaque crawler du groupe IA en une seule action.

Un clic demande d'abord une confirmation, et la confirmation énonce clairement la conséquence : votre site disparaîtra des aperçus de recherche IA, et cela coûte du trafic réel.

L'action est réversible. Réactivez le groupe IA et les règles de désautorisation sont supprimées lors de la prochaine sauvegarde. La réintégration dans un index prend du temps.

Qui peut modifier ceci

La modification des paramètres des crawlers nécessite la permission d'écriture sur le site. Avec un rôle en lecture seule, les interrupteurs sont désactivés et survoler l'un d'eux explique pourquoi. Demandez à un propriétaire de compte de faire la modification ou d'ajuster votre rôle.

Dépannage

J'ai bloqué un groupe mais le crawler visite toujours. Les crawlers bien intentionnés relient robots.txt périodiquement plutôt qu'avant chaque requête, alors soyez patient. S'il ne s'arrête jamais, le crawler ne respecte pas le fichier et vous avez besoin d'un contrôle d'accès à la place. Voir Site Security.

Mes pages sont toujours dans les résultats de recherche après le blocage. Le blocage arrête l'indexation future. Les entrées d'index existantes expirent avec le temps. Pour supprimer rapidement du contenu, utilisez l'outil de suppression du moteur de recherche lui-même.

Les aperçus de lien ont cessé de fonctionner. Le groupe social est bloqué. Réactivez-le.

Mon outil SEO n'a pas de données pour mon site. Le groupe SEO est bloqué, ce qui affecte vos outils ainsi que ceux de tout le monde.

Le trafic a chuté après avoir changé quelque chose ici. Vérifiez quels groupes sont bloqués. Si la recherche ou l'IA est désactivée, c'en est la cause, et la réactiver commence la récupération.

Un crawler auquel je tiens n'est pas répertorié. Les groupes couvrent les principaux crawlers nommés. Tout ce qui n'est pas répertorié relève de la règle générale d'autorisation en haut du fichier et n'est pas bloqué par ces interrupteurs.

Mon site n'est pas du tout indexé et tout est autorisé ici. Quelque chose d'autre le bloque. Vérifiez si la protection par mot de passe pour le site entier est activée, si le filtrage par pays bloque la région du crawler, ou si le site se trouve sur une adresse partagée plutôt que sur votre propre domaine.

Pages connexes

• Site Traffic Analytics pour voir ce que le trafic des crawlers coûte réellement en requêtes et bande passante.
• Site Security pour le blocage d'adresses IP et autres vrais contrôles d'accès.
• Country Blocking for a Site pour le filtrage basé sur la géographie.
• Password-Protecting a Site pour masquer un site à tout le monde, crawlers inclus.