Controlando Crawlers de IA e Bots de Busca

A aba Crawlers controla quais visitantes automatizados têm permissão para indexar seu site, agrupados em mecanismos de busca, motores de resposta de IA, ferramentas de SEO e bots de visualização social. Este guia explica o que cada grupo faz, o que Kapsule permite por padrão e qual é o custo real de bloquear.

Onde as Configurações de Crawler Vivem no KPanel

1. Faça login em KPanel.
2. Clique em Websites na barra lateral esquerda e, em seguida, clique no site.
3. Na faixa de abas do site, abra Performance e depois Crawlers.

O endereço direto é /websites/<site-id>/crawlers.

O Que Esta Página Realmente Muda

Alternar um grupo reescreve o arquivo robots.txt do seu site. Esse arquivo é uma solicitação publicada para visitantes automatizados bem-comportados, e os principais crawlers a respeitam.

Duas consequências ocorrem, e ambas importam.

É uma solicitação, não uma barreira. Um crawler que ignora robots.txt não é afetado por nada nesta página. Se seu problema é raspagem por algo que não se identifica honestamente, esta é a ferramenta errada: use a lista de bloqueio de IP ou a filtragem de país na página Security do site. Veja Site Security e Country Blocking for a Site.

Controla o rastreamento, não o que já está indexado. Bloquear um crawler impede futuras buscas. O conteúdo já em um índice geralmente sai com o tempo, mas não instantaneamente.

As alterações são salvas no momento em que você alterna um comutador. A página mostra Saving e depois Saved, robots.txt updated.

Os Quatro Grupos

Mecanismos de busca. Os crawlers tradicionais por trás dos resultados ordinários de busca: Googlebot, Bingbot, DuckDuckBot, Applebot e YandexBot.

Mecanismos de busca e resposta de IA. Crawlers para sistemas que incluem seu conteúdo em respostas geradas por IA e visões gerais de busca: GPTBot e OAI-SearchBot da OpenAI, ClaudeBot e anthropic-ai da Anthropic, PerplexityBot, Google-Extended, Cohere, Meta e Diffbot.

Ferramentas de SEO e análise. Crawlers de plataformas usadas para auditar sites: AhrefsBot, SemrushBot, MJ12bot, DotBot e Baiduspider.

Mídia social e visualização. Crawlers que buscam um cartão de visualização quando alguém compartilha um link: Twitterbot, o buscador de visualização do Facebook, LinkedInBot, Slackbot e Discordbot.

Cada cartão de grupo lista todos os crawlers nele, com seu proprietário, para que você possa ver exatamente o que um comutador cobre antes de acioná-lo.

Padrão do Kapsule: Crawlers de IA São Permitidos

Todos os grupos são permitidos por padrão, incluindo crawlers de IA, e essa é uma posição deliberada e não uma negligência.

Uma série de hosts bloqueia silenciosamente crawlers de IA em nome de seus clientes. Nós não fazemos isso, porque é seu tráfego e sua decisão, e porque o padrão custa visibilidade a você. Resultados de busca de IA são uma fonte real e crescente de referências. Um site que sistemas de IA não conseguem ler não aparece nessas respostas, o que significa que não recebe esse tráfego.

Se você quiser bloqueá-los, o controle está bem aqui. Simplesmente não faremos essa escolha por você sem avisar.

Decidindo para Cada Grupo

Mecanismos de busca. Deixe permitido a menos que o site seja genuinamente privado, caso em que a proteção por senha é a ferramenta correta mesmo assim. Veja Password-Protecting a Site.

Mecanismos de busca e resposta de IA. Esta é a decisão real da página.

Permita-os se você quiser tráfego e citações de respostas de IA, o que é o caso para quase todo site comercial, editor e negócio de serviços.

Considere bloqueá-los se seu conteúdo é seu produto e ser resumido remove a razão de visitar, se você tem restrições contratuais ou de licença sobre como o conteúdo pode ser reutilizado, ou se fez uma escolha editorial deliberada sobre treinamento de IA.

Seja honesto sobre o compromisso. Bloquear significa que seu site desaparece das visões gerais e respostas de busca geradas por IA, e isso é tráfego perdido mensurável, não um risco teórico.

Ferramentas de SEO e análise. O grupo mais defensável para bloquear. Elas não fornecem nada diretamente: permitem que outras pessoas auditem seu site, e podem adicionar carga de rastreamento real em um site grande. Bloqueá-las significa que seu site é menos visível nas ferramentas de pesquisa de concorrentes, o que algumas pessoas consideram um recurso. O custo é que sua própria ferramenta de SEO também pode perder dados sobre seu site.

Mídia social e visualização. Deixe permitido a menos que você nunca queira visualizações de link. Bloqueá-las significa que links para seu site compartilhados em plataformas sociais e aplicativos de chat aparecem como URLs vazias sem título, descrição ou imagem, o que reduz mensurável o click-through.

Bloqueando Todos os Crawlers de IA de Uma Vez

Na parte inferior da página, há um cartão de zona de perigo, Block all AI crawlers. Ele adiciona regras de disallow para cada crawler no grupo de IA em uma ação.

Clicar nele pede confirmação primeiro, e a confirmação declara a consequência claramente: seu site desaparecerá das visões gerais de busca de IA, e isso custa tráfego real.

A ação é reversível. Alterne o grupo de IA novamente e as regras de disallow serão removidas no próximo salvamento. Retornar a um índice depois disso leva tempo.

Quem Pode Mudar Isso

Alterar configurações de crawler precisa da permissão de escrita do site. Com uma função somente leitura, os comutadores são desabilitados, e passar o mouse sobre um explica o motivo. Peça a um proprietário de conta para fazer a alteração ou ajuste sua função.

Solução de Problemas

Bloqueei um grupo, mas o crawler ainda está visitando. Crawlers bem-comportados releem robots.txt periodicamente em vez de antes de cada solicitação, então dê tempo. Se nunca parar, o crawler não está honrando o arquivo e você precisa de um controle de acesso. Veja Site Security.

Minhas páginas ainda estão nos resultados de busca após bloquear. Bloquear impede o rastreamento futuro. Entradas de índice existentes expiram com o tempo. Para remover conteúdo rapidamente, use a ferramenta de remoção do próprio mecanismo de busca.

Visualizações de link pararam de funcionar. O grupo social está bloqueado. Ative-o novamente.

Minha ferramenta de SEO não tem dados para meu site. O grupo de SEO está bloqueado, o que afeta suas ferramentas e também as de todos.

O tráfego caiu após alterar algo aqui. Verifique quais grupos estão bloqueados. Se busca ou IA está desligada, essa é a causa, e ativá-lo novamente inicia a recuperação.

Um crawler que me importa não está listado. Os grupos cobrem os principais crawlers nomeados. Qualquer coisa não listada se enquadra na regra de permissão geral no topo do arquivo e não é bloqueada por esses comutadores.

Meu site não está sendo indexado e tudo está permitido aqui. Algo mais está bloqueando. Verifique se a proteção por senha em todo o site está ligada, se a filtragem de país está bloqueando a região do crawler, ou se o site está em um endereço compartilhado em vez de seu próprio domínio.

Páginas Relacionadas

• Site Traffic Analytics para ver qual é realmente o custo do tráfego de crawler em solicitações e largura de banda.
• Site Security para bloqueio de IP e outros controles de acesso reais.
• Country Blocking for a Site para filtragem baseada em geografia.
• Password-Protecting a Site para ocultar um site de tudo, crawlers inclusos.