Controlando Rastreadores de IA y Bots de Búsqueda

La pestaña Crawlers controla qué visitantes automatizados pueden indexar tu sitio, agrupados en motores de búsqueda, motores de respuesta de IA, herramientas SEO y bots de vista previa social. Esta guía explica qué hace cada grupo, qué permite Kapsule de forma predeterminada y qué te cuesta realmente bloquear.

Dónde viven las configuraciones de rastreadores en KPanel

1. Inicia sesión en KPanel.
2. Haz clic en Websites en la barra lateral izquierda y luego haz clic en el sitio.
3. En la barra de pestañas del sitio, abre Performance y luego Crawlers.

La dirección directa es /websites/<site-id>/crawlers.

Qué cambia realmente esta página

Al activar o desactivar un grupo se reescribe el archivo robots.txt de tu sitio. Ese archivo es una solicitud publicada a visitantes automatizados bien comportados, y los rastreadores principales la respetan.

Hay dos consecuencias, y ambas importan.

Es una solicitud, no una barrera. Un rastreador que ignora robots.txt no se ve afectado por nada en esta página. Si tu problema es el scraping de algo que no se identifica honestamente, esta no es la herramienta correcta: usa la lista de bloqueo de IP o el filtrado por país en la página Security del sitio. Consulta Site Security y Country Blocking for a Site.

Controla el rastreo, no lo que ya está indexado. Bloquear un rastreador detiene futuras búsquedas. El contenido ya en un índice generalmente desaparece con el tiempo, pero no instantáneamente.

Los cambios se guardan en el momento en que activas un interruptor. La página muestra Saving y luego Saved, robots.txt updated.

Los cuatro grupos

Motores de búsqueda. Los rastreadores tradicionales detrás de resultados de búsqueda ordinarios: Googlebot, Bingbot, DuckDuckBot, Applebot y YandexBot.

Motores de búsqueda y respuesta de IA. Rastreadores para sistemas que incluyen tu contenido en respuestas generadas por IA y resúmenes de búsqueda: GPTBot y OAI-SearchBot de OpenAI, ClaudeBot y anthropic-ai de Anthropic, PerplexityBot, Google-Extended, Cohere, Meta y Diffbot.

Herramientas SEO y análisis. Rastreadores de plataformas utilizadas para auditar sitios: AhrefsBot, SemrushBot, MJ12bot, DotBot y Baiduspider.

Social media y vista previa. Rastreadores que obtienen una tarjeta de vista previa cuando alguien comparte un enlace: Twitterbot, el obtenedor de vista previa de Facebook, LinkedInBot, Slackbot y Discordbot.

Cada tarjeta de grupo enumera todos los rastreadores en ella, con su propietario, para que puedas ver exactamente qué cubre un interruptor antes de activarlo.

El valor predeterminado de Kapsule: Los rastreadores de IA están permitidos

Todos los grupos están permitidos de forma predeterminada, incluidos los rastreadores de IA, y es una posición deliberada en lugar de una omisión.

Varios proveedores de hosting bloquean silenciosamente los rastreadores de IA en nombre de sus clientes. Nosotros no, porque es tu tráfico y tu decisión, y porque el predeterminado te cuesta visibilidad. Los resultados de búsqueda de IA son una fuente real y creciente de referencias. Un sitio que los sistemas de IA no pueden leer no aparece en esas respuestas, lo que significa que no obtiene ese tráfico.

Si quieres bloquearlos, el control está aquí. Simplemente no haremos esa elección por ti sin decirte.

Decidiendo para cada grupo

Motores de búsqueda. Déjalo permitido a menos que el sitio sea genuinamente privado, en cuyo caso la protección con contraseña es de todas formas la herramienta correcta. Consulta Password-Protecting a Site.

Motores de búsqueda y respuesta de IA. Esta es la decisión real en la página.

Permítelos si quieres tráfico y citas de respuestas de IA, que es el caso para casi todos los sitios comerciales, editoriales y negocios de servicios.

Considera bloquearlos si tu contenido es tu producto y ser resumido elimina la razón para visitar, si tienes restricciones contractuales o de licencia sobre cómo se puede reutilizar el contenido, o si has hecho una elección editorial deliberada sobre el entrenamiento de IA.

Sé honesto sobre la compensación. Bloquear significa que tu sitio desaparece de los resúmenes y respuestas de búsqueda generados por IA, y eso es tráfico perdido medible, no un riesgo teórico.

Herramientas SEO y análisis. El grupo más defendible para bloquear. No te proporcionan nada directamente: permiten que otras personas auditen tu sitio, y pueden añadir carga de rastreo real en un sitio grande. Bloquearlos significa que tu sitio es menos visible en las herramientas de investigación de competidores, lo que algunos consideran una característica. El costo es que tu propia herramienta SEO también puede perder datos sobre tu sitio.

Social media y vista previa. Déjalo permitido a menos que nunca quieras vistas previas de enlaces. Bloquear estos significa que los enlaces a tu sitio compartidos en plataformas sociales y aplicaciones de chat aparecen como URLs desnudas sin título, descripción o imagen, lo que reduce mediblemente los clics.

Bloqueando todos los rastreadores de IA a la vez

En la parte inferior de la página hay una tarjeta de zona de peligro, Block all AI crawlers. Añade reglas de desallowance para todos los rastreadores en el grupo de IA en una sola acción.

Hacer clic en ella primero pide confirmación, y la confirmación establece la consecuencia claramente: tu sitio desaparecerá de los resúmenes de búsqueda de IA, y esto cuesta tráfico real.

La acción es reversible. Activa el grupo de IA de nuevo y las reglas de desallowance se eliminan en el siguiente guardado. Volver a entrar en un índice después toma tiempo.

Quién puede cambiar esto

Cambiar la configuración de rastreadores requiere permiso de escritura del sitio. Con un rol de solo lectura, los interruptores están deshabilitados, y pasar el cursor sobre uno explica por qué. Pide a un propietario de cuenta que haga el cambio o ajuste tu rol.

Solución de problemas

Bloqueé un grupo pero el rastreador sigue visitando. Los rastreadores bien comportados leen robots.txt periódicamente en lugar de antes de cada solicitud, así que ten paciencia. Si nunca se detiene, el rastreador no está respetando el archivo y necesitas un control de acceso en su lugar. Consulta Site Security.

Mis páginas siguen en resultados de búsqueda después de bloquear. Bloquear detiene futuro rastreo. Las entradas de índice existentes expiran con el tiempo. Para eliminar contenido rápidamente, usa la herramienta de eliminación del propio motor de búsqueda.

Las vistas previas de enlaces dejaron de funcionar. El grupo social está bloqueado. Actívalo de nuevo.

Mi herramienta SEO no tiene datos para mi sitio. El grupo SEO está bloqueado, lo que afecta tus herramientas así como las de todos los demás.

El tráfico bajó después de que cambié algo aquí. Comprueba qué grupos están bloqueados. Si búsqueda o IA están apagados, esa es la causa, y activarlos de nuevo inicia la recuperación.

Un rastreador que me importa no está listado. Los grupos cubren los principales rastreadores nombrados. Cualquier cosa no listada cae bajo la regla de allowance general en la parte superior del archivo y no está bloqueada por estos interruptores.

Mi sitio no está siendo indexado en absoluto y todo está permitido aquí. Otra cosa lo está bloqueando. Comprueba si la protección con contraseña de todo el sitio está activada, si el filtrado por país está bloqueando la región del rastreador, o si el sitio está en una dirección compartida en lugar de tu propio dominio.

Páginas relacionadas

• Site Traffic Analytics para ver qué te cuesta realmente el tráfico de rastreadores en solicitudes y ancho de banda.
• Site Security para bloqueo de IP y otros controles de acceso reales.
• Country Blocking for a Site para filtrado basado en geografía.
• Password-Protecting a Site para ocultar un sitio de todo, rastreadores incluidos.