AI 크롤러 및 검색 봇 제어하기

The Crawlers tab controls which automated visitors are allowed to index your site, grouped into search engines, AI answer engines, SEO tools, and social preview bots. This guide explains what each…

KPanel에서 AI 크롤러 및 검색 봇 제어

Crawlers 탭은 귀사 사이트를 인덱싱할 수 있는 자동화된 방문자를 제어하며, 검색 엔진, AI 답변 엔진, SEO 도구 및 소셜 미리보기 봇으로 그룹화됩니다. 이 가이드에서는 각 그룹이 하는 역할, Kapsule이 기본적으로 허용하는 것, 그리고 차단이 실제로 비용으로 발생하는 것을 설명합니다.

KPanel에서 크롤러 설정의 위치

KPanel에 로그인합니다.
왼쪽 사이드바에서 Websites을 클릭한 다음 사이트를 클릭합니다.
사이트의 탭 스트립에서 Performance를 연 다음 Crawlers를 엽니다.

직접 주소는 /websites/<site-id>/crawlers입니다.

KPanel의 사이트에 대한 크롤러 제어

이 페이지가 실제로 변경하는 것

그룹을 토글하면 귀사 사이트의 robots.txt 파일이 다시 작성됩니다. 해당 파일은 잘 작동하는 자동화된 방문자에게 보내는 공개 요청이며, 주요 크롤러는 이를 인정합니다.

두 가지 결과가 따르며, 둘 다 중요합니다.

요청일 뿐, 장벽이 아닙니다. robots.txt를 무시하는 크롤러는 이 페이지의 어떤 것도 영향을 받지 않습니다. 문제가 자신을 정직하게 식별하지 않는 것에 의한 스크래핑이면, 이것은 올바른 도구가 아닙니다. 대신 사이트의 Security 페이지에서 IP 블록 목록 또는 국가 필터링을 사용합니다. Site Security 및 Country Blocking for a Site를 참조하세요.

이미 인덱싱된 것이 아닌 크롤링을 제어합니다. 크롤러를 차단하면 향후 가져오기가 중지됩니다. 인덱스에 이미 있는 콘텐츠는 일반적으로 시간이 지남에 따라 제거되지만, 즉시 제거되지는 않습니다.

변경사항은 스위치를 토글하는 순간 저장됩니다. 페이지는 Saving을 표시한 다음 Saved, robots.txt updated를 표시합니다.

네 가지 그룹

검색 엔진. 일반 검색 결과의 배경이 되는 기존 크롤러: Googlebot, Bingbot, DuckDuckBot, Applebot, YandexBot입니다.

AI 검색 및 답변 엔진. AI 생성 답변 및 검색 개요에 귀사 콘텐츠를 포함하는 시스템용 크롤러: OpenAI의 GPTBot 및 OAI-SearchBot, Anthropic의 ClaudeBot 및 anthropic-ai, PerplexityBot, Google-Extended, Cohere, Meta, Diffbot입니다.

SEO 및 분석 도구. 사이트를 감시하는 데 사용되는 플랫폼의 크롤러: AhrefsBot, SemrushBot, MJ12bot, DotBot, Baiduspider입니다.

소셜 미디어 및 미리보기. 누군가 링크를 공유할 때 미리보기 카드를 가져오는 크롤러: Twitterbot, Facebook 미리보기 가져오기, LinkedInBot, Slackbot, Discordbot입니다.

각 그룹 카드는 소유자와 함께 여기에 있는 모든 크롤러를 나열하므로, 토글하기 전에 토글이 정확히 무엇을 포함하는지 볼 수 있습니다.

Kapsule의 기본값: AI 크롤러는 허용됨

모든 그룹은 AI 크롤러를 포함하여 기본적으로 허용되며, 이는 실수가 아닌 의도적인 입장입니다.

많은 호스팅 제공업체는 고객을 대신하여 AI 크롤러를 자동으로 차단합니다. 우리는 하지 않습니다. 왜냐하면 이것은 귀사의 트래픽이며 귀사의 결정이기 때문이고, 기본값이 귀사의 가시성을 비용으로 발생시키기 때문입니다. AI 검색 결과는 실제이고 증가하는 참조 소스입니다. AI 시스템이 읽을 수 없는 사이트는 해당 답변에 나타나지 않으므로, 해당 트래픽을 얻지 못합니다.

차단하려면 여기에 제어가 있습니다. 우리는 단순히 귀사에게 알리지 않고 귀사를 위해 그 선택을 하지 않을 것입니다.

각 그룹에 대한 결정

검색 엔진. 사이트가 진정 개인이 아닌 한 허용된 상태로 두십시오. 그 경우 어쨌든 암호 보호가 올바른 도구입니다. Password-Protecting a Site를 참조하세요.

AI 검색 및 답변 엔진. 이것이 페이지의 실제 결정입니다.

AI 답변에서 트래픽과 인용을 원하는 경우 허용하십시오. 이는 거의 모든 상업 사이트, 출판사 및 서비스 비즈니스의 경우입니다.

귀사 콘텐츠가 귀사의 제품이고 요약이 방문 이유를 제거하는 경우, 콘텐츠 재사용 방식에 대한 계약 또는 라이선스 제한이 있는 경우, 또는 AI 학습에 대한 의도적인 편집상의 선택을 한 경우 차단을 고려하십시오.

거래에 대해 정직하십시오. 차단은 귀사 사이트가 AI 생성 검색 개요 및 답변에서 사라지므로, 이론적 위험이 아닌 측정 가능한 손실된 트래픽입니다.

SEO 및 분석 도구. 차단하기에 가장 방어 가능한 그룹입니다. 이들은 직접 귀사에게 아무것도 제공하지 않습니다. 다른 사람들이 귀사 사이트를 감시할 수 있게 해주고, 큰 사이트에서 실제 크롤 로드를 추가할 수 있습니다. 차단하면 경쟁사의 연구 도구에서 귀사 사이트의 가시성이 떨어집니다. 일부는 이를 기능으로 간주합니다. 비용은 귀사 자신의 SEO 도구가 귀사 사이트에 대한 데이터도 잃을 수 있다는 것입니다.

소셜 미디어 및 미리보기. 링크 미리보기를 원하지 않는 한 허용된 상태로 두십시오. 이들을 차단하면 소셜 플랫폼 및 채팅 앱에서 공유된 귀사 사이트로의 링크가 제목, 설명 또는 이미지 없는 베어 URL로 나타나므로, 클릭률이 측정 가능하게 감소합니다.

한 번에 모든 AI 크롤러 차단

페이지 하단에는 위험 영역 카드 Block all AI crawlers가 있습니다. 한 번의 작업으로 AI 그룹의 모든 크롤러에 대해 disallow 규칙을 추가합니다.

클릭하면 먼저 확인을 요청하고, 확인은 결과를 명확하게 명시합니다. 귀사 사이트는 AI 검색 개요에서 사라지며, 이는 실제 트래픽 손실입니다.

이것은 보안 결정이 아닌 트래픽 결정입니다. AI 크롤러를 차단해도 귀사 콘텐츠가 복사되는 것을 보호하지 못합니다. 누구나 여전히 귀사 페이지를 읽을 수 있으며, 악의적인 행위자는 robots.txt를 명예롭게 여기지 않았을 것입니다. 어떤 것이든 안정적으로 수행하는 것은 AI 생성 답변에서 제거하는 것입니다. 그것이 귀사가 원하는 거래인지 확인하십시오.

작업은 되돌릴 수 있습니다. AI 그룹을 다시 켜면 다음 저장 시 disallow 규칙이 제거됩니다. 그 후 인덱스로 돌아가는 데 시간이 걸립니다.

이를 변경할 수 있는 사람

크롤러 설정을 변경하려면 사이트 쓰기 권한이 필요합니다. 읽기 전용 역할을 가지고 있으면 스위치가 비활성화되며, 마우스를 올리면 이유가 설명됩니다. 계정 소유자에게 변경을 요청하거나 역할을 조정하십시오.

문제 해결

그룹을 차단했지만 크롤러가 여전히 방문 중입니다. 잘 작동하는 크롤러는 모든 요청 전에 robots.txt를 다시 읽기보다는 주기적으로 다시 읽으므로 시간을 주십시오. 절대 멈추지 않으면 크롤러가 파일을 인정하지 않고 있으며 대신 액세스 제어가 필요합니다. Site Security를 참조하세요.

차단 후에도 검색 결과에 내 페이지가 여전히 있습니다. 차단은 향후 크롤링을 중지합니다. 기존 인덱스 항목은 시간이 지남에 따라 만료됩니다. 콘텐츠를 신속하게 제거하려면 검색 엔진 자체 제거 도구를 사용하십시오.

링크 미리보기가 더 이상 작동하지 않습니다. 소셜 그룹이 차단되었습니다. 다시 켜십시오.

내 SEO 도구에는 내 사이트에 대한 데이터가 없습니다. SEO 그룹이 차단되었으며, 이는 귀사의 도구뿐만 아니라 다른 모든 사람의 도구에도 영향을 미칩니다.

여기서 무언가를 변경한 후 트래픽이 떨어졌습니다. 어느 그룹이 차단되었는지 확인하십시오. 검색 또는 AI가 꺼져 있으면 그것이 원인이며, 다시 켜면 복구가 시작됩니다.

관심 있는 크롤러가 나열되지 않았습니다. 그룹은 주요 명명된 크롤러를 다룹니다. 나열되지 않은 모든 항목은 파일 맨 위의 일반 허용 규칙에 해당하며 이러한 토글에 의해 차단되지 않습니다.

내 사이트가 전혀 인덱싱되지 않고 있으며 여기에서 모든 것이 허용됩니다. 다른 것이 차단하고 있습니다. 전체 사이트 암호 보호가 켜져 있는지, 국가 필터링이 크롤러의 지역을 차단하는지, 또는 사이트가 귀사 자신의 도메인이 아닌 공유 주소에 있는지 확인하십시오.