AI クローラーと検索ボットの制御

The Crawlers tab controls which automated visitors are allowed to index your site, grouped into search engines, AI answer engines, SEO tools, and social preview bots. This guide explains what each…

KPanel の AI クローラーと検索ボット設定

Crawlers タブは、サイトをインデックスしようとする自動訪問者を制御します。検索エンジン、AI 回答エンジン、SEO ツール、ソーシャルプレビューボットの 4 グループに分類されています。このガイドでは、各グループの機能、Kapsule のデフォルト設定、ブロックの実際のコストについて説明します。

KPanel でのクローラー設定の場所

KPanel にサインインします。
左側のサイドバーで Websites をクリックし、サイトをクリックします。
サイトのタブストリップで Performance を開き、次に Crawlers を開きます。

直接アドレスは /websites/<site-id>/crawlers です。

KPanel でのサイト用クローラーコントロール

このページが実際に変更する内容

グループを切り替えると、サイトの robots.txt ファイルが書き換わります。このファイルは、適切に動作する自動訪問者への公開リクエストであり、主要なクローラーはこれを遵守しています。

2 つの結果が生じます。両方とも重要です。

リクエストであり、壁ではありません。 robots.txt を無視するクローラーは、このページの設定の影響を受けません。正直に自分を特定しないものによるスクレイピングが問題の場合、これは正しいツールではありません。代わりにサイトの Security ページで IP ブロックリストまたは国フィルタリングを使用してください。Site Security と Country Blocking for a Site を参照してください。

クローリングを制御し、既にインデックスされたコンテンツは制御しません。 クローラーをブロックすると、将来のフェッチが停止します。インデックスに既に存在するコンテンツは通常時間とともに削除されますが、即座ではありません。

変更はスイッチを切り替えた時点で保存されます。ページには Saving と表示され、その後 Saved, robots.txt updated と表示されます。

4 つのグループ

検索エンジン。 通常の検索結果の背後にある従来のクローラー: Googlebot、Bingbot、DuckDuckBot、Applebot、YandexBot。

AI 検索および回答エンジン。 AI 生成回答と検索概要にコンテンツを含めるシステム用クローラー: OpenAI の GPTBot および OAI-SearchBot、Anthropic の ClaudeBot および anthropic-ai、PerplexityBot、Google-Extended、Cohere、Meta、Diffbot。

SEO および分析ツール。 サイト監査に使用されるプラットフォームからのクローラー: AhrefsBot、SemrushBot、MJ12bot、DotBot、Baiduspider。

ソーシャルメディアおよびプレビュー。 誰かがリンクを共有するとプレビューカードをフェッチするクローラー: Twitterbot、Facebook プレビューフェッチャー、LinkedInBot、Slackbot、Discordbot。

各グループカードには、その中のすべてのクローラーと所有者がリストされているため、切り替える前に確認できます。

Kapsule のデフォルト: AI クローラーは許可されています

すべてのグループがデフォルトで許可されています。AI クローラーも含まれており、これは見落としではなく意図的な判断です。

多くのホストは顧客に代わって AI クローラーを静かにブロックしています。KapsuleHost は異なります。これはあなたのトラフィックとあなたの判断であること、そしてデフォルトはあなたの可視性にコストをかけるためです。AI 検索結果は実在する成長しているリファレルの出所です。AI システムが読み取ることができないサイトはこれらの回答に表示されないため、そのトラフィックを失います。

ブロックしたい場合は、このコントロールをここで使用できます。KapsuleHost は単にあなたに知らせずにこの選択をしません。

各グループの判断

検索エンジン。 サイトが真に個人的である場合を除き、許可のままにしてください。その場合、パスワード保護が正しいツールです。Password-Protecting a Site を参照してください。

AI 検索および回答エンジン。 これがページ上の実際の判断です。

ほぼすべての商用サイト、パブリッシャー、およびサービス企業に当てはまる AI 回答からのトラフィックと引用が必要な場合は、許可してください。

コンテンツが製品であり、要約されることが訪問の理由を削除する場合、コンテンツの再利用方法に関する契約上またはライセンスの制限がある場合、または AI トレーニングについて意識的な編集上の選択をした場合は、ブロックを検討してください。

トレードオフについて正直になってください。ブロックすることは、サイトが AI 生成の検索概要と回答から消える、つまり測定可能な失われたトラフィック、理論上のリスクではないことを意味します。

SEO および分析ツール。 ブロックするための最も防御可能なグループ。これらはあなたに直接何も提供しません。他の人がサイトを監査できるようにし、大規模サイトで実際のクロール負荷を追加できます。これらをブロックすると、競合企業の調査ツールでサイトの可視性が低下します。これは機能と見なされることもあります。コストは、サイト自体の SEO ツール機能がサイトに関するデータも失う可能性があることです。

ソーシャルメディアおよびプレビュー。 リンクプレビューが不要な場合を除き、許可のままにしてください。これらをブロックすると、ソーシャルプラットフォームやチャットアプリで共有されたサイトへのリンクが、タイトル、説明、画像なしのベア URL として表示されます。これにより、クリック率が著しく低下します。

すべての AI クローラーを一度にブロック

ページの下部に危険ゾーンカードがあります: Block all AI crawlers。1 つのアクションで AI グループのすべてのクローラーに対して disallow ルールを追加します。

クリックすると最初に確認が要求され、確認では結果が明確に述べられています: サイトが AI 検索概要から消えるため、実際のトラフィックが失われます。

これはセキュリティ判断ではなく、トラフィック判断です。AI クローラーをブロックしてもコンテンツがコピーされるのを防ぎません。誰でもページを読むことはできますし、悪質な行為者は robots.txt を遵守することはありませんでした。信頼できるのは AI 生成回答から削除されることです。それがあなたが望むトレードオフであることを確認してください。

このアクションは取り消し可能です。AI グループを再度オンにすると、次の保存で disallow ルールが削除されます。その後、インデックスに戻るには時間がかかります。

これを変更できるのは誰ですか

クローラー設定の変更にはサイト書き込み権限が必要です。読み取り専用ロールの場合、スイッチは無効です。スイッチにマウスホバーすると理由が表示されます。アカウント所有者に変更を依頼するか、ロールを調整してください。

トラブルシューティング

グループをブロックしましたが、クローラーはまだ訪問しています。 適切に動作するクローラーは robots.txt を定期的に再読み込みするため、各リクエストの前ではなく時間をかけてください。停止しない場合、クローラーはファイルを遵守しておらず、アクセス制御が必要です。Site Security を参照してください。

ブロック後もページが検索結果に表示されています。 ブロックは将来のクローリングを停止します。既存のインデックスエントリは時間とともに有効期限切れになります。コンテンツを迅速に削除するには、検索エンジン独自の削除ツールを使用してください。

リンクプレビューが機能しなくなりました。 ソーシャルグループがブロックされています。再度オンにしてください。

SEO ツールにサイトのデータがありません。 SEO グループがブロックされており、これは他のすべての人のツールと同様にあなたのツールにも影響します。

ここで何かを変更した後、トラフィックが低下しました。 どのグループがブロックされているかを確認してください。検索または AI がオフの場合、これが原因です。再度オンにすると回復が始まります。

気になるクローラーがリストに含まれていません。 グループは主要な名前付きクローラーをカバーしています。リストに含まれていないもの、つまり定義上に基づいています。ファイルの上部の一般的な許可ルールに該当し、これらの切り替えによってはブロックされません。

サイトが全くインデックスされておらず、ここではすべてが許可されています。 別のものがそれをブロックしています。サイト全体のパスワード保護がオンになっているか、国フィルタリングがクローラーのリージョンをブロックしているか、またはサイトが独自ドメインではなく共有アドレスにあるかを確認してください。