業界標準に従い、Anthropicはモデル開発のためにパブリックウェブからデータを収集し、ウェブを検索し、ユーザーの指示に従ってウェブコンテンツを取得するために、様々なロボットを使用しています。Anthropicは、ウェブサイト所有者の透明性と選択を可能にするために、異なるロボットを使用しています。以下は、Anthropicが使用する3つのロボットに関する情報と、あなたのコンテンツにアクセスさせたいものを有効にし、そうでないものを制限するためのサイト設定の方法です。
ボット
|
用途
|
無効にした場合の影響
|
ClaudeBot
|
ClaudeBotは、トレーニングに貢献する可能性のあるウェブコンテンツを収集することで、生成AIモデルの有用性と安全性の向上を支援します。
|
サイトがClaudeBotのアクセスを制限すると、そのサイトの将来の素材がAIモデルのトレーニングデータセットから除外されることを示します。
|
Claude-User
|
Claude-UserはClaude AIユーザーをサポートします。個人がClaudeに質問をする際、Claude-Userエージェントを使用してウェブサイトにアクセスする場合があります。
|
Claude-Userにより、サイト所有者はこれらのユーザー主導のリクエストを通じてアクセス可能なサイトを制御できます。あなたのサイトでClaude-Userを無効にすると、ユーザークエリに応答してコンテンツを取得することができなくなり、ユーザー指示によるウェブ検索でのサイトの可視性が低下する可能性があります。
|
Claude-SearchBot
|
Claude-SearchBotは、ユーザーの検索結果の品質を向上させるためにウェブをナビゲートします。検索応答の関連性と精度を向上させるために、オンラインコンテンツを具体的に分析します。
|
あなたのサイトでClaude-SearchBotを無効にすると、検索最適化のためのコンテンツのインデックス化ができなくなり、ユーザー検索結果でのサイトの可視性と精度が低下する可能性があります。
|
安全で信頼性の高いフロンティアシステムを構築し、責任あるAI開発分野を前進させるという使命の一環として、データ収集の原則と今後のクローリングをオプトアウトする方法を共有しています：
データ収集は透明であるべきです。Anthropicは上記のボットを使用してウェブコンテンツにアクセスします。
クローリングは侵入的または破壊的であってはなりません。同じドメインをクローリングする速度について慎重に考慮し、適切な場合はCrawl-delayを尊重することで、最小限の混乱を目指しています。
Anthropicのボットは、robots.txtの業界標準指令を尊重することで「クローリング禁止」シグナルを尊重します。
Anthropicのボットは回避防止技術を尊重します（例：クローリングするサイトのCAPTCHAを回避しようとしません）。
クローリング活動を制限するために、robots.txtの非標準Crawl-delay拡張をサポートしています。この例は次のようになります：
User-agent: ClaudeBot
Crawl-delay: 1
ウェブサイト全体からボットをブロックするには、トップレベルディレクトリのrobots.txtファイルにこれを追加してください。オプトアウトしたいすべてのサブドメインについてこれを行ってください。この例は次のとおりです：
User-agent: ClaudeBot
Disallow: /
Anthropicボットによるクローリングをオプトアウトするには、上記の方法でrobots.txtファイルを変更する必要があります。Anthropicボットが動作するIPアドレスをブロックするなどの代替方法は、robots.txtファイルを読む能力を妨げるため、正しく動作しないか、持続的にオプトアウトを保証しない可能性があります。さらに、サービスプロバイダーのパブリックIPを使用しているため、現在IPレンジを公開していません。これは将来変更される可能性があります。
データ処理の実践とコミットメントについて詳しくは、ヘルプセンターをご覧ください。さらにご質問がある場合、またはボットが誤動作していると思われる場合は、claudebot@anthropic.comまでご連絡ください。お問い合わせいただくドメインを含むメールアドレスからご連絡ください。そうでなければ報告を確認することが困難です。