robotstxt-ai-mcp
Analyze and generate robots.txt files with AI crawler awareness. Fetch any site's robots.txt, detect which AI bots (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) are blocked or allowed, and generate optimized robots.txt with toggle controls for 20+ AI crawlers.
検索とWebスクレイピング
0 プラットフォーム
0 機能
インストール
上記の設定をMCPクライアントの設定ファイル（Claude Desktop は claude_desktop_config.json）に追記し、クライアントを再起動してください。
設定例の記載はありません。リポジトリをご確認ください。
上記の設定をMCPクライアントの設定ファイル（Claude Desktop は claude_desktop_config.json）に追記し、クライアントを再起動してください。
出典：公開されているMCPサーバーカタログ。当サイトは独立した第三者ディレクトリであり、各MCPサーバーの提供元との提携や推奨関係はありません。
