scrapy-mcp
A headless web-scraping MCP server built on Scrapy, providing tools for polite fetching, CSS/XPath extraction, link/table extraction, sitemap and robots.txt reading, and bounded asynchronous crawls.
ブラウザ自動化
0 プラットフォーム
0 機能
インストール
uvx scrapy-mcp
上記の設定をMCPクライアントの設定ファイル（Claude Desktop は claude_desktop_config.json）に追記し、クライアントを再起動してください。
{
"mcpServers": {
"scrapy-mcp-scraper": {
"command": "uvx",
"args": [
"scrapy-mcp"
],
"env": {
"SCRAPY_MCP_JOB_DIR": "<SCRAPY_MCP_JOB_DIR>",
"SCRAPY_MCP_LOG_LEVEL": "<SCRAPY_MCP_LOG_LEVEL>",
"SCRAPY_MCP_MAX_BYTES": "<SCRAPY_MCP_MAX_BYTES>",
"SCRAPY_MCP_USER_AGENT": "<SCRAPY_MCP_USER_AGENT>",
"SCRAPY_MCP_OBEY_ROBOTS": "<SCRAPY_MCP_OBEY_ROBOTS>",
"SCRAPY_MCP_RETRY_TIMES": "<SCRAPY_MCP_RETRY_TIMES>",
"SCRAPY_MCP_AUTOTHROTTLE": "<SCRAPY_MCP_AUTOTHROTTLE>",
"SCRAPY_MCP_JOB_TTL_DAYS": "<SCRAPY_MCP_JOB_TTL_DAYS>"
}
}
}
}上記の設定をMCPクライアントの設定ファイル（Claude Desktop は claude_desktop_config.json）に追記し、クライアントを再起動してください。
出典：公開されているMCPサーバーカタログ。当サイトは独立した第三者ディレクトリであり、各MCPサーバーの提供元との提携や推奨関係はありません。
