katana-crawl

name katana-crawl description 使用 katana 进行 Web 爬虫和 URL 发现。当需要爬取目标网站的所有页面和端点、发现隐藏的 API 路径、JavaScript 中的端点、表单提取时使用。katana 是 ProjectDiscovery 出品的下一代爬虫框架，支持标准模式和 Headless 浏览器模式，能解析 JavaScript 发现动态端点。任何涉及 Web 爬虫、URL 发现、JS 端点提取、表单发现、站点地图的场景都应使用此技能 metadata {"tags":"katana,crawl,spider,爬虫,URL发现,JS解析,endpoint,表单,projectdiscovery,headless","category":"tool"} katana Web 爬虫方法论 katana 是 ProjectDiscovery 出品的下一代 Web 爬虫框架。核心优势： JavaScript 解析 （发现动态端点）+ Headless 模式 （渲染 SPA）+ 管道友好 + 表单自动填充 。 项目地址： https://github.com/projectdiscovery/katana Phase 1: 基本爬取 # 爬取单个目标（默认深度 3） katana -u http://target.com # 指定爬取深度 katana -u http://target.com -d 5 # 静默输出（只显示 URL） katana -u http://target.com -silent # 输出到文件 katana -u http://target.com -silent -o urls.txt Phase 2: JavaScript 解析（关键能力） 现代 Web 应用大量使用 JS 框架，传统爬虫无法发现 JS 中硬编码的 API 端点： # 启用 JS 端点解析（推荐始终开启） katana -u http://target.com -jc # 启用 jsluice 深度 JS 解析（更全面，内存消耗大） katana -u http://target.com -jsluice # Headless 模式（渲染页面后爬取，适合 SPA/React/Vue） katana -u http://target.com -headless # Headless + 使用系统 Chrome katana -u http://target.com -headless -system-chrome Phase 3: 批量爬取 # 从文件读取目标 katana -list urls.txt -silent # 从 stdin 管道 cat urls.txt | katana -silent # 配合其他工具 subfinder -d target.com -silent | httpx -silent | katana -silent -jc Phase 4: 输出过滤 # 只输出特定扩展名 katana -u http://target.com -em php,jsp,asp -silent # 排除静态资源 katana -u http://target.com -ef png,jpg,css,gif,svg,woff -silent # 正则匹配（只输出包含 api 的 URL） katana -u http://target.com -mr "api|admin|login" -silent # 正则过滤（排除包含 logout 的 URL） katana -u http://target.com -fr "logout|static" -silent # 提取表单元素 katana -u http://target.com -form-extraction -jsonl Phase 5: 范围控制 # 限制在同一域名内（默认行为） katana -u http://target.com # 显示外部端点（不爬取，只显示） katana -u http://target.com -display-out-scope # 自定义范围（正则） katana -u http://target.com -crawl-scope "target\.com|api\.target\.com" # 排除特定路径 katana -u http://target.com -crawl-out-scope "logout|signout" # 无范围限制（危险，慎用） katana -u http://target.com -no-scope Phase 6: 高级配置 # 限时爬取（比赛场景重要） katana -u http://target.com -crawl-duration 60s # 控制并发和速率 katana -u http://target.com -c 20 -rl 100 # 自定义 Header（带 Cookie 访问需要认证的页面） katana -u http://target.com -H "Cookie: session=abc123" # 使用代理 katana -u http://target.com -proxy http://127.0.0.1:8080 # JSONL 输出（包含完整请求信息） katana -u http://target.com -jsonl -o results.jsonl # 已知文件扫描（robots.txt, sitemap.xml） katana -u http://target.com -known-files all -d 3 # 技术检测 katana -u http://target.com -tech-detect # XHR 请求提取（Headless 模式） katana -u http://target.com -headless -xhr-extraction Phase 7: 管道集成 # 爬虫 → 漏洞扫描 katana -u http://target.com -jc -silent | nuclei -severity critical,high # 爬虫 → 筛选 JS 文件 → 敏感信息提取 katana -u http://target.com -jc -silent -em js | while read url; do curl -s " $url " | grep -iE "api_key|password|secret|token" done # 爬虫 → 参数提取 → SQLi 测试 katana -u http://target.com -jc -silent | grep "?" | sort -u > params.txt # 子域名 → 存活 → 爬虫 → 漏洞扫描（完整链） subfinder -d target.com -silent | httpx -silent | katana -jc -silent | nuclei 爬取策略选择 场景 策略 命令 快速发现（比赛） 浅爬 + JS katana -u URL -d 2 -jc -silent 全面爬取 深爬 + Headless katana -u URL -d 5 -headless -jc API 端点发现 JS 解析 + 过滤 katana -u URL -jc -em js,json -silent 认证后爬取 带 Cookie katana -u URL -H "Cookie: ..." -jc SPA 应用 Headless 必须 katana -u URL -headless -system-chrome