web-to-markdown

name web-to-markdown description 网页转 Markdown - 抓取任意网页正文并转成干净的 Markdown，便于阅读/收藏/二次创作 metadata {"openclaw":{"emoji":"🔗"}} 网页转 Markdown 把用户给的网页链接抓下来，提取正文，转成干净的 Markdown，方便保存、总结或二次创作。 能力概述 正文提取 ：去掉导航/广告/页脚，只留主体内容 转 Markdown ：标题、列表、链接、代码块保留结构 保存 ：可写入本地 .md 文件 操作方式 用 Bash 工具。首选 jina.ai 的免费 reader（无需依赖，最省事）： # 最简：jina reader 直接返回干净 Markdown（在链接前加 https://r.jina.ai/） curl -s "https://r.jina.ai/https://example.com/article" -o article.md echo "已保存 -> article.md" ; head -40 article.md 离线或 jina 不可用时，用 Python 本地转换： python -c "import markdownify,requests" 2>/dev/null || pip install -q markdownify requests beautifulsoup4 python - << 'PY' import requests, re from bs4 import BeautifulSoup from markdownify import markdownify as md url = "https://example.com/article" html = requests.get(url, timeout =15, headers={ "User-Agent" : "Mozilla/5.0" }).text soup = BeautifulSoup(html, "html.parser" ) for t in soup([ "script" , "style" , "nav" , "footer" , "aside" ]): t.decompose() body = soup.find( "article" ) or soup.find( "main" ) or soup.body out = md(str(body), heading_style= "ATX" ) out = re.sub(r "\n{3,}" , "\n\n" , out).strip() open( "article.md" , "w" ,encoding= "utf-8" ).write(out) print ( "已保存 -> article.md，" , len(out), "字" ) PY 使用建议 先问用户要不要保存到文件、文件名 微信公众号/知乎等需要登录的页面可能抓取受限，如失败如实告知 抓取后可顺手做"总结要点"，结合 china-search / deepseek-helper 技能