Tag: web-scraping

All the articles with the tag "web-scraping".

• 折腾 Firecrawl：把网页变成 LLM 能吃的格式

  2026年1月7日

  想把网页喂给 LLM 做 RAG？curl 一堆 CSS/JS，正文混在里面根本没法用；Playwright 又太重，杀鸡用牛刀。Firecrawl 专为 AI 场景设计：给它 URL，返回干净的 Markdown——JS 渲染、反爬绕过、广告过滤、正文提取它全包了。免费版 500 积分/月，个人学习够用。本文实测抓 AgentScope Java 文档，对比效果明显，附 /scrape、/crawl、/map 三种 API 用法和避坑指南。