最近在开发圈很火的 GitHub 项目 Firecrawl, 一个专门给 AI 用的智能爬虫,已经 7万+ Star 了。 一句话总结: 它可以把任何网站,直接变成 AI 能用的数据。 只要给它一个 URL,它就会自动: - 抓取整站页面 - 清洗网页内容 - 解析结构信息 - 输出 Markdown / JSON 也就是说: 网站 → 结构化数据 → 直接喂给 LLM。 现在很多 AI 项目的数据流程其实都是: 网站 → Firecrawl → 向量库 → RAG → AI 应用 如果你在做: - AI Agent - RAG 知识库 - 自动化数据采集 这个工具基本算是 AI 开发的基础设施了