爬取整个网站曾经需要: 一个 Python 脚本。 Playwright 或 Selenium。 代理轮换。 速率限制逻辑。 错误处理。 3 小时调试为什么第 47 页返回 403。 现在只需一个 API 调用。 每个为解决这个问题而筹集数百万的网络爬虫初创公司现在都变成了一个单一的端点。 每个收费 500 美元来“提取网站数据”的自由职业者现在都失去了他们的整个商业模式,只剩下一个 /crawl 命令。 HTML。Markdown。JSON。选择你的格式。没有脚本。没有浏览器。没有头疼。 整个网络爬虫行业现在只剩下一行代码。 有人会利用这个在周五之前克隆每个竞争对手的网站。💀