Cloudflare 花了多年时间与爬虫作斗争并出售反机器人保护 现在他们推出了一个 /crawl API，可以通过一次请求抓取整个网站 >发送一个 API 调用 >Cloudflare 为你渲染页面 >以 HTML、Markdown 或 JSON 格式返回内容 >自动提取链接和页面元素 >无需浏览器自动化，无需抓取脚本 同一家公司构建了互联网一半的反抓取基础设施，现在让抓取变得更简单 AI 公司会喜欢这个