Cloudflare 花了多年時間對抗爬蟲並銷售反機器人保護 現在他們推出了一個 /crawl API，可以用一次請求抓取整個網站 >發送一個 API 呼叫 >Cloudflare 為你渲染頁面 >以 HTML、Markdown 或 JSON 返回內容 >自動提取鏈接和頁面元素 >無需瀏覽器自動化，無需爬蟲腳本 這家公司建立了互聯網一半的反爬蟲基礎設施，現在讓爬蟲變得更簡單 AI 公司會喜歡這個