Cloudflare yıllarca scraperlarla savaştı ve anti-bot koruması sattı şimdi ise bir istekle tüm web sitesini kazayabilen /crawl API'si başlattılar >tek bir API çağrısı gönder >cloudflare sayfayı sizin için render eder >içeriği HTML, Markdown veya JSON olarak döndürür >bağlantıları ve sayfa öğelerini otomatik olarak çıkarır >tarayıcı otomasyonu yok, scraping scripti yok İnternetin kazıma karşıtı altyapısının yarısını inşa eden aynı şirket, kazımayı daha kolay hale getirdi Yapay zeka şirketleri buna bayılacak