cloudflare потратил годы на борьбу с краулерами и продажу защиты от ботов теперь они запустили API /crawl, который может сканировать весь сайт одним запросом >отправьте один вызов API >cloudflare рендерит страницу для вас >возвращает контент в формате HTML, Markdown или JSON >автоматически извлекает ссылки и элементы страницы >без автоматизации браузера, без скриптов для сканирования Та же компания, которая построила половину инфраструктуры защиты от сканирования в интернете, только что упростила процесс сканирования AI-компании это точно понравится