Представляем новый /crawl конечный пункт - один вызов API и весь сайт проиндексирован. Без скриптов. Без управления браузером. Только контент в HTML, Markdown или JSON.