الزحف على موقع إلكتروني كامل كان يستخدم: سكريبت بايثون. كاتب مسرحي أو سيلينيوم. تدوير الوكيل. منطق تحديد المعدل. معالجة الأخطاء. 3 ساعات من التصحيح لماذا أعادت الصفحة 47 403. الآن أصبح استدعاء API واحد. كل شركة ناشئة في مجال جمع الشبكات التي جمعت ملايين لحل هذه المشكلة أصبحت مجرد نقطة نهاية واحدة. كل مستقل يفرض 500 دولار على "استخراج بيانات الموقع" فقد نموذج عمله بالكامل بسبب أمر /crawl. HTML. ماركداون. JSON. اختر تنسيقك. لا نصوص. لا متصفح. لا صداع. صناعة جمع البيانات عبر الإنترنت بأكملها اختزرت فقط إلى سطر واحد من الكود. شخص ما سيستخدم هذا لاستنساخ مواقع كل منافس بحلول يوم الجمعة. 💀