Saya *pikir* saya telah menemukan sebagian besar dari apa yang dilakukan Horvath untuk mendapatkan hasilnya yang tidak dia jelaskan. Saya akan menjelaskan dengan menggunakan nilai Matematika Kelas 4. Saya mengambil grafiknya dan mendigitalkannya, yang memperkenalkan sedikit kesalahan karena resolusi grafiknya agak rendah. Jumlah kesalahan di sini kecil. Kemudian, saya secara terprogram mencari spesifikasinya. Saya cukup dekat dengan bersepeda melalui kemungkinan. Saya mencocokkan kemiringan dan RMSE saya pada titik-titik kecil sebelum dugaan titik infleksi digital. Setelah itu, itu sedikit lebih besar, karena kurang jelas apa yang dia lakukan sebenarnya. Tetapi untuk sedekat yang saya lakukan, saya harus: - Skor bin dengan waktu peristiwa 2 tahun relatif terhadap tahun infleksi yang dinyatakannya - Kecualikan 2022 (yang hanya dia lakukan secara teoritis, tetapi tidak dibenarkan secara statistik) - Potong tempat sampah terluar Florida - Gunakan waktu acara sebagai x, bukan titik tengah bin Ini memberikan kemiringan yang tepat: 1,08 sebelum infleksi digital dan -0,28 setelahnya. Tetapi bagaimana jika kita membatalkan semua keputusan sewenang-wenang yang harus kita gunakan untuk sampai di sini? Jika kita menggunakan titik tengah bin alih-alih waktu peristiwa rata-rata, kita pindah ke 1,06/-0,27. Bukan efek besar. Jika kita menyertakan tempat sampah pos Florida di lereng, kita pergi ke +1.08/-0.33. Jika kita menyertakan 2022, kita akan pergi ke +1.08/-0.76. Jika kita memasukkan Florida 1992/1996, kita mendapatkan +1.08/-0.28. Jika kita menyimpan N = 1 tong sampah alih-alih menjatuhkannya (yang seharusnya tidak kita lakukan, karena mereka dapat diandalkan karena mereka adalah seluruh keadaan!), kita sampai ke +1,05/-0,25. Dan jika kita membuang titik tengah dan semua tempat sampah, kita mendapatkan +1,06/-0,33. Jika kita menggabungkan hal-hal ini dan melakukan analisis paling masuk akal yang tersedia bagi kita mengingat data, kita mendapatkan +1,04 / +0,10, pengurangan kemiringan pasti, tetapi apa yang kita harapkan? Jika pra-tren bertahan, ekstrapolasi akan menjadi 256,3 poin, yang lebih tinggi dari yang pernah dicetak oleh negara bagian mana pun. Pra-tren +1,08/tahun bukanlah kontrafaktual yang masuk akal. Sebaliknya, ini adalah tren mengejar ketinggalan dari tahun 1990-an-2000-an yang sudah melambat (lihat saja!) sebelum negara bagian mana pun mengadopsi pengajaran digital. Mengekstrapolasinya ke depan dan memperlakukannya sebagai bukti nyata dari kesenjangan atau 'kerugian' mengaitkan efek plafon dengan EdTech. Selain itu, kunci sebenarnya dari kesalahan Horvath adalah ini: Dia meraba-raba datanya sampai dia menemukan desain yang hanya merangkum tren nasional, terlepas dari kausalitasnya! 76% negara bagian memiliki tahun infleksi pada 2014-16, dan dia memotong entri terjauh (FL / TX), jadi berpusat pada tahun infleksi dan rata-rata lintas negara bagian hampir identik dengan berpusat pada 2015 dan rata-rata. Pra-tren adalah peningkatan NAEP nasional dari tahun 1990-an hingga pertengahan 2010-an, dan pasca-tren adalah stagnasi dan penurunan nasional, dan tes permutasi mengkonfirmasi hal ini: tahun infleksi yang dikocok secara acak di seluruh negara bagian memberikan pola yang sama! Faktanya, Horvath membuat keputusan yang secara efektif menjamin bahwa hasilnya hanya akan berakhir menjadi plot ulang tren nasional dengan mengurangi kekuasaannya dengan pengecualian FL dan TX, dan konsekuensinya penghapusan 36% dari varians dalam tanggal infleksi. Ini bukan analisis yang kredibel dengan cara apa pun. Satu-satunya analisis yang benar-benar kredibel adalah studi kontrol sintetis Florida. Ini adalah satu-satunya analisis dengan mengidentifikasi variasi karena Florida mengadopsi pada tahun 2011, empat tahun sebelum sebagian besar negara. Dan Florida *mengungguli* kontrol sintetisnya pasca-adopsi!...