Sanırım Horvath'ın açıklamadığı sonuçları almak için yaptığı çoğu şeyi çözdüm. Bunu 4. sınıf Matematik puanlarıyla açıklayacağım. Grafiğini aldım ve dijitalleştirdim, bu da grafiğinin çözünürlüğü biraz düşükken küçük bir hata yarattı. Buradaki hata miktarı çok az. Sonra, onun teknik özelliklerini programatik olarak aradım. Olasılıkları dolaşarak oldukça yaklaştım. Eğimi eşleştirdim ve RMSE'm iddia edilen dijital dönüş noktasından önce küçüktü. Sonrasında biraz daha büyüktü, çünkü tam olarak ne yaptığı daha az belirsizdi. Ama bu kadar yaklaşmak için şunu yapmam gerekiyordu: - Bin, belirttiği dönüş yıllarına göre 2 yıllık etkinlik süresiyle puan alıyor - 2022'yi hariç tuttu (ki bunu sadece teorik olarak gerekçelendirdi, ancak istatistiksel olarak haklı çıkarmadı) - Florida'nın en dıştaki kutularını kesin - Olay zamanını bin ortası yerine x olarak kullanın Bu da onun tam eğimini sağlıyor: dijital tonlama öncesi 1.08 ve sonrasında -0.28. Ama ya buraya gelmek için kullanmak zorunda kaldığımız tüm keyfi kararları geri alırsak? Ortalama olay zamanı yerine bin orta noktalarını kullanırsak, 1.06/-0.27'ye geçeriz. Büyük bir etki değil. Florida post bin'lerini eğime dahil edersek, +1.08/-0.33 olur. 2022'yi de dahil edersek, +1.08/-0.76 olur. Florida 1992/1996'yı da dahil edersek, +1.08/-0.28 alırız. N = 1 bin'i bırakmak yerine (ki bunu yapmamalıyız, çünkü tam durum oldukları için güvenilirler!), +1.05/-0.25'e ulaşırız. Ve eğer orta noktaları ve tüm post binlerini binlersek, +1.06/-0.33 alırız. Bunları birleştirip veriler verilmiş en mantıklı analizi yaparsak, +1.04/+0.10 alırız, bu kesinlikle eğim azalması, ama zaten ne bekliyorduk ki? Eğer ön eğilim devam etseydi, ekstrapolasyon 256,3 puana ulaşırdı ki bu da herhangi bir eyaletin şimdiye kadar puan aldığından daha yüksektir. Yıllık +1.08 öncesi trend makul bir karşıt durum değildir. Bunun yerine, 1990'lar ile 2000'ler arasında dijital eğitimi benimsemeden önce zaten yavaşlayan bir yakalama trendi (bakın!). Bunu ileriye doğru çıkarıp bunu bir boşluk ya da 'kayıp'ın gerçek kanıtı olarak görmek, EdTech'e tavan etkisi atfeder. Ayrıca, Horvath'ın hatasının gerçek anahtarı şudur: Verileriyle uğraştı ve nedenselliğe bakılmaksızın ulusal eğilimleri özetleyen bir tasarım buldu! 2014-16 yıllarında eyaletlerin %76'sında dönüş yılı var ve en uzak girişleri (FL/TX) çıkardı, bu yüzden dönüş yılına odaklanmak ve eyaletler arası ortalamaya odaklanmak, 2015'e odaklanıp ortalama almakla neredeyse aynı. Ön trend, 1990'lardan 2010'ların ortalarına kadar ulusal NAEP iyileşmesi, sonrakı trend ise ulusal durgunluk ve düşüş ve permütasyon testleri bunu doğruluyor: eyaletler arasında rastgele dönüşüm yılları aynı deseni veriyor! Aslında, Horvath, FL ve TX'i hariç tutarak gücünü azaltarak ve bunun sonucunda dönüş tarihlerindeki %36'nın farkını ortadan kaldırarak sonucunun ulusal eğilimlerin tekrarı olacağını fiilen garanti eden kararlar aldı. Bu kesinlikle güvenilir bir analiz değil. Gerçekten güvenilir tek analiz Florida'nın sentetik kontrol çalışmasıdır. Florida'nın 2011'de, ülkenin büyük bir kısmından dört yıl önce, varyasyonu tespit eden tek analiz bu. Ve Florida, benimsendikten sonra sentetik kontrolü *geride* geçti!...