Cred că am înțeles majoritatea lucrurilor pe care Horvath le-a făcut pentru a-și obține rezultatele pe care nu le-a explicat. O să explic folosind scorurile lui la matematică din clasa a 4-a. Am luat graficul lui și l-am digitalizat, ceea ce introduce o mică eroare pentru că rezoluția graficului era puțin mică. Cantitatea de eroare aici este mică. Apoi, am căutat programatic specificația lui. M-am apropiat destul de mult parcurgând posibilitățile. Am egalat panta și RMSE-ul meu pentru puncte era mic înainte de presupusul punct de inflexiune digital. După aceea, a fost puțin mai mare, pentru că nu e clar ce a făcut exact. Dar ca să ajung atât de aproape, a trebuit să: - Scorul în bin după 2 ani-eveniment în raport cu anii de inflexiune declarați - Exclude 2022 (pe care doar teoretic, dar nu statistic l-a justificat) - Tăierea celor mai exterioare containere ale Floridei - Folosirea timpului evenimentului ca x în loc de punctul mijlociu al binului Aceasta oferă panta exactă: 1,08 înainte de inflexiune digitală și -0,28 după. Dar dacă am anula toate deciziile arbitrare pe care a trebuit să le luăm ca să ajungem aici? Dacă folosim punctele de mijloc ale binului în loc de timpul mediu al evenimentului, trecem la 1,06/-0,27. Nu are un efect mare. Dacă includem containerele de stâlpi din Florida în pantă, ajungem la +1,08/-0,33. Dacă includem 2022, ajungem la +1,08/-0,76. Dacă includem Florida 1992/1996, obținem +1,08/-0,28. Dacă păstrăm N = 1 containere în loc să le eliminăm (ceea ce nu ar trebui să facem, pentru că sunt de încredere fiind stări întregi!), ajungem la +1,05/-0,25. Și dacă eliminăm punctele de mijloc și toate posturile, obținem +1,06/-0,33. Dacă combinăm aceste aspecte și realizăm cea mai rezonabilă analiză disponibilă având în vedere datele, obținem +1,04/+0,10, o reducere a pantei cu siguranță, dar la ce ne așteptam oricum? Dacă tendința prealabilă ar fi fost menținută, extrapolarea ar fi fost de 256,3 puncte, ceea ce este mai mare decât a obținut vreodată un stat individual. Pre-tendința de +1,08/an nu este un contrafactual plauzibil. Mai degrabă, este o tendință de recuperare din anii 1990-2000 care deja încetinea (uită-te puțin!) înainte ca vreun stat să adopte predarea digitală. Extrapolarea înainte și tratarea ca dovadă reală a unui gol sau a unei "pierderi" atribuie un efect plafon EdTech-ului. Mai mult, cheia reală a erorii lui Horvath este aceasta: S-a chinuit cu datele până a găsit un design care recapitulează doar tendințele naționale, indiferent de cauzalitate! 76% dintre state au ani de inflexiune în 2014-16, iar el a eliminat cele mai îndepărtate intrări (FL/TX), așa că concentrarea pe anul de inflexiune și media între state este aproape identică cu concentrarea pe 2015 și medie. Pre-tendința este îmbunătățirea națională a NAEP din anii 1990 până la mijlocul anilor 2010, iar post-tendința este stagnarea și declinul național, iar testele de permutare confirmă acest lucru: schimbarea aleatorie a anilor de inflexiune între state oferă același tipar! De fapt, Horvath a luat decizii care au garantat practic că rezultatul său va fi doar o reluare a tendințelor naționale, reducând puterea sa prin excluderea lui FL și TX și, în consecință, eliminarea a 36% din variația datelor de inflexiune. Aceasta nu este o analiză credibilă în niciun caz. Singura analiză cu adevărat credibilă este studiul de control sintetic al Floridei. Este singura analiză care identifică variația, deoarece Florida a adoptat în 2011, cu patru ani înaintea majorității țării. Iar Florida a *depășit* controlul său sintetic după adopție!...