Ich *denke*, ich habe die meisten Dinge herausgefunden, die Horvath getan hat, um seine Ergebnisse zu erzielen, die er nicht erklärt hat. Ich werde es erklären, indem ich seine Mathematiknoten der 4. Klasse verwende. Ich habe sein Diagramm genommen und digitalisiert, was eine kleine Menge an Fehlern einführt, da die Auflösung seines Diagramms etwas niedrig war. Die Menge an Fehlern hier ist gering. Dann habe ich programmatisch nach seiner Spezifikation gesucht. Ich kam ziemlich nah heran, indem ich verschiedene Möglichkeiten durchging. Ich habe die Steigung angepasst und mein RMSE bei den Punkten war klein vor dem angeblichen digitalen Wendepunkt. Danach war es etwas größer, weil es weniger klar war, was er genau gemacht hat. Aber um so nah zu kommen, wie ich es getan habe, musste ich: - Noten nach 2-Jahres-Ereigniszeit relativ zu seinen angegebenen Wendepunkten gruppieren - 2022 ausschließen (was er nur theoretisch, aber nicht statistisch gerechtfertigt hat) - Die äußersten Gruppen von Florida ausschneiden - Ereigniszeit als x anstelle des Gruppenmittelpunkts verwenden Das liefert seine genaue Steigung: 1,08 vor dem digitalen Wendepunkt und -0,28 danach. Aber was wäre, wenn wir all die willkürlichen Entscheidungen, die wir treffen mussten, um hierher zu kommen, rückgängig machen? Wenn wir Gruppenmittelpunkte anstelle der durchschnittlichen Ereigniszeit verwenden, kommen wir auf 1,06/-0,27. Kein großer Effekt. Wenn wir die Gruppen von Florida nach den Wendepunkten in die Steigung einbeziehen, kommen wir auf +1,08/-0,33. Wenn wir 2022 einbeziehen, kommen wir auf +1,08/-0,76. Wenn wir Florida 1992/1996 einbeziehen, erhalten wir +1,08/-0,28. Wenn wir N = 1 Gruppen beibehalten, anstatt sie wegzulassen (was wir nicht tun sollten, da sie zuverlässig sind, da es ganze Bundesstaaten sind!), kommen wir auf +1,05/-0,25. Und wenn wir Gruppenmittelpunkte und alle nachfolgenden Gruppen verwenden, erhalten wir +1,06/-0,33. Wenn wir diese Dinge kombinieren und die sinnvollste Analyse durchführen, die uns die Daten bieten, erhalten wir +1,04/+0,10, eine Reduzierung der Steigung, das ist sicher, aber was haben wir sowieso erwartet? Wenn der Vortrend gehalten hätte, wäre die Extrapolation auf 256,3 Punkte hinausgelaufen, was höher ist als das, was jeder einzelne Bundesstaat jemals erzielt hat. Der Vortrend von +1,08/Jahr ist kein plausibles Gegenfaktum. Vielmehr ist es ein Aufholtrend aus den 1990er-2000er Jahren, der bereits abgebremst wurde (schau einfach!), bevor irgendein Bundesstaat digitales Lernen übernommen hat. Es vorwärts zu extrapolieren und das als echte Beweise für eine Lücke oder einen 'Verlust' zu behandeln, ist, als würde man einen Deckeneffekt auf EdTech attribuieren. Darüber hinaus ist der wahre Schlüssel zu Horvaths Fehler dies: Er hat mit seinen Daten herumgepfuscht, bis er ein Design fand, das einfach nationale Trends wiederholt, unabhängig von der Kausalität! 76% der Bundesstaaten haben Wendepunkte in den Jahren 2014-16, und er hat die entfernt, die am weitesten entfernt waren (FL/TX), sodass das Zentrieren auf dem Wendepunkt und das Mittelwerten über die Bundesstaaten nahezu identisch ist mit dem Zentrieren auf 2015 und dem Mittelwerten. Der Vortrend ist die nationale NAEP-Verbesserung von den 1990er Jahren bis zur Mitte der 2010er Jahre, und der Nachtrend ist die nationale Stagnation und der Rückgang, und die Permutationstests bestätigen dies: Das zufällige Mischen der Wendepunkte über die Bundesstaaten ergibt dasselbe Muster! Tatsächlich hat Horvath Entscheidungen getroffen, die effektiv garantierten, dass sein Ergebnis einfach nur eine Neuplotung der nationalen Trends sein würde, indem er seine Power durch den Ausschluss von FL und TX verringert hat, und die daraus resultierende Eliminierung von 36% der Varianz in den Wendepunkten. Dies ist keineswegs eine glaubwürdige Analyse. Die einzige wirklich glaubwürdige Analyse ist die synthetische Kontrollstudie von Florida. Es ist die einzige Analyse mit identifizierbarer Variation, weil Florida 2011 übernommen hat, vier Jahre bevor der Großteil der Nation. Und Florida *hat* seine synthetische Kontrolle nach der Übernahme übertroffen!...