Я *думаю* я зрозумів більшість того, що Горват робив, щоб отримати результати, але він не пояснив. Поясню, спираючись на його бали з математики за 4 клас. Я взяв його графік і оцифрував його, що призводить до невеликої кількості похибки, бо роздільна здатність графа була трохи низькою. Кількість помилок тут невелика. Потім я програмно шукав його специфікацію. Я був досить близько, перебираючи можливості. Я підібрав нахил, і мій RMSE за точками був малим до нібито цифрової точки перегину. Потім він став трохи більшим, бо менш зрозуміло, що саме він зробив. Але щоб наблизитися так близько, мені довелося: - Бін оцінює за 2-річним часом події відносно заявлених років перелому - Виключити 2022 рік (який він лише теоретично, але не статистично обґрунтовував) - Вирізати найвіддаленіші контейнери Флориди - Використовувати event time як x замість середини bin-у Це дає його точний нахил: 1,08 до цифрового згинання і -0,28 після. Але що, якщо ми скасуємо всі довільні рішення, які довелося використовувати, щоб дійти до цього? Якщо ми використовуємо середини біну замість середнього часу події, ми переходимо до 1.06/-0.27. Не великий ефект. Якщо включити поштові контейнери Флориди на схил, то до +1.08/-0.33. Якщо врахувати 2022 рік, то до +1.08/-0.76. Якщо врахувати Флориду 1992/1996, отримаємо +1,08/-0,28. Якщо залишити N = 1 bins замість того, щоб їх викидати (чого не слід робити, бо вони надійні, оскільки є цілими станами!), отримаємо +1.05/-0.25. А якщо ми відкинемо проміжні точки та всі постбінки, отримаємо +1.06/-0.33. Якщо поєднати ці показники і провести найрозумніший аналіз, доступний на основі даних, отримаємо +1.04/+0.10 — це зменшення нахилу, але чого ми взагалі очікували? Якби попередня тенденція збереглася, екстраполяція становила б 256,3 пункти, що вище, ніж будь-який окремий штат коли-небудь отримував. Претренд +1,08/рік не є правдоподібним контрфактом. Натомість це тенденція наздоганяти з 1990-х і 2000-х років, яка вже сповільнювалася (просто подивіться!) ще до того, як будь-який штат прийняв цифрове навчання. Екстраполяція цього вперед і розглядання як реальний доказ прогалини або «втрати» — це приписування ефекту стелі EdTech. Більше того, справжній ключ до помилки Горвата полягає в тому: Він незграбно перебирав свої дані, поки не знайшов дизайн, який просто повторює національні тенденції, незалежно від причинності! 76% штатів мають переломні роки у 2014-16, і він виключив найвіддаленіші записи (Флорида/Техас), тож зосередження на роках перелому та середнє між штатами майже ідентичне центруванню 2015 року та усередненню. Передтренд — це національне покращення NAEP з 1990-х до середини 2010-х, а посттренд — національний застій і занепад, і тести на перестановку це підтверджують: випадкове перетасування років між штатами дає однаковий патерн! Насправді Горват приймав рішення, які фактично гарантували, що його результат стане лише повторенням національних тенденцій, скоротивши його владу за рахунок виключення Флориди та Техасу, а також усунувши 36% варіації у датах перелому. Це жодним чином не є достовірним аналізом. Єдине справді достовірне дослідження — це дослідження синтетичного контролю у Флориді. Це єдиний аналіз, який ідентифікує варіації, оскільки Флорида прийняла її у 2011 році, за чотири роки раніше за більшість населення країни. А Флорида *перевершила* свій синтетичний контроль після прийняття цієї системи!...