*Creo* que he descubierto la mayoría de lo que Horvath hizo para obtener sus resultados que no explicó. Te lo explicaré usando sus notas de Matemáticas de 4º de Primaria. Cogí su gráfico y lo digitalizé, lo que introduce un pequeño error porque la resolución de su gráfico era un poco baja. La cantidad de error aquí es pequeña. Luego, busqué programáticamente su especificación. Me acerqué bastante yendo alternando entre posibilidades. Igualé la pendiente y mi RMSE en los puntos era pequeño antes del supuesto punto de inflexión digital. Después, fue un poco más grande, porque no está tan claro qué hizo exactamente. Pero para acercarme tanto, tuve que: - Puntuación de la caja según el tiempo de evento de 2 años en relación con sus años de inflexión declarados - Excluir 2022 (que solo teóricamente, pero no estadísticamente justificó) - Cortar los contenedores más alejados de Florida - Usar el tiempo de evento como x en lugar de punto medio de bin Esto da su pendiente exacta: 1,08 antes de la inflexión digital y -0,28 después. Pero, ¿y si deshacemos todas las decisiones arbitrarias que tuvimos que tomar para llegar hasta aquí? Si usamos puntos medios de bin en lugar de tiempo medio de evento, pasamos a 1,06/-0,27. No es un gran efecto. Si incluimos los contenedores de postes de Florida en la pendiente, llegamos a +1,08/-0,33. Si incluimos 2022, pasamos a +1,08/-0,76. Si incluimos Florida 1992/1996, obtenemos +1,08/-0,28. Si mantenemos N = 1 contenedores en vez de eliminarlos (lo cual no deberíamos hacer, porque son fiables ya que son estados completos), llegamos a +1,05/-0,25. Y si descartamos los puntos medios y todos los contenedores de postes, obtenemos +1,06/-0,33. Si combinamos estas cosas y realizamos el análisis más sensato disponible según los datos, obtenemos +1,04/+0,10, una reducción de pendiente sin duda, pero ¿qué esperábamos? Si la tendencia previa se hubiera mantenido, la extrapolación sería de 256,3 puntos, que es más de lo que cualquier estado individual ha conseguido jamás. La tendencia previa de +1,08/año no es un contrafactual plausible. Más bien, es una tendencia de repaso de los años 90 a 2000 que ya estaba desacelerándose (¡mira!) antes de que ningún estado adoptara la enseñanza digital. Extrapolarlo hacia adelante y tratarlo como evidencia real de una brecha o una 'pérdida' es atribuir un efecto techo a EdTech. Además, la verdadera clave del error de Horvath es esta: Trasteó con sus datos hasta que encontró un diseño que simplemente recapitula las tendencias nacionales, ¡independientemente de la causalidad! El 76% de los estados tienen años de inflexión en 2014-16, y él eliminó las entradas más alejadas (FL/TX), por lo que centrarse en el año de inflexión y promediar entre estados es casi idéntico a centrarse en 2015 y promediar. La pre-tendencia es la mejora nacional del NAEP desde los años 90 hasta mediados de los 2010, y la post-tendencia es el estancamiento y el declive nacional, y las pruebas de permutación lo confirman: ¡el desplazamiento aleatorio de los años de inflexión entre estados da el mismo patrón! De hecho, Horvath tomó decisiones que garantizaban efectivamente que su resultado acabaría siendo solo una repetición de las tendencias nacionales al reducir su poder excluyendo FL y TX, y la consecuente eliminación del 36% de la variación en las fechas de inflexión. Esto no es un análisis creíble en absoluto. El único análisis realmente creíble es el estudio de control sintético de Florida. Es el único análisis que identifica variaciones porque Florida adoptó en 2011, cuatro años antes que la mayor parte del país. ¡Y Florida *superó* su control sintético tras la adopción!...