Je *pense* avoir compris la plupart des choses que Horvath a faites pour obtenir ses résultats qu'il n'a pas expliqués. Je vais expliquer en utilisant ses scores de Mathématiques de 4e année. J'ai pris son graphique et je l'ai numérisé, ce qui introduit une petite quantité d'erreur car la résolution de son graphique était un peu basse. La quantité d'erreur ici est faible. Ensuite, j'ai recherché programmatique son spécification. Je me suis rapproché en parcourant les possibilités. J'ai égalé la pente et mon RMSE sur les points était faible avant le prétendu point d'inflexion numérique. Après, il était un peu plus grand, car il est moins clair ce qu'il a fait exactement. Mais pour me rapprocher autant que je l'ai fait, j'ai dû : - Regrouper les scores par temps d'événement de 2 ans par rapport à ses années d'inflexion déclarées - Exclure 2022 (ce qu'il a seulement théoriquement, mais pas statistiquement justifié) - Couper les groupes les plus extérieurs de la Floride - Utiliser le temps d'événement comme x au lieu du point médian du groupe Cela donne sa pente exacte : 1,08 avant l'inflexion numérique et -0,28 après. Mais que se passerait-il si nous annulions toutes les décisions arbitraires que nous avons dû utiliser pour arriver ici ? Si nous utilisons les points médians des groupes au lieu du temps d'événement moyen, nous passons à 1,06/-0,27. Pas un grand effet. Si nous incluons les groupes postérieurs de la Floride dans la pente, nous passons à +1,08/-0,33. Si nous incluons 2022, nous passons à +1,08/-0,76. Si nous incluons la Floride 1992/1996, nous obtenons +1,08/-0,28. Si nous gardons des groupes N = 1 au lieu de les supprimer (ce que nous ne devrions pas faire, car ils sont fiables puisqu'ils représentent des états entiers !), nous arrivons à +1,05/-0,25. Et si nous utilisons les points médians des groupes et tous les groupes postérieurs, nous obtenons +1,06/-0,33. Si nous combinons ces éléments et menons l'analyse la plus sensée disponible pour nous compte tenu des données, nous obtenons +1,04/+0,10, une réduction de la pente c'est sûr, mais qu'attendions-nous de toute façon ? Si la pré-tendance avait tenu, l'extrapolation serait de 256,3 points, ce qui est plus élevé que n'importe quel état n'a jamais obtenu. La pré-tendance de +1,08/an n'est pas un contre-factuel plausible. Au contraire, c'est une tendance de rattrapage des années 1990-2000 qui était déjà en décélération (regardez simplement !) avant que n'importe quel état n'ait adopté l'enseignement numérique. L'extrapoler vers l'avant et traiter cela comme une véritable preuve d'un écart ou d'une 'perte' attribue un effet plafond à l'EdTech. De plus, la véritable clé de l'erreur de Horvath est la suivante : Il a tâtonné avec ses données jusqu'à ce qu'il trouve un design qui ne fait que récapituler les tendances nationales, indépendamment de la causalité ! 76 % des états ont des années d'inflexion en 2014-16, et il a coupé les entrées les plus éloignées (FL/TX), donc centrer sur l'année d'inflexion et faire la moyenne entre les états est presque identique à centrer sur 2015 et faire la moyenne. La pré-tendance est l'amélioration nationale du NAEP des années 1990 jusqu'au milieu des années 2010, et la post-tendance est la stagnation et le déclin national, et les tests de permutation le confirment : mélanger aléatoirement les années d'inflexion entre les états donne le même schéma ! En fait, Horvath a pris des décisions qui garantissaient effectivement que son résultat ne serait qu'un replanning des tendances nationales en réduisant sa puissance avec l'exclusion de la Floride et du Texas, et l'élimination conséquente de 36 % de la variance dans les dates d'inflexion. Ce n'est pas une analyse crédible par aucun moyen. La seule analyse vraiment crédible est l'étude de contrôle synthétique de la Floride. C'est la seule analyse avec une variation identifiante car la Floride a adopté en 2011, quatre ans avant la majorité du pays. Et la Floride *a surpassé* son contrôle synthétique après l'adoption !...