Um amigo viu meu sucesso com a cirurgia a laser nos olhos e recomendou para um amigo Ele estava ferido Ele surtou quando o cirurgião colocou as colírias, tentou sair do assento reflexivamente e bateu o olho no sistema de laser Não foi exatamente culpa do LASIK, mas ele ainda assim se machucou!

Eu *acho* que descobri a maior parte do que Horvath fez para obter seus resultados que ele não explicou. Vou explicar usando as notas dele em Matemática do 4º ano. Peguei o gráfico dele e digitalizei, o que gera um pequeno erro porque a resolução do gráfico estava um pouco baixa. O erro aqui é pequeno. Depois, procurei programaticamente a especificação dele. Cheguei bem perto ao alternar entre as possibilidades. Igualei a inclinação e meu RMSE nos pontos era pequeno antes do suposto ponto de inflexão digital. Depois, ficou um pouco maior, porque não está tão claro exatamente o que ele fez. Mas para chegar tão perto quanto cheguei, tive que: - Pontuação de caixa por tempo de evento de 2 anos em relação aos anos de inflexão declarados - Excluir 2022 (que ele apenas teoricamente, mas não estatisticamente, justificou) - Cortar as caixas mais externas da Flórida - Usar o tempo de evento como x em vez do ponto médio do bin Isso mostra exatamente a inclinação dele: 1,08 antes da inflexão digital e -0,28 depois. Mas e se desfazermos todas as decisões arbitrárias que tivemos que usar para chegar até aqui? Se usarmos pontos médios de bin em vez de tempo médio de evento, passamos para 1,06/-0,27. Não tem grande efeito. Se incluirmos as caixas de postes da Flórida na encosta, vamos para +1,08/-0,33. Se incluirmos 2022, vamos para +1,08/-0,76. Se incluirmos a Flórida 1992/1996, obtemos +1,08/-0,28. Se mantivermos N = 1 bins em vez de descartá-los (o que não deveríamos fazer, porque são confiáveis já que são estados inteiros!), chegamos a +1,05/-0,25. E se dividirmos os pontos médios e todos os compartimentos de postes, obtemos +1,06/-0,33. Se combinarmos essas coisas e conduzirmos a análise mais sensata disponível para nós com base nos dados, obteremos +1,04/+0,10, uma redução da inclinação com certeza, mas o que esperávamos afinal? Se a tendência pré-tendência tivesse se mantido, a extrapolação seria de 256,3 pontos, o que é maior do que qualquer estado individual já obteve. A tendência pré-tendência de +1,08/ano não é um contrafactual plausível. Na verdade, é uma tendência de recuperação das décadas de 1990 a 2000 que já estava desacelerando (olhe!) antes de qualquer estado adotar o ensino digital. Extrapolar isso para frente e tratar isso como evidência real de uma lacuna ou 'perda' é atribuir um efeito teto à EdTech. Além disso, a verdadeira chave do erro de Horvath é esta: Ele mexeu nos dados até encontrar um desenho que apenas recapitula tendências nacionais, independentemente da causalidade! 76% dos estados têm anos de inflexão em 2014-16, e ele cortou as entradas mais distantes (FL/TX), então centrar no ano de inflexão e fazer a média entre estados é quase idêntico a centrar em 2015 e fazer a média. A pré-tendência é a melhora nacional do NAEP dos anos 1990 até meados dos anos 2010, e a pós-tendência é a estagnação e declínio nacional, e os testes de permutação confirmam isso: a mudança aleatória dos anos de inflexão entre estados apresenta o mesmo padrão! Na verdade, Horvath tomou decisões que efetivamente garantiram que seu resultado acabaria sendo apenas uma repetição das tendências nacionais ao reduzir seu poder com a exclusão de FL e TX, e a consequente eliminação de 36% da variação nas datas de inflexão. Esta não é uma análise crível de forma alguma. A única análise realmente confiável é o estudo de controle sintético da Flórida. É a única análise que identifica variação porque a Flórida adotou em 2011, quatro anos antes da maior parte do país. E a Flórida *superou* seu controle sintético após a adoção! Todas as outras análises que você pode fazer aqui, desde um TWFE, até testes de permutação, análises dose-resposta de todos os tipos, são fundamentalmente limitadas por terem apenas 49/51 jurisdições em um período de 4 anos. (Isso é um grande problema para todo tipo de análise que usa apenas os 50 estados dos EUA + D.C. Eles são muito fracos!) A construção não complicada que usei, onde tudo é sensato, direto e não ad hoc (sempre teste!), retorna nulos e possivelmente até resultados positivos. E os métodos analíticos de Horvath? Bem, eles simplesmente não conseguiam sustentar suas conclusões, mesmo que ele não tivesse mexido. Conselho para outros analistas: nunca construa seu caminho até um resultado. Apenas use a limpeza básica de dados e os testes mais simples que você conseguir executar. Você não precisa ser sofisticado, ou pode acabar tão confuso que recoloca uma versão transformada dos seus dados observados e chama mudanças ilusórias de tendência de 'evidência causal'.

A cafeteria onde sou cliente frequente me deu um chapéu que só diz COFFEE em maiúsculas. Bom ou mau sinal?