O grande físico Richard Feynman certa vez contou uma história ilustrando o problema do p-hacking. É um princípio básico que todos deveriam entender. Isso sempre ficou comigo. Eu colei abaixo. ⬇️ Agora me volto para outro tipo de princípio ou ideia, que é que não faz sentido calcular a probabilidade ou a chance de algo acontecer depois que acontece. Muitos cientistas nem sequer valorizam isso. Na verdade, a primeira vez que discuti sobre isso foi quando eu era estudante de pós-graduação em Princeton, e havia um cara no departamento de psicologia que estava correndo em uma corrida de ratos. Quer dizer, ele tem uma coisa em formato de T, e os ratos vão, e vão para a direita, para a esquerda, e assim por diante. E é um princípio geral dos psicólogos que, nesses testes, eles organizam de modo que as chances de que as coisas acontecem por acaso sejam pequenas, na verdade, menores que uma em vinte. Isso significa que uma em cada vinte leis deles provavelmente está errada. Mas as formas estatísticas de calcular as probabilidades, como jogar a moeda se os ratos forem aleatoriamente para a direita e para a esquerda, são fáceis de entender. Esse homem havia projetado um experimento que mostraria algo que eu não lembro, se os ratos sempre fossem para a direita, digamos. Não lembro exatamente. Ele teve que fazer muitos testes, porque, claro, eles podiam ir para a direita acidentalmente, então para reduzir para um em vinte por probabilidade, ele teve que fazer vários deles. E é difícil de fazer, e ele fez o que ele queria. Então ele percebeu que não funcionou. Eles foram para a direita, para a esquerda, e assim por diante. E então ele percebeu, de forma mais notável, que eles alternavam, primeiro à direita, depois à esquerda, depois à direita, depois à esquerda. E então ele correu até mim e disse: "Calcule a probabilidade para mim de que eles se alternem, assim eu possa ver se é menos que um em vinte." Eu disse: "Provavelmente é menos de um em vinte, mas não conta." Ele disse: "Por quê?" Eu disse: "Porque não faz sentido calcular depois do evento. Veja, você encontrou a peculiaridade, e por isso escolheu o caso peculiar." Por exemplo, tive a experiência mais notável esta noite. Ao entrar aqui, vi a placa ANZ 912. Calcule para mim, por favor, as chances de que, de todas as placas do estado de Washington, eu deva ver ANZ 912. Bem, é uma coisa ridícula. E, da mesma forma, o que ele deve fazer é o seguinte: o fato de as direções dos ratos se alternarem sugere a possibilidade de que os ratos se alternem. Se ele quiser testar essa hipótese, um em vinte, não pode fazê-lo com os mesmos dados que lhe deram a pista. Ele precisa fazer outro experimento de novo e depois ver se eles se alternam. Ele fez, e não funcionou.

O exemplo da placa é 💋🤌