El gran físico Richard Feynman contó una vez una historia que ilustraba el problema del p-hacking. Es un principio básico que todo el mundo debería entender. Siempre se me ha quedado grabado. Lo he pegado abajo. ⬇️ Ahora me dirijo a otro tipo de principio o idea, y es que no tiene sentido calcular la probabilidad o la probabilidad de que algo ocurra después de que ocurra. Muchos científicos ni siquiera valoran esto. De hecho, la primera vez que discutí por esto fue cuando era estudiante de posgrado en Princeton, y había un tipo en el departamento de psicología que estaba haciendo carreras de ratas. Quiero decir, tiene una cosa en forma de T, y las ratas van, y luego a la derecha, y a la izquierda, y así sucesivamente. Y es un principio general de los psicólogos que en estas pruebas organizan de modo que la probabilidad de que las cosas que ocurran por casualidad sean pequeñas, de hecho, menores de una entre veinte. Eso significa que probablemente una de cada veinte de sus leyes esté equivocada. Pero las formas estadísticas de calcular las probabilidades, como lanzar una moneda si las ratas se mueven aleatoriamente a derecha e izquierda, son fáciles de calcular. Este hombre había diseñado un experimento que mostraría algo que no recuerdo, si las ratas siempre iban hacia la derecha, digamos. No lo recuerdo exactamente. Tuvo que hacer un gran número de pruebas, porque, por supuesto, podían ir a la derecha por accidente, así que para reducirlo a uno de cada veinte por probabilidades, tuvo que hacer varias. Y es difícil hacerlo, y él hizo lo suyo. Luego descubrió que no funcionaba. Iban a la derecha, y a la izquierda, y así sucesivamente. Y entonces se dio cuenta, de forma sorprendente, de que alternaban, primero a la derecha, luego a la izquierda, luego a la derecha, luego a la izquierda. Y entonces corrió hacia mí y me dijo: "Calcula la probabilidad para mí de que se alternen, para que pueda ver si es menos de uno entre veinte." Le dije: "Probablemente sea menos de uno de cada veinte, pero no cuenta." Él dijo: "¿Por qué?" Le dije: "Porque no tiene sentido calcular después del evento. Verás, encontraste la peculiaridad, y por eso elegiste el caso peculiar." Por ejemplo, esta noche tuve la experiencia más extraordinaria. Al entrar aquí, vi la matrícula ANZ 912. Calcula para mí, por favor, las probabilidades de que, de todas las matrículas del estado de Washington, llegue a ver ANZ 912. Bueno, es una locura. Y, de la misma manera, lo que debe hacer es esto: el hecho de que las direcciones de las ratas se alternan sugiere la posibilidad de que las ratas alternen. Si quiere probar esta hipótesis, uno de cada veinte, no puede hacerlo con los mismos datos que le dieron la pista. Debe hacer otro experimento otra vez y luego ver si se alternan. Lo hizo, y no funcionó.

El ejemplo de matrícula es 💋🤌