Den store fysikeren Richard Feynman fortalte en gang en historie som illustrerte problemet med p-hacking. Det er et grunnleggende prinsipp alle bør forstå. Det har alltid festet seg hos meg. Jeg har limt det inn nedenfor. ⬇️ Nå vender jeg meg til en annen type prinsipp eller idé, og det er at det ikke gir mening å beregne sannsynligheten eller sjansen for at noe skjer etter at det har skjedd. Mange forskere setter ikke engang pris på dette. Faktisk var første gang jeg havnet i en diskusjon om dette da jeg var masterstudent ved Princeton, og det var en fyr i psykologiavdelingen som drev rotterace. Jeg mener, han har en T-formet ting, og rottene går til høyre, og venstre, og så videre. Og det er et generelt prinsipp for psykologer at de i disse testene arrangerer sjansen for at det som skjer ved en tilfeldighet er liten, faktisk mindre enn én av tjue. Det betyr at én av tjue av lovene deres sannsynligvis tar feil. Men de statistiske måtene å beregne oddsene på, som myntkast hvis rottene skulle gå tilfeldig til høyre og venstre, er enkle å regne ut. Denne mannen hadde designet et eksperiment som skulle vise noe jeg ikke husker, hvis rottene alltid gikk til høyre, la oss si. Jeg husker ikke helt. Han måtte gjøre et stort antall tester, for selvfølgelig kunne de gå til høyre ved et uhell, så for å få det ned til én av tjue med odds, måtte han gjøre flere av dem. Og det er vanskelig å gjøre, og han gjorde sitt. Så fant han ut at det ikke fungerte. De gikk til høyre, og de gikk til venstre, og så videre. Og så la han merke til, mest bemerkelsesverdig, at de vekslet på, først høyre, så venstre, så høyre, så venstre. Og så løp han bort til meg og sa: «Beregn sannsynligheten for meg for at de skal bytte, slik at jeg kan se om det er mindre enn én av tjue.» Jeg sa: «Det er sannsynligvis mindre enn én av tjue, men det teller ikke.» Han sa: «Hvorfor?» Jeg sa: «Fordi det ikke gir mening å regne etter hendelsen. Du skjønner, du fant det sære, og derfor valgte du det særegne tilfellet." For eksempel hadde jeg den mest bemerkelsesverdige opplevelsen i kveld. Da jeg kom hit, så jeg registreringsnummer ANZ 912. Beregn for meg, vær så snill, sannsynligheten for at av alle bilskiltene i delstaten Washington skulle jeg tilfeldigvis se ANZ 912. Vel, det er en latterlig ting. Og på samme måte må han gjøre dette: Det faktum at rotteretningene veksler mellom hverandre, antyder muligheten for at rotter kan bytte annerledes. Hvis han vil teste denne hypotesen, én av tjue, kan han ikke gjøre det ut fra de samme dataene som ga ham ledetråden. Han må gjøre et nytt eksperiment på nytt og så se om de veksler på. Det gjorde han, og det fungerte ikke.

Eksempelet med bilskiltet er 💋🤌