P-hacking is slecht omdat je een positief signaal afgeeft voor iets dat bijna zeker onwaar is. Je vervuilt actief de wetenschappelijke literatuur met illusies. Een nulresultaat is geen mislukt experiment. Een experiment is nooit een mislukking als het goed is ontworpen en uitgevoerd. Het publiceren van nulresultaten helpt de wetenschappelijke gemeenschap actief door de pool van plausibele alternatieven om te testen te verkleinen. Het maakt het gemakkelijker om te ontdekken wat daadwerkelijk waar is.

De grote natuurkundige Richard Feynman vertelde ooit een verhaal dat het probleem van p-hacking illustreert. Het is een basisprincipe dat iedereen zou moeten begrijpen. Het is altijd bij me gebleven. Ik heb het hieronder geplakt. ⬇️ Ik wend me nu tot een ander soort principe of idee, en dat is dat het geen zin heeft om de kans of de waarschijnlijkheid te berekenen dat iets gebeurt nadat het is gebeurd. Veel wetenschappers waarderen dit zelfs niet. In feite was de eerste keer dat ik in een discussie hierover terechtkwam toen ik een afgestudeerde student aan Princeton was, en er was een man in de psychologieafdeling die rattenraces organiseerde. Ik bedoel, hij heeft een T-vormig ding, en de ratten gaan, en ze gaan naar rechts, en naar links, enzovoort. En het is een algemeen principe van psychologen dat ze in deze tests regelen dat de kans dat de dingen die gebeuren toevallig gebeuren klein is, in feite minder dan één op twintig. Dat betekent dat één op twintig van hun wetten waarschijnlijk verkeerd is. Maar de statistische manieren om de kansen te berekenen, zoals het opgooien van een munt als de ratten willekeurig naar rechts en links zouden gaan, zijn gemakkelijk uit te werken. Deze man had een experiment ontworpen dat iets zou laten zien wat ik me niet herinner, als de ratten altijd naar rechts gingen, laten we zeggen. Ik kan me niet precies herinneren. Hij moest een groot aantal tests doen, omdat ze natuurlijk per ongeluk naar rechts konden gaan, dus om het terug te brengen tot één op twintig qua kansen, moest hij er een aantal doen. En het is moeilijk om te doen, en hij deed zijn aantal. Toen ontdekte hij dat het niet werkte. Ze gingen naar rechts, en ze gingen naar links, enzovoort. En toen merkte hij, het meest opmerkelijke, dat ze afwisselend gingen, eerst rechts, dan links, dan rechts, dan links. En toen kwam hij naar me toe en zei: "Bereken de kans voor mij dat ze zouden afwisselen, zodat ik kan zien of het minder is dan één op twintig." Ik zei: "Het is waarschijnlijk minder dan één op twintig, maar het telt niet." Hij zei: "Waarom?" Ik zei: "Omdat het geen zin heeft om na de gebeurtenis te berekenen. Je ziet, je hebt de eigenaardigheid gevonden, en dus heb je de bijzondere zaak geselecteerd." Bijvoorbeeld, ik had vanavond de meest opmerkelijke ervaring. Terwijl ik hier binnenkwam, zag ik kentekenplaat ANZ 912. Bereken voor mij, alsjeblieft, de kansen dat ik van alle kentekenplaten in de staat Washington ANZ 912 zou zien. Nou, het is een belachelijke zaak. En op dezelfde manier moet hij dit doen: Het feit dat de richtingen van de ratten afwisselend zijn, suggereert de mogelijkheid dat ratten afwisselend zijn. Als hij deze hypothese wil testen, één op twintig, kan hij dat niet doen met dezelfde gegevens die hem de aanwijzing gaven. Hij moet een ander experiment helemaal opnieuw doen en dan zien of ze afwisselend zijn. Dat deed hij, en het werkte niet.