Der große Physiker Richard Feynman erzählte einmal eine Geschichte, die das Problem des p-Hackings veranschaulicht. Es ist ein grundlegendes Prinzip, das jeder verstehen sollte. Es ist mir immer im Gedächtnis geblieben. Ich habe es unten eingefügt. ⬇️ Ich wende mich nun einem anderen Prinzip oder einer Idee zu, und zwar der, dass es keinen Sinn macht, die Wahrscheinlichkeit oder die Chance zu berechnen, dass etwas passiert, nachdem es passiert ist. Viele Wissenschaftler schätzen das nicht einmal. Tatsächlich war das erste Mal, als ich darüber in einen Streit geriet, als ich Doktorand an der Princeton-Universität war, und es gab einen Typen in der Psychologieabteilung, der Rattenrennen veranstaltete. Ich meine, er hatte so etwas T-förmiges, und die Ratten gehen, und sie gehen nach rechts, nach links und so weiter. Und es ist ein allgemeines Prinzip der Psychologen, dass sie in diesen Tests so anordnen, dass die Chancen, dass die Dinge, die passieren, zufällig passieren, gering sind, tatsächlich weniger als eins zu zwanzig. Das bedeutet, dass eines von zwanzig ihrer Gesetze wahrscheinlich falsch ist. Aber die statistischen Methoden zur Berechnung der Wahrscheinlichkeiten, wie das Münzwurf, wenn die Ratten zufällig nach rechts und links gehen würden, sind leicht zu erarbeiten. Dieser Mann hatte ein Experiment entworfen, das etwas zeigen sollte, an das ich mich nicht erinnere, wenn die Ratten immer nach rechts gingen, sagen wir. Ich kann mich nicht genau erinnern. Er musste eine große Anzahl von Tests durchführen, denn natürlich konnten sie zufällig nach rechts gehen, also musste er eine Anzahl von ihnen machen, um es auf eins zu zwanzig nach den Quoten zu bringen. Und es ist schwer zu machen, und er hat seine Anzahl gemacht. Dann stellte er fest, dass es nicht funktionierte. Sie gingen nach rechts, und sie gingen nach links, und so weiter. Und dann bemerkte er, bemerkenswerterweise, dass sie abwechselten, zuerst rechts, dann links, dann rechts, dann links. Und dann rannte er zu mir und sagte: „Berechne für mich die Wahrscheinlichkeit, dass sie abwechseln, damit ich sehen kann, ob es weniger als eins zu zwanzig ist.“ Ich sagte: „Es ist wahrscheinlich weniger als eins zu zwanzig, aber es zählt nicht.“ Er sagte: „Warum?“ Ich sagte: „Weil es keinen Sinn macht, nach dem Ereignis zu berechnen. Siehst du, du hast die Besonderheit gefunden, und so hast du den besonderen Fall ausgewählt.“ Zum Beispiel hatte ich heute Abend die bemerkenswerteste Erfahrung. Als ich hierher kam, sah ich das Nummernschild ANZ 912. Berechne mir bitte die Chancen, dass ich von all den Nummernschildern im Bundesstaat Washington zufällig ANZ 912 sehe. Nun, das ist eine lächerliche Sache. Und auf die gleiche Weise muss er Folgendes tun: Die Tatsache, dass die Rattenrichtungen abwechseln, deutet auf die Möglichkeit hin, dass Ratten abwechseln. Wenn er diese Hypothese testen möchte, eins zu zwanzig, kann er das nicht mit denselben Daten tun, die ihm den Hinweis gegeben haben. Er muss ein weiteres Experiment von vorne durchführen und dann sehen, ob sie abwechseln. Das tat er, und es funktionierte nicht.

Das Nummernschild-Beispiel ist 💋🤌