偉大的物理學家理查德·費曼曾經講過一個故事，說明了 p-hacking 的問題。這是一個每個人都應該理解的基本原則。 這個故事一直留在我的心中。我已經把它貼在下面。 ⬇️ 我現在轉向另一種原則或想法，那就是在事情發生之後計算某件事情發生的概率或機會是沒有意義的。很多科學家甚至不理解這一點。事實上，我第一次因為這個問題與人爭論是在我普林斯頓的研究生時期，當時心理學系有一個人正在進行老鼠賽跑。我是說，他有一個 T 形的東西，老鼠會跑，然後向右、向左等等。心理學家的普遍原則是，在這些測試中，他們安排的事情發生的機會是小的，事實上，少於二十分之一。這意味著他們的法律中大約有二十分之一可能是錯的。但是，計算機率的統計方法，比如說如果老鼠隨機向右和向左跑的話，都是容易計算的。 這個人設計了一個實驗，將顯示一些我不記得的東西，比如說老鼠總是向右跑。我不太記得了。他必須做很多測試，因為，當然，它們可能會意外地向右跑，所以要把機率降到二十分之一，他必須做很多次。而且這很難做到，他做了他的次數。然後他發現這不行。它們向右跑，然後向左跑，等等。然後他注意到，最顯著的是，它們交替著，先是右，再是左，再是右，再是左。然後他跑來找我，說：“幫我計算一下它們應該交替的概率，這樣我就可以看看是否少於二十分之一。”我說：“這可能少於二十分之一，但這不算數。” 他說：“為什麼？”我說：“因為在事件發生後計算是沒有意義的。你看，你發現了這個特異性，所以你選擇了這個特別的情況。” 例如，我今晚有一個最奇妙的經歷。當我進來的時候，我看到了車牌 ANZ 912。請幫我計算一下，在華盛頓州所有的車牌中，我恰好看到 ANZ 912 的機率是多少。好吧，這是一件荒謬的事情。同樣，他必須做的是：老鼠方向交替的事實暗示了老鼠交替的可能性。如果他想要測試這個假設，二十分之一，他不能從給他線索的相同數據中進行測試。他必須重新做另一個實驗，然後看看它們是否交替。他做了，但這不行。

車牌範例是 💋🤌