Великий фізик Річард Фейнман колись розповів історію, що ілюструє проблему p-hacking. Це базовий принцип, який кожен має розуміти. Це завжди залишалося зі мною. Я вставив це нижче. ⬇️ Тепер я переходжу до іншого принципу чи ідеї: немає сенсу обчислювати ймовірність чи ймовірність того, що щось станеться після цього. Багато науковців навіть не цінують цього. Насправді, вперше я посварився з цього приводу, коли був аспірантом у Прінстоні, і в психологічному відділенні був хлопець, який проводив «щурячі перегони». Я маю на увазі, у нього є Т-подібна штука, і щури йдуть вправо, вліво і так далі. І це загальний принцип психологів полягає в тому, що в цих тестах вони організовують так, що ймовірність того, що події стаються випадково, малі, насправді менше одного з двадцяти. Це означає, що один із двадцяти їхніх законів, ймовірно, помиляється. Але статистичні способи розрахунку шансів, як-от підкидання монети, якщо щури йдуть випадково праворуч і ліворуч, легко зрозуміти. Цей чоловік розробив експеримент, який мав показати те, чого я не пам'ятаю, якщо щури завжди йшли праворуч, скажімо. Точно не пам'ятаю. Йому довелося провести багато тестів, бо, звісно, вони могли випадково піти вправо, тож щоб знизити його до одного з двадцяти, йому довелося зробити кілька з них. І це важко зробити, і він виконав свій номер. Потім він зрозумів, що це не працює. Вони йшли праворуч, ліворуч і так далі. А потім він помітив, що вони чергувалися: спочатку праворуч, потім ліворуч, потім праворуч, потім ліворуч. Потім він побіг до мене і сказав: «Обчисліть ймовірність того, що вони будуть чергуватися, щоб я міг побачити, чи менше одного з двадцяти.» Я відповів: «Мабуть, менше одного з двадцяти, але це не рахується.» Він сказав: «Чому?» Я сказав: «Бо немає сенсу розраховувати після події. Бачиш, ти знайшов дивність і вибрав саме цей випадок.» Наприклад, сьогодні ввечері у мене був найдивовижніший досвід. Коли я заходив сюди, я побачив номерний знак ANZ 912. Розрахуйте мені, будь ласка, ймовірність того, що з усіх номерних знаків у штаті Вашингтон я випадково побачу ANZ 912. Ну, це абсурдна річ. І так само він має зробити ось що: той факт, що напрямки щурів чергуються, свідчить про можливість, що щури чергуються. Якщо він хоче перевірити цю гіпотезу, один із двадцяти, він не може зробити це з тих самих даних, які дали йому підказку. Він мусить провести ще один експеримент і подивитися, чи будуть вони по черзі. Він це зробив, але це не спрацювало.

Приклад з номерним знаком 💋🤌