Великий физик Ричард Фейнман однажды рассказал историю, иллюстрирующую проблему p-hacking. Это базовый принцип, который должен понимать каждый. Он всегда оставался со мной. Я вставил его ниже. ⬇️ Теперь я перехожу к другому виду принципа или идеи, а именно к тому, что нет смысла рассчитывать вероятность или шанс того, что что-то происходит, после того, как это произошло. Многие ученые даже не понимают этого. На самом деле, в первый раз я вступил в спор по этому поводу, когда был аспирантом в Принстоне, и там был парень из психологического факультета, который проводил гонки крыс. Я имею в виду, у него была Т-образная штука, и крысы бегут, и они идут направо, налево и так далее. И это общий принцип психологов, что в этих тестах они организуют так, чтобы шансы на то, что происходящее происходит случайно, были малы, на самом деле, меньше одного из двадцати. Это означает, что один из двадцати их законов, вероятно, неверен. Но статистические способы расчета шансов, такие как подбрасывание монеты, если крысы идут случайно направо и налево, легко вычислить. Этот человек разработал эксперимент, который должен был показать что-то, что я не помню, если крысы всегда шли направо, скажем. Я не могу точно вспомнить. Ему нужно было провести большое количество тестов, потому что, конечно, они могли идти направо случайно, так что, чтобы свести это к одному из двадцати по шансам, ему нужно было провести несколько из них. И это трудно сделать, и он сделал свое количество. Затем он обнаружил, что это не сработало. Они шли направо, и они шли налево, и так далее. И затем он заметил, что, что самое замечательное, они чередовались: сначала направо, затем налево, затем направо, затем налево. И затем он подбежал ко мне и сказал: "Посчитай вероятность того, что они должны чередоваться, чтобы я мог увидеть, меньше ли это одного из двадцати." Я сказал: "Вероятно, это меньше одного из двадцати, но это не имеет значения." Он сказал: "Почему?" Я сказал: "Потому что нет смысла рассчитывать после события. Видите ли, вы нашли особенность, и поэтому вы выбрали необычный случай." Например, у меня был самый замечательный опыт сегодня вечером. Когда я заходил сюда, я увидел номерной знак ANZ 912. Посчитайте для меня, пожалуйста, шансы на то, что из всех номерных знаков в штате Вашингтон я должен был увидеть ANZ 912. Ну, это абсурдная вещь. И, таким же образом, что он должен сделать, это следующее: тот факт, что направления крыс чередуются, предполагает возможность того, что крысы чередуются. Если он хочет протестировать эту гипотезу, один из двадцати, он не может сделать это на основе тех же данных, которые дали ему подсказку. Ему нужно провести другой эксперимент заново и затем посмотреть, чередуются ли они. Он сделал, и это не сработало.

Пример номерного знака - 💋🤌