Trabalho muito interessante sobre como a pesquisa empírica precisa responder à era da IA. Os testes estatísticos convencionais com valores p vêm de um mundo em que cada teste era considerado bastante custoso. A IA agora torna cada teste essencialmente gratuito para executar. Alguns pontos-chave do resumo: --"provamos que a triagem colapsa à medida que os testes se tornam baratos, a menos que o número necessário de verificações de robustez escale pelo menos linearmente em relação ao custo inverso de cada teste" --"defendemos a necessidade de desenvolver métodos para interpretar conjuntos de muitas especificações simultaneamente" Sim! Eu ainda não sei exatamente como isso vai parecer e sentir, mas é claramente o que é necessário. E isso precisa funcionar em ambas as direções: (1) Capturar e desencorajar descobertas de pesquisa selecionadas a dedo Mas, igualmente crucial: (2) Detectar e recompensar boas descobertas. O número 2 aqui pode se provar, de algumas maneiras, mais difícil. Toda a nossa intuição parece girar em torno de mostrar que uma descoberta é "menos robusta" do que pensávamos, e exigir uma falsa sensação de perfeição dos resultados publicados. Quando podemos ver toda a constelação de descobertas, precisamos encontrar a maneira certa de ser mais generosos/realistas sobre o que conta como informação útil.