Zeer interessant werk over hoe empirisch onderzoek moet reageren op het AI-tijdperk. Conventionele statistische tests met p-waarden komen uit een wereld waarin elke test als behoorlijk kostbaar werd beschouwd. AI maakt nu elke test in wezen gratis om uit te voeren. Enkele belangrijke punten uit de samenvatting: --"we bewijzen dat screening instort naarmate testen goedkoop worden, tenzij het vereiste aantal robuustheidscontroles ten minste lineair schaalt in de inverse kosten van elke test" --"we pleiten voor de noodzaak om methoden te ontwikkelen om sets van veel specificaties tegelijkertijd te interpreteren" Ja! Ik weet nog steeds niet precies hoe dit eruit zal zien en aanvoelen, maar het is duidelijk wat nodig is. En het moet in beide richtingen werken: (1) Vang en ontmoedig cherry-picked onderzoeksresultaten Maar even cruciaal: (2) Detecteer en beloon goede bevindingen. Nummer 2 hier kan op sommige manieren moeilijker blijken. Al onze intuïtie lijkt te draaien om te laten zien dat een bevinding "minder robuust" is dan we dachten, en een valse indruk van perfectie van gepubliceerde resultaten te eisen. Wanneer we de hele constellatie van bevindingen kunnen zien, moeten we de juiste manier vinden om meer genereus/realistisch te zijn over wat telt als nuttige informatie.