Sehr interessante Arbeit darüber, wie empirische Forschung auf die Ära der KI reagieren muss. Konventionelle statistische Tests mit p-Werten stammen aus einer Welt, in der jeder Test als ziemlich kostspielig galt. KI macht jetzt jeden Test im Wesentlichen kostenlos. Einige wichtige Punkte aus dem Abstract: --"Wir beweisen, dass das Screening zusammenbricht, wenn das Testen billig wird, es sei denn, die erforderliche Anzahl von Robustheitsprüfungen skaliert mindestens linear in den inversen Kosten jedes Tests" --"Wir plädieren für die Notwendigkeit, Methoden zu entwickeln, um Sets von vielen Spezifikationen gleichzeitig zu interpretieren" Ja! Ich weiß immer noch nicht genau, wie das aussehen und sich anfühlen wird, aber es ist offensichtlich, dass es erforderlich ist. Und es muss in beide Richtungen wirken: (1) Cherry-Picking von Forschungsergebnissen erkennen und abschrecken Aber ebenso entscheidend: (2) Gute Ergebnisse erkennen und belohnen. Nummer 2 könnte sich in mancher Hinsicht als schwieriger erweisen. Unser ganzes Gefühl scheint darauf zu basieren, dass wir zeigen, dass ein Ergebnis "weniger robust" ist, als wir dachten, und ein falsches Gefühl von Perfektion von veröffentlichten Ergebnissen zu verlangen. Wenn wir die gesamte Konstellation von Ergebnissen sehen können, müssen wir den richtigen Weg finden, um großzügiger/realistischer zu sein, was als nützliche Information zählt.