我*想*我已經弄清楚了霍瓦斯所做的大部分事情，以獲得他未解釋的結果。 我將通過使用他的四年級數學成績來解釋。 我將他的圖表數位化，這引入了一小部分誤差，因為他的圖表解析度有點低。這裡的誤差量很小。然後，我以編程方式搜索了他的規範。我通過循環可能性接近了。 我匹配了斜率，我的RMSE在所謂的數位拐點之前的點上很小。之後，它稍微大了一些，因為不太清楚他到底做了什麼。但為了達到我所接近的程度，我必須： - 按照他所說的拐點年份的2年事件時間對成績進行分組 - 排除2022年（他只是理論上，但沒有統計上合理） - 削減佛羅里達州的最外層分組 - 使用事件時間作為x，而不是分組中點 這提供了他的確切斜率：數位拐點之前為1.08，之後為-0.28。 但如果我們撤銷所有為了到達這裡而必須使用的任意決策呢？ 如果我們使用分組中點而不是平均事件時間，我們的結果變為1.06/-0.27。影響不大。如果我們在斜率中包括佛羅里達州的後期分組，我們的結果變為+1.08/-0.33。如果我們包括2022年，我們的結果變為+1.08/-0.76。如果我們包括佛羅里達州1992/1996年，我們得到+1.08/-0.28。如果我們保持N = 1的分組而不是刪除它們（我們不應該這樣做，因為它們是可靠的，因為它們是整個州！），我們得到+1.05/-0.25。如果我們使用分組中點和所有後期分組，我們得到+1.06/-0.33。 如果我們結合這些因素並進行最合理的分析，根據數據，我們得到+1.04/+0.10，斜率確實減少，但我們本來就期待什麼呢？如果預趨勢保持不變，外推將是256.3分，這比任何單一州的得分都要高。 預趨勢+1.08/年並不是一個合理的反事實。相反，它是1990年代到2000年代的追趕趨勢，已經在任何州採用數位教學之前就已經減速（看看！）。將其外推並將其視為真實的差距或“損失”證據，這是將天花板效應歸因於EdTech。 此外，霍瓦斯錯誤的真正關鍵在於： 他在數據中摸索，直到找到一個設計，這只是重述了全國趨勢，無論因果關係如何！76%的州在2014-16年有拐點年份，而他排除了最遠的條目（FL/TX），因此圍繞拐點年份進行中心化並在各州之間取平均幾乎與圍繞2015年進行中心化並取平均相同。預趨勢是1990年代到2010年代中期的全國NAEP改善，後趨勢是全國的停滯和下降，排列測試證實了這一點：隨機打亂各州的拐點年份會給出相同的模式！ 事實上，霍瓦斯做出的決策有效地保證了他的結果最終只是全國趨勢的重新繪製，因為他通過排除FL和TX降低了他的能力，隨之而來的是消除了36%的拐點日期變異。 這絕對不是一個可信的分析。唯一真正可信的分析是佛羅里達州的合成控制研究。這是唯一具有識別變異的分析，因為佛羅里達州在2011年採用，早於全國大部分地區四年。而佛羅里達州在採用後的得分*超過*了其合成控制！...