Tôi *nghĩ* rằng tôi đã tìm ra hầu hết những gì Horvath đã làm để có được kết quả mà ông ấy không giải thích. Tôi sẽ giải thích bằng cách sử dụng điểm số Toán học lớp 4 của ông ấy. Tôi đã lấy đồ thị của ông ấy và số hóa nó, điều này gây ra một lượng lỗi nhỏ vì độ phân giải của đồ thị của ông ấy hơi thấp. Lượng lỗi ở đây là nhỏ. Sau đó, tôi đã tìm kiếm thông số kỹ thuật của ông ấy một cách lập trình. Tôi đã khá gần khi lặp qua các khả năng. Tôi đã khớp độ dốc và RMSE của tôi trên các điểm là nhỏ trước điểm uốn số hóa được cho là. Sau đó, nó lớn hơn một chút, vì không rõ ràng ông ấy đã làm gì chính xác. Nhưng để đạt được gần như vậy, tôi đã phải: - Phân loại điểm số theo thời gian sự kiện 2 năm so với các năm uốn nắn mà ông ấy đã nêu - Loại trừ năm 2022 (mà ông ấy chỉ lý thuyết, nhưng không được chứng minh thống kê) - Cắt bỏ các nhóm ngoài cùng của Florida - Sử dụng thời gian sự kiện làm x thay vì điểm giữa nhóm Điều này mang lại độ dốc chính xác của ông ấy: 1.08 trước điểm uốn số hóa và -0.28 sau đó. Nhưng nếu chúng ta đảo ngược tất cả các quyết định tùy ý mà chúng ta đã phải sử dụng để đến đây thì sao? Nếu chúng ta sử dụng điểm giữa nhóm thay vì thời gian sự kiện trung bình, chúng ta chuyển sang 1.06/-0.27. Không phải là một hiệu ứng lớn. Nếu chúng ta bao gồm các nhóm sau của Florida trong độ dốc, chúng ta đi đến +1.08/-0.33. Nếu chúng ta bao gồm năm 2022, chúng ta đi đến +1.08/-0.76. Nếu chúng ta bao gồm Florida 1992/1996, chúng ta có +1.08/-0.28. Nếu chúng ta giữ N = 1 nhóm thay vì loại bỏ chúng (mà chúng ta không nên làm, vì chúng đáng tin cậy vì chúng là toàn bộ tiểu bang!), chúng ta có +1.05/-0.25. Và nếu chúng ta nhóm các điểm giữa và tất cả các nhóm sau, chúng ta có +1.06/-0.33. Nếu chúng ta kết hợp những điều này và thực hiện phân tích hợp lý nhất có thể cho chúng ta dựa trên dữ liệu, chúng ta có +1.04/+0.10, một sự giảm độ dốc chắc chắn, nhưng chúng ta đã mong đợi điều gì? Nếu xu hướng trước đó giữ vững, sự ngoại suy sẽ là 256.3 điểm, cao hơn bất kỳ tiểu bang nào đã từng đạt được. Xu hướng trước đó là +1.08/năm không phải là một phản thực khả thi. Thay vào đó, đó là một xu hướng bắt kịp từ những năm 1990-2000 đã giảm tốc (chỉ cần nhìn!) trước khi bất kỳ tiểu bang nào áp dụng giảng dạy số. Việc ngoại suy nó về phía trước và coi đó là bằng chứng thực sự về một khoảng cách hoặc một 'mất mát' là gán một hiệu ứng trần cho EdTech. Hơn nữa, chìa khóa thực sự cho lỗi của Horvath là điều này: Ông ấy đã lúng túng với dữ liệu của mình cho đến khi tìm thấy một thiết kế chỉ tái hiện các xu hướng quốc gia, bất kể nguyên nhân! 76% các tiểu bang có các năm uốn nắn trong khoảng thời gian 2014-16, và ông ấy đã loại bỏ các mục xa nhất (FL/TX), vì vậy việc trung tâm vào năm uốn nắn và trung bình giữa các tiểu bang gần như giống hệt với việc trung tâm vào năm 2015 và trung bình. Xu hướng trước đó là sự cải thiện quốc gia NAEP từ những năm 1990 đến giữa những năm 2010, và xu hướng sau đó là sự đình trệ và suy giảm quốc gia, và các bài kiểm tra hoán vị xác nhận điều này: việc xáo trộn ngẫu nhiên các năm uốn nắn giữa các tiểu bang cho cùng một mẫu! Thực tế, Horvath đã đưa ra những quyết định mà hiệu quả đảm bảo rằng kết quả của ông ấy chỉ kết thúc là một tái vẽ lại các xu hướng quốc gia bằng cách giảm sức mạnh của ông ấy với việc loại bỏ FL và TX, và sự loại bỏ 36% phương sai trong các ngày uốn nắn. Đây không phải là một phân tích đáng tin cậy theo bất kỳ cách nào. Phân tích thực sự đáng tin cậy duy nhất là nghiên cứu kiểm soát tổng hợp của Florida. Đây là phân tích duy nhất có sự biến đổi xác định vì Florida đã áp dụng vào năm 2011, bốn năm trước phần lớn quốc gia. Và Florida *đã vượt trội* so với kiểm soát tổng hợp của nó sau khi áp dụng!...