Các tiêu chuẩn đánh giá tương ứng với khả năng thực tế như thế nào? Để nghiên cứu điều này, chúng tôi đã thuê 4 người duy trì các kho lưu trữ được sử dụng trong SWE-bench Verified để xem xét mã của tác nhân. Trong số các PR của tác nhân đã vượt qua trình chấm điểm của SWE-bench, các người duy trì sẽ hợp nhất khoảng một nửa. Điều này vẫn đúng khi tính đến sự nhiễu trong quyết định của người duy trì.

Để đo lường sự tiến bộ của thuật toán kể từ năm 2019, tôi đã huấn luyện lại GPT-2 bằng cách sử dụng stack nanogpt speedrun hiện đại. Hiện tại, nanogpt SOTA nhanh hơn 707 lần. Chúng ta có thể phân tích tổng tốc độ tăng lên thành > 15 lần nhanh hơn FLOP mỗi giây (trên phần cứng cố định) > 46 lần ít FLOPs hơn để đạt được cùng một mức mất mát val.

AI dường như đang lan tỏa chậm hơn so với lần cuối cùng chúng ta có một lớp trí tuệ tổng quát mới gia nhập thị trường lao động.