🚨CẬP NHẬT: OpenAI đã nói với bạn rằng mỗi bản cập nhật làm cho ChatGPT thông minh hơn. Stanford đã chứng minh điều ngược lại. Độ chính xác của GPT-4 trong các bài toán toán học đã giảm từ 97,6% xuống 2,4% chỉ trong ba tháng. Và không ai nói với bạn. Các nhà nghiên cứu tại Stanford và UC Berkeley đã theo dõi hiệu suất thực tế của ChatGPT theo thời gian. Cùng một câu hỏi. Cùng một nhiệm vụ. Kết quả khác nhau. Mô hình mà gần như đã hoàn thành xuất sắc các câu hỏi toán học vào tháng Ba đã sai 97 trên 100 lần vào tháng Sáu. Việc tạo mã cũng đã sụp đổ. Vào tháng Ba, hơn 50% mã của GPT-4 chạy hoàn hảo ngay từ lần thử đầu tiên. Đến tháng Sáu, chỉ còn 10% làm được. Cùng một câu hỏi. Câu trả lời tệ hơn một cách đáng kể. Mỗi bản cập nhật im lặng mà OpenAI phát hành đã làm cho sản phẩm mà bạn trả 20 đô la mỗi tháng trở nên tồi tệ hơn một cách âm thầm trong những việc mà bạn thực sự sử dụng nó. Các nhà nghiên cứu đã thử nghiệm GPT-3.5 và GPT-4 trong các lĩnh vực toán học, lập trình, kỳ thi y tế, lý luận và các câu hỏi nhạy cảm. Sự thay đổi là rất lớn và không thể đoán trước. Một số nhiệm vụ đã cải thiện. Những nhiệm vụ khác thì rơi xuống vực thẳm. Và không có cách nào để bạn biết cái nào là cái nào, vì OpenAI chưa bao giờ công bố những gì đã thay đổi. Đây là nơi nó trở nên cá nhân. Nếu bạn đã sử dụng ChatGPT để lập trình vào tháng Ba và nó hoạt động, sau đó thử lại vào tháng Sáu và nó không hoạt động, bạn có thể đã tự trách mình. Bạn nghĩ rằng bạn đã nhập lệnh sai. Bạn đã thử lại. Bạn đã lãng phí hàng giờ để gỡ lỗi các câu hỏi của chính mình. Nhưng không phải do bạn. Mô hình đã thay đổi âm thầm dưới chân bạn. Phó Chủ tịch Sản phẩm của OpenAI đã lên X và nói "chúng tôi chưa làm cho GPT-4 ngu đi." Dữ liệu của Stanford nói điều ngược lại. 97,6% xuống 2,4% không phải là vấn đề ý kiến. Mỗi doanh nghiệp xây dựng trên API của ChatGPT, mỗi sinh viên dựa vào nó cho bài tập ở trường, mỗi nhà phát triển sử dụng nó để phát hành mã đều đang đứng trên mặt đất thay đổi mà không có cảnh báo. Bạn đã tin tưởng nó ngày hôm qua. Nó đã thay đổi qua đêm. Không ai nói với bạn. Bạn không tưởng tượng ra điều đó. ChatGPT đang trở nên ngu đi. Stanford đã chứng minh điều đó.