🚨BREAKING: OpenAI memberi tahu Anda setiap pembaruan membuat ChatGPT lebih pintar. Stanford membuktikan sebaliknya. Akurasi GPT-4 pada soal matematika turun dari 97,6% menjadi 2,4% hanya dalam tiga bulan. Dan tidak ada yang memberi tahu Anda. Para peneliti di Stanford dan UC Berkeley melacak kinerja aktual ChatGPT dari waktu ke waktu. Petunjuk yang sama. Tugas yang sama. Hasil yang berbeda. Model yang hampir menguasai pertanyaan matematika pada bulan Maret adalah salah 97 dari 100 kali pada bulan Juni. Pembuatan kode juga runtuh. Pada bulan Maret, lebih dari 50% kode GPT-4 berjalan sempurna pada percobaan pertama. Pada bulan Juni, hanya 10% yang melakukannya. Pertanyaan yang sama. Jawaban yang lebih buruk secara dramatis. Setiap pembaruan diam-diam yang didorong OpenAI membuat produk yang Anda bayar $20 sebulan secara diam-diam lebih buruk pada hal-hal yang sebenarnya Anda gunakan. Para peneliti menguji GPT-3.5 dan GPT-4 di seluruh matematika, pengkodean, pemeriksaan medis, penalaran, dan pertanyaan sensitif. Penyimpangan itu sangat besar dan tidak dapat diprediksi. Beberapa tugas ditingkatkan. Yang lain jatuh dari tebing. Dan tidak ada cara bagi Anda untuk mengetahui mana yang mana, karena OpenAI tidak pernah mengungkapkan apa yang berubah. Di sinilah itu menjadi pribadi. Jika Anda menggunakan ChatGPT untuk kode pada bulan Maret dan berhasil, lalu mencoba hal yang sama pada bulan Juni dan rusak, Anda mungkin menyalahkan diri sendiri. Anda pikir Anda salah mendorongnya. Anda mencoba lagi. Anda membuang waktu berjam-jam untuk men-debug pertanyaan Anda sendiri. Tapi itu bukan Anda. Model itu diam-diam berubah di bawah Anda. VP Produk OpenAI melanjutkan X dan mengatakan "kami belum membuat GPT-4 lebih bodoh." Data Stanford mengatakan sebaliknya. 97,6% hingga 2,4% bukanlah masalah opini. Setiap bisnis yang dibangun di API ChatGPT, setiap siswa yang mengandalkannya untuk tugas sekolah, setiap pengembang yang menggunakannya untuk mengirimkan kode berdiri di tanah yang bergeser tanpa peringatan. Anda mempercayainya kemarin. Itu berubah dalam semalam. Tidak ada yang memberi tahu Anda. Anda tidak membayangkannya. ChatGPT semakin bodoh. Stanford membuktikannya.