🚨突發消息：OpenAI告訴你每次更新都讓ChatGPT變得更聰明。 斯坦福大學證明了相反的情況。 GPT-4在數學問題上的準確率在短短三個月內從97.6%下降到2.4%。而且沒有人告訴你。 斯坦福大學和加州大學伯克利分校的研究人員追蹤了ChatGPT隨時間的實際表現。相同的提示。相同的任務。不同的結果。這個在三月幾乎能夠完美解答數學問題的模型到了六月卻錯了97次中的100次。 代碼生成也崩潰了。在三月，超過50%的GPT-4代碼在第一次嘗試時運行完美。到了六月，只有10%能這樣。相同的問題。答案卻大幅惡化。OpenAI每次靜默更新都讓你每月支付20美元的產品在你實際使用的功能上悄然變得更糟。 研究人員在數學、編碼、醫學考試、推理和敏感問題上測試了GPT-3.5和GPT-4。漂移是巨大的且不可預測的。有些任務有所改善。其他任務卻急劇下降。而你無法知道哪個是什麼，因為OpenAI從未披露過改變了什麼。 這裡變得個人化。如果你在三月使用ChatGPT進行代碼編寫並且成功了，然後在六月嘗試同樣的事情卻失敗了，你可能會責怪自己。你認為是你提示錯了。你再試一次。你浪費了幾個小時來調試自己的問題。但這不是你的錯。模型在你面前悄然改變了。 OpenAI的產品副總裁在X上說：“我們沒有讓GPT-4變得更笨。” 斯坦福的數據卻說明了相反的情況。 97.6%到2.4%不是意見問題。 每一個基於ChatGPT API的企業，每一個依賴它完成學校作業的學生，每一個使用它來發佈代碼的開發者都站在沒有警告的變化之上。你昨天信任它。它一夜之間改變了。沒有人告訴你。 你不是在想像。ChatGPT正在變得更笨。斯坦福證明了這一點。