🚨突发消息：OpenAI告诉你每次更新都会让ChatGPT变得更聪明。 斯坦福大学证明了相反的观点。 GPT-4在数学问题上的准确率在短短三个月内从97.6%降至2.4%。而你却没有被告知。 斯坦福大学和加州大学伯克利分校的研究人员跟踪了ChatGPT随时间变化的实际表现。相同的提示。相同的任务。不同的结果。这个在三月份几乎能完美解答数学问题的模型，到六月份却在100道题中错了97道。 代码生成也崩溃了。在三月份，超过50%的GPT-4代码在第一次尝试时运行完美。到六月份，只有10%能成功。相同的问题。答案却大幅下降。OpenAI每次悄悄推出的更新，让你每月支付20美元的产品在你实际使用的功能上悄然变得更糟。 研究人员在数学、编码、医学考试、推理和敏感问题上测试了GPT-3.5和GPT-4。漂移是巨大的且不可预测的。有些任务有所改善，而其他任务则急剧下降。而你无法知道哪些任务发生了变化，因为OpenAI从未披露过发生了什么变化。 这里变得个人化。如果你在三月份使用ChatGPT进行编码并且成功了，然后在六月份尝试同样的事情却失败了，你可能会责怪自己。你认为是你提示得不对。你又试了一次。你浪费了几个小时调试自己的问题。但这不是你的错。模型在你面前悄然发生了变化。 OpenAI的产品副总裁在X上表示“我们没有让GPT-4变得更笨。” 斯坦福的数据则表明了相反的情况。 97.6%到2.4%并不是意见问题。 每一个基于ChatGPT API构建的企业，每一个依赖它完成学业的学生，每一个使用它发布代码的开发者，都站在没有警告的情况下不断变化的土地上。你昨天信任它。它一夜之间发生了变化。没有人告诉你。 你并不是在想象。ChatGPT正在变得更笨。斯坦福证明了这一点。