🚨PRZEŁOM: OpenAI powiedziało, że każda aktualizacja sprawia, że ChatGPT staje się mądrzejszy. Stanford udowodnił przeciwnie. Dokładność GPT-4 w rozwiązywaniu problemów matematycznych spadła z 97,6% do 2,4% w zaledwie trzy miesiące. I nikt ci o tym nie powiedział. Badacze z Stanford i UC Berkeley śledzili rzeczywistą wydajność ChatGPT w czasie. Te same zapytania. Te same zadania. Inne wyniki. Model, który niemal idealnie rozwiązywał pytania matematyczne w marcu, w czerwcu mylił się 97 na 100 razy. Generowanie kodu również się załamało. W marcu ponad 50% kodu GPT-4 działało perfekcyjnie za pierwszym razem. Do czerwca tylko 10% działało. Te same pytania. Dramatycznie gorsze odpowiedzi. Każda cicha aktualizacja, którą OpenAI wprowadziło, sprawiła, że produkt, za który płacisz 20 dolarów miesięcznie, cicho pogarszał się w rzeczach, których naprawdę używasz. Badacze testowali GPT-3.5 i GPT-4 w zakresie matematyki, kodowania, egzaminów medycznych, rozumowania i wrażliwych pytań. Odchylenie było ogromne i nieprzewidywalne. Niektóre zadania się poprawiły. Inne spadły w przepaść. I nie było sposobu, abyś wiedział, które są które, ponieważ OpenAI nigdy nie ujawnili, co się zmieniło. Oto, gdzie to staje się osobiste. Jeśli używałeś ChatGPT do kodu w marcu i działało, a potem próbowałeś tego samego w czerwcu i to nie działało, prawdopodobnie obwiniałeś siebie. Myślałeś, że źle je sformułowałeś. Próbowałeś ponownie. Straciłeś godziny na debugowanie własnych pytań. Ale to nie był twój błąd. Model cicho się zmienił pod tobą. Wiceprezydent OpenAI ds. Produktu poszedł na X i powiedział: "nie sprawiliśmy, że GPT-4 jest głupszy." Dane Stanford mówią co innego. 97,6% do 2,4% to nie kwestia opinii. Każda firma budująca na API ChatGPT, każdy student polegający na nim w pracy szkolnej, każdy programista używający go do wysyłania kodu stoi na gruncie, który zmienia się bez ostrzeżenia. Ufałeś mu wczoraj. Zmienił się z dnia na dzień. Nikt ci o tym nie powiedział. Nie wyobrażasz sobie tego. ChatGPT staje się głupszy. Stanford to udowodnił.