🚨AKTUÁLNÍ NOVINKA: OpenAI vám řekla, že každá aktualizace dělá ChatGPT chytřejším. Stanford dokázal opak. Přesnost GPT-4 na matematických úlohách klesla z 97,6 % na 2,4 % během pouhých tří měsíců. A nikdo ti to neřekl. Výzkumníci ze Stanfordu a UC Berkeley sledovali skutečný výkon ChatGPT v čase. Stejné výzvy. Stejné úkoly. Různé výsledky. Model, který v březnu téměř zvládl matematické otázky, je do června chyboval 97krát ze 100. Generování kódu také zkolabovalo. V březnu více než 50 % kódu GPT-4 běželo perfektně na první pokus. Do června už jen 10 % lidí to udělalo. Stejné otázky. Výrazně horší odpovědi. Každá tichá aktualizace OpenAI způsobila, že produkt, za který platíte 20 dolarů měsíčně, byl tiše horší v tom, na co ho skutečně používáte. Výzkumníci testovali GPT-3.5 a GPT-4 v matematice, programování, lékařských zkouškách, uvažování a citlivých otázkách. Drift byl obrovský a nepředvídatelný. Některé úkoly se zlepšily. Jiní spadli z útesu. A nebylo možné poznat, co je které, protože OpenAI nikdy neprozradilo, co se změnilo. Tady to začíná být osobní. Pokud jste v březnu použili ChatGPT pro kód a fungovalo to, pak jste to zkusili v červnu a rozbilo se, pravděpodobně jste si to vyčítali. Myslel jsi, že jsi to špatně vyvolal. Zkusil jsi to znovu. Ztrácel jsi hodiny laděním vlastních otázek. Ale nebyl jsi to ty. Model se tiše změnil pod tebou. Viceprezident produktu OpenAI na X řekl: "GPT-4 jsme ještě neudělali hloupějším." Stanfordova data říkají něco jiného. 97,6 % až 2,4 % není otázkou názoru. Každý podnik stavící na API ChatGPT, každý student, který na něj spoléhá při školních úkolech, každý vývojář, který ho používá k distribuci kódu, stojí na místě, které se bez varování mění. Včera jsi mu věřil. Změnilo se to přes noc. Nikdo ti to neřekl. Nemyslíš si to. ChatGPT je čím dál hloupější. Stanford to dokázal.