🚨BREAKING: OpenAI казав, що кожне оновлення робить ChatGPT розумнішим. Стенфорд довів протилежне. Точність GPT-4 у математичних задачах знизилася з 97,6% до 2,4% всього за три місяці. І ніхто тобі не сказав. Дослідники зі Стенфорда та Каліфорнійського університету в Берклі відстежували фактичну продуктивність ChatGPT з часом. Ті ж самі підказки. Ті ж самі завдання. Інші результати. Модель, яка майже блискуче впоралася з математичними питаннями в березні, до червня помиллялася у 97 разах зі 100. Генерація коду теж звалилася. У березні понад 50% коду GPT-4 працювали ідеально з першої спроби. До червня це зробило лише 10%. Ті ж самі питання. Набагато гірші відповіді. Кожне тихе оновлення OpenAI робило продукт, за який ви платите $20 на місяць, тихо гіршим у тому, для чого ви його реально використовуєте. Дослідники тестували GPT-3.5 і GPT-4 з математики, кодування, медичних іспитів, логіки та чутливих питань. Дрейф був величезним і непередбачуваним. Деякі завдання покращилися. Інші впали з обриву. І не було способу дізнатися, хто з них хто, бо OpenAI ніколи не розкривав, що змінилося. Ось де це стає особистим. Якщо ви використовували ChatGPT для коду в березні, і він працював, а потім спробував те саме в червні і зламалося, ви, мабуть, звинувачували себе. Ти думав, що неправильно підштовхнув. Ти спробував знову. Ви витратили години на налагодження власних питань. Але це була не ти. Модель мовчки змінилася під тобою. Віце-президент OpenAI з продукту сказав X: «Ми не зробили GPT-4 дурнішим». Дані Стенфорда свідчать про інше. 97,6% проти 2,4% — це не питання думки. Кожен бізнес, що працює на API ChatGPT, кожен студент, який покладається на нього для навчання, кожен розробник, який використовує його для випуску коду, стоїть на місці, яке змінюється без попередження. Ти довіряв йому вчора. Все змінилося за одну ніч. Ніхто тобі не казав. Тобі це не здається. ChatGPT стає все дурнішим. Стенфорд це довів.