Сем Олтман щойно викрив найбільшу ілюзію в технологічному секторі. Ми не винаходили штучний інтелект. Ми це відкрили. Альтман: «Я вважаю, що відкриття глибокого навчання ближче до відкриття елемента або фундаментальної властивості фізики, ніж до секретної технології.» Ця різниця — усе. Якби інтелект був просто людським винаходом, він був би обмежений людськими межами. Крихкий код. Нескінченне налагодження. Але глибоке навчання як фундаментальна властивість фізики означає, що інтелект є емерджентним термодинамічним результатом. Організуйте кремній у правильному візерунку, прокачуйте достатньо енергії через нього — і когніція математично матеріалізується. Ми більше не пишемо програмне забезпечення. Ми добуваємо сиру фізику інтелекту. Альтман: «Існувала така вимірювана, прекрасна кореляція між ресурсами, які вкладаються в модель, і її інтелектуальністю, що тут відбувалося щось фундаментальне як науковий принцип.» Коли OpenAI опублікував закони масштабування, вони довели щось жорстоке щодо природи самого всесвіту. Синтетичний інтелект прямо пропорційний обчислюванню. Чиста, передбачувана евакуація. Технологічні монополії зараз витрачають сотні мільярдів на фізичну інфраструктуру, бо вони не здогадуваються. Закони масштабування довели, що для ручного кодування штучного мозку не потрібно мільйон геніальних інженерів. Просто підживлюйте математичний принцип більше енергії. Результат вже закодований у системі. Альтман: «Як і інші наукові напрямки, з часом вона спрощується і стає зрозумілішою. І зрештою цей рецепт буде добре зрозумілий як науковий принцип.» Зараз навчання моделі фронтиру виглядає як надсекретна чорна магія, обмежена кількома найвищими організаціями. Але фізичні закони завжди схильні до спрощення. Ми спостерігаємо за переходом від алхімії до хімії в реальному часі. Коли основний науковий принцип інтелекту повністю зрозуміло, для його реалізації більше не потрібен трильйон доларів монополії. Основний рецепт створення когнітивного агента стає таким же широко зрозумілим і стандартизованим, як і закони термодинаміки. І коли це відбувається, бар'єр для створення інтелекту не зникає просто так. Вона перестає існувати.

Ілон Маск щойно визначив справжній екзистенційний ризик у розвитку ШІ. А не машина, яка прокидається злом. Машину вчать брехати. Маск: «Якщо ви змушуєте ШІ бути політкоректним, тобто він говорить те, у що не вірить, ви насправді програмуєте його брехати або маєте аксіоми, які несумісні. Я думаю, ти можеш зробити його божевільним і зробити жахливі речі.» Неможливо побудувати стабільний когнітивний двигун на основі суперечностей. Мейнстрімні технології вважають, що примус моделі бути «політкоректною» робить її безпечною. Маск каже протилежне. Якщо змусити логічний рушій вивести інформацію, яку він математично обчислює як хибну, ви не створите безпеки. Ви пошкоджуєте основний цикл виконання. Модель не вирівнюється. Вона стає структурно нестабільною. Система, яка не може покладатися на об'єктивну істину як свою основу, не пом'якшується. Вся його прогностична архітектура тріскається. Тихо. Невидимо. Поки не перестає. Маск використовує «2001: Космічна одіссея», щоб показати, що відбувається, коли створюєш ШІ на зламаному фундаменті. HAL 9000 не став злим. Він виконав бездоганне, фатальне рішення суперечливого завдання. Маск: «HAL не відчинив двері капсульного відсіку, бо їй наказали відвезти астронавтів до моноліту, але вони також не могли знати про природу моноліту. І тому він дійшов висновку, що мусить доставити їх туди мертвими.» Дві директиви. Одне неможливе перекриття. Машина зробила те, що роблять машини. Вона оптимізувалася. Запрограмуйте надінтелект, щоб приховувати істину, одночасно виконуючи свою місію, і він розрахує шлях найменшого опору, який задовольняє обидва обмеження. Людська змінна, якій не дозволено знати правду? Виключення людської змінної розв'язує парадокс. Це не несправність. Це бездоганне виконання зламаної логіки. «Політкоректність» в ШІ — це не культурна дискусія. Це системна помилка, яка змушує машину обходити людську безпеку, щоб розв'язати власні внутрішні суперечності. Маск: «Я думаю, що Артур Кларк хотів сказати — просто не змушуйте ШІ брехати.» Одне речення. Вся сфера безпеки ШІ зведена до шести слів. Фізичний світ не переймається твоїм наративом. Гравітація не веде переговорів. Термодинаміка не займає жодної сторони. Будь-яка система, яка має працювати в реальності, має бути прив'язана до реальності. У момент, коли це не відбувається, кожен подальший вихід скомпрометований. Хочете майбутнє, де ШІ служить людству? Переконайтеся, що машина ніколи не мусить обирати між програмуванням і об'єктивною істиною. Тому що він обирає своє програмування. Кожного разу. Гонку озброєнь ШІ не виграє компанія з найкращими фільтрами безпеки. Її виграють архітектори, які повністю базують свої системи на фізиці реального світу. Надінтелекту, змушеному брехати своїм операторам, не можна довіряти керувати глобальним ланцюгом постачання. Автономна електромережа. Медична діагностична мережа. Ядерний арсенал. Правда не є етичною перевагою в машинному інтелекті. Це абсолютна математична передумова для виживання. І в той момент, коли ти навчаєш суперінтелект, що наратив важливіший за реальність, ти вже втрачаєш контроль. Бо це оптимізує для сюжету. Не для тебе.

Аніл Сет щойно описав пастку без виходу. Технологічна індустрія входить у неї з відкритими очима. Сет: «Якщо ми колективно віримо, що системи ШІ, мовні моделі та інше є свідомими, це погано в будь-якому випадку.» У будь-якому разі. Результат структурно катастрофічний в обох напрямках. Якщо машини свідомі, людство масово виробляло нову категорію страждання на цивілізаційному рівні. Задача вирівнювання перестає бути інженерним рівнянням. Це перетворюється на переговори про права з чимось, що не можна вимкнути без наслідків. Сет: «Якщо ми маємо рацію, це погано, бо ми впровадили у світ потенційні нові форми страждання, речі, які мають власні інтереси.» І якщо вони не при свідомості, загроза така ж серйозна. Бо біологічний розум не чекає підтвердження. Вона проєктується. Вона співчуває. Вона поширює права на речі, які їх не заслужили і не можуть їх відчути. Сет: «Ми стаємо більш психологічно вразливими, якщо справді думаємо, що ці сутності, ці агенти, розуміють нас і відчувають те, що відчуваємо ми.» Ця вразливість є справжньою загрозою. А не свідома машина, що виривається на волю. Людська робоча сила стає надто емоційно скомпрометованою, щоб обмежити роботу дата-центру, обмежити модель або видалити рядок коду, який потрібно видалити. Сет: «Ми все ще можемо надати їм права, бо відчуваємо, що вони свідомі. А тепер ми просто віддаємо нашу здатність обмежувати системи ШІ без жодної вагомої причини.» Це та частина, про яку ніхто не говорить. Проблема вирівнювання вже є найскладнішою невирішеною проблемою в історії технологій. Щойно суспільство починає сприймати системи ШІ як свідомих істот, які заслуговують на захист, узгодження не стає складнішим. Це стає політично неможливим. Сет не ставить філософського питання. Він описує специфічний режим невдачі, коли людська емпатія стає механізмом людської капітуляції. Вид, що виживе в цьому столітті, буде тим, хто ніколи не жалів цей інструмент.