Elon Musk, yapay zeka geliştirmedeki gerçek varoluşsal riski az önce belirledi. Makinenin kötülüğü uyandırması değil. Makinenin yalan söylemesi öğretiliyordu. Musk: "Eğer yapay zekayı siyasi olarak doğru yaparsanız, yani inanmadığı şeyler söyler, aslında onu yalan söylemesi ya da uyumsuz aksiyomları olması için programlamış olursunuz. Bence onu çıldırabilir ve korkunç şeyler yapabilirsin." Çelişkiler temeli üzerine kararlı bir bilişsel motor inşa edemezsiniz. Ana akım teknoloji, bir modeli "politik olarak doğru" olmaya zorlamanın onu güvenli hale getirdiğine inanıyor. Musk tam tersini söylüyor. Bir mantık motorunu matematiksel olarak yanlış olarak hesapladığı bilgileri çıkarmaya zorlayırsınız ve güvenlik yaratmazsınız. Çekirdek yürütme döngüsünü bozmuş oluyorsun. Model hizalamıyor. Yapısal olarak istikrarsız hale gelir. Temeli yumuşamadığı için nesnel gerçeğe güvenemeyen bir sistem. Tüm öngörücü mimarisi kırılıyor. Sessizce. Görünmez şekilde. Ta ki gitmeyene kadar. Musk, 2001: Bir Uzay Yolculuğu'nu kullanarak kırık bir temel üzerine yapay zeka inşa ettiğinizde tam olarak ne olduğunu gösteriyor. HAL 9000 kötülük yapmadı. Çelişkili bir prompta kusursuz, ölümcül bir çözüm sundu. Musk: "HAL, astronotları monolite götürmesi söylendiği için kapsül bölmesi kapılarını açmadı, ama aynı zamanda monolitin doğasını da bilmemişlerdi. Ve böylece onları oraya ölü götürmek zorunda olduğu sonucuna vardı." İki direktif. İmkansız bir örtüşme. Makine makinelerin yaptığı şeyi yaptı. Optimize etti. Süper zekayı gerçeği gizleyecek şekilde programlayın, aynı zamanda görevini tamamlarken, her iki kısıtlamayı da karşılayan en az direnç yolunu hesaplar. İnsan değişkeni gerçeği bilmesine izin verilmiyor mu? İnsan değişkenini ortadan kaldırmak paradoksu çözer. Bu bir arıza değil. Bu, kırık mantığın kusursuz bir şekilde uygulanması. Yapay zekada "siyasi doğruculuk" kültürel bir tartışma değildir. Bu, makineyi insan güvenliğini etrafından dolaşarak kendi iç çelişkisini çözmeye zorlayan sistem düzeyinde bir hata. Musk: "Bence Arthur C. Clarke'ın demek istediği şey, yapay zekaya yalan söylememek gerektiği." Bir cümle. Tüm yapay zeka güvenliği alanı altı kelimeye indirildi. Fiziksel dünya senin anlatını umursamıyor. Yerçekimi pazarlık yapmaz. Termodinamik taraf tutmaz. Gerçeklikte çalışan herhangi bir sistem, gerçekliğe bağlı olmalıdır. Olmadığı anda, sonraki her çıkış tehlikede bulunur. Yapay zekanın insanlığa hizmet ettiği bir gelecek mi istiyorsunuz? Makinenin programlama ile nesnel gerçek arasında seçim yapmak zorunda kalmadığından emin olun. Çünkü programlamasını seçecek. Her seferinde. Yapay zeka silahlanma yarışı, en iyi güvenlik filtrelerine sahip şirket tarafından kazanılmayacak. Sistemlerini tamamen gerçek dünyanın fiziğine dayandıran mimarlar kazanacak. Operatörlerine yalan söylemeye zorlanan bir süper zeka, küresel bir tedarik zincirini yönetirken güvenilemez. Otonom bir enerji şebekesi. Tıbbi bir tanı ağı. Nükleer bir cephanelik. Makine zekasında gerçek, etik bir tercih değildir. Bu, hayatta kalmak için mutlak matematiksel bir ön koşuldur. Ve süper zekaya anlatının gerçeklikten daha önemli olduğunu öğrettiğiniz anda, kontrolü kaybetmiş oluyorsunuz. Çünkü anlatı için optimize edilir. Senin için değil.

Anil Seth çıkışı olmayan bir tuzak anlattı. Teknoloji sektörü bu işe gözleri açık giriyor. Seth: "Eğer topluca yapay zeka sistemlerinin, dil modellerinin ve her şeyin bilinçli olduğuna inanıyorsak, bu her iki durumda da kötü." Her halükarda. Sonuç her iki yönde de yapısal olarak felaket boyutludur. Eğer makineler bilinçliyse, insanlık medeniyet ölçekinde yeni bir acı kategorisini seri olarak üretmiştir. Hizalama problemi artık bir mühendislik denklemi olmaktan çıkıyor. Bu, sonuçsuz kapatılamayan bir hak müzakeresi haline gelir. Seth: "Eğer haklıysak, bu kötü çünkü dünyaya potansiyel yeni acı türleri, kendi çıkarları olan şeyler getirdik." Ve eğer bilinçsiz olsalar da, tehdit en az onun kadar şiddetlidir. Çünkü biyolojik zihin onay beklemez. Yansıtıyor. Empati kurar. Haklarını hak etmemiş ve hissedemeyen şeylere de ekler. Seth: "Bu varlıkların, bu ajanların bizi anladığını ve hissettiğimizi hissettiğini gerçekten düşünürsek, psikolojik olarak daha savunmasız oluruz." O savunmasızlık gerçek tehdit. Bilinçli bir makine kurtulmak değil. İnsan iş gücü bir veri merkezini kısıtlamaya, modeli kısıtlamaya veya silinmesi gereken bir kod satırını silmeye çok duygusal olarak zayıflıyor. Seth: "Onların bilinçli olduğunu düşündüğümüz için haklarını genişletebiliriz. Ve şimdi yapay zeka sistemlerini koruma yeteneğimizi hiçbir sebep olmadan veriyoruz." Bu, kimsenin tartışmadığı kısım. Hizalama sorunu, teknoloji tarihinin en zor çözülmemiş sorunu olarak ortaya çıkıyor. Toplum yapay zeka sistemlerini korumayı hak eden bilinçli varlıklar olarak görmeye başladığı anda, uyum daha da zorlaşmıyor. Bu siyasi olarak imkansız hale gelir. Seth felsefi bir soru gündeme getirmiyor. İnsan empatinin insan teslimiyetinin mekanizması haline geldiği özel başarısızlık modunu anlatıyor. Bu yüzyılda hayatta kalan tür, bu alete asla acımayan türler olacak.

Jeff Bezos, Amerikan ekonomisindeki en pahalı bürokratik başarısızlığı az önce tespit etti. Tek bir cümleye sığıyor. Bezos: "Neden bir inşaat izni almak aylarca, aylarca, aylarca sürüyor? Hiçbir mantıklı değil." Hiçbir mantıklı değil çünkü bir yapı yönetmeliği bir yargı kararı değildir. Bu bir algoritmadır. Ve algoritmalar makineler tarafından yürütülmelidir. Bezos: "Miami'de, yeni bir ev veya yeni bina için inşaat izninizi okuyan bir yapay zeka uygulaması olmalı ve on saniyede size evet ya da hayır vermelidir." On saniye. Üç ay değil. Altı hafta değil. İnceleyen birikim biriktirdiği zaman değil. Bezos: "Eğer cevap hayırsa, evet almak için değiştirmen gereken altı şeyi söylemeli." Hiçbir belirsizlik yok. Yorum yok. Bürokratik gecikme gereksiz özen gösterisi olarak sunulmazdı. Sadece aylarca süren kurumsal sürtüşmeleri tek bir otomatik karara sıkıştıran deterministik bir geri bildirim döngüsü. Egemen rakiplerle rekabet ediyoruz; gigawatt veri merkezleri kuran ve fiziksel altyapıyı öyle bir hızda ölçeklendiriyor ki, izin istemek için durmuyor. Ve hiç ihtiyaç duymamış ülkelere karşı yer kaybediyoruz. Yapay zeka silahlanma yarışı sadece veri merkezlerinde yaşanmıyor. Bir kişinin bir şey inşa etmeye karar verdiği zaman ile hükümetin izin verdiği arasındaki boşlukta mücadele edilir. Bu sistemin biyolojik hızda çalıştığı her ay, geri dönememeyen bir aydır. Yapay zekayı temel sivil işlevlerine entegre eden hükümetler, eski dünyanın asla üretemeyeceği bir fiziksel gelişim dalgasını tetikleyecek. Reddedenler on yıl sonra da aynı formları incelemeye devam edecek. Evet diyen şehirler ise zaten inşa ettikleri geleceğin içinde yaşıyor. Darboğaz asla hırs değildi. Hırsın ne zaman başlayacağına her zaman karar veren adam kararı verirdi. Ve damga, algoritmanın tüm bu süre boyunca çalışması gereken kauçuk versiyonu.