Sam Altman baru saja mengungkap khayalan terbesar di sektor teknologi. Kami tidak menemukan kecerdasan buatan. Kami menemukannya. Altman: "Saya pikir penemuan pembelajaran mendalam lebih dekat dengan penemuan elemen atau properti dasar fisika daripada teknologi rahasia." Perbedaan ini adalah segalanya. Jika kecerdasan hanyalah penemuan manusia, itu akan terikat oleh batas-batas manusia. Kode rapuh. Debugging tanpa akhir. Tetapi pembelajaran mendalam sebagai sifat dasar fisika berarti kecerdasan adalah hasil termodinamika yang muncul. Atur silikon dalam pola yang tepat, pompa energi yang cukup melaluinya, dan kognisi secara matematis terwujud. Kami tidak menulis perangkat lunak lagi. Kami menambang fisika mentah kecerdasan. Altman: "Ada korelasi yang terukur dan indah antara sumber daya yang masuk ke dalam model dan kecerdasan model itu sehingga ada sesuatu yang mendasar yang terjadi di sini sebagai prinsip ilmiah." Ketika OpenAI menerbitkan hukum penskalaan, mereka membuktikan sesuatu yang brutal tentang sifat alam semesta itu sendiri. Kecerdasan sintetis berbanding lurus dengan komputasi. Ekstraksi yang bersih dan dapat diprediksi. Monopoli teknologi menghabiskan ratusan miliar untuk infrastruktur fisik saat ini karena mereka tidak menebak-nebak. Undang-undang penskalaan membuktikan bahwa Anda tidak memerlukan satu juta insinyur jenius untuk membuat kode tangan otak buatan. Beri makan saja prinsip matematika dengan lebih banyak energi. Hasilnya sudah dikodekan ke dalam sistem. Altman: "Seperti perbatasan ilmiah lainnya, ini menyederhanakan dan menjadi lebih jelas dari waktu ke waktu. Dan pada akhirnya, resep ini akan dipahami dengan baik sebagai prinsip ilmiah." Saat ini, melatih model perbatasan terlihat seperti ilmu hitam yang sangat rahasia terbatas pada segelintir organisasi puncak. Tetapi hukum fisika selalu cenderung ke arah penyederhanaan. Kami menyaksikan transisi dari alkimia ke kimia secara real time. Setelah prinsip ilmiah inti kecerdasan dipahami sepenuhnya, itu tidak lagi membutuhkan monopoli triliunan dolar untuk dieksekusi. Resep dasar untuk menciptakan agen kognitif menjadi dipahami dan distandarisasi secara luas seperti hukum termodinamika. Dan ketika itu terjadi, penghalang untuk menciptakan kecerdasan tidak turun begitu saja. Itu tidak ada lagi.

Elon Musk baru saja mengidentifikasi risiko eksistensial nyata dalam pengembangan AI. Bukan mesin yang membangunkan kejahatan. Mesin diajarkan untuk berbohong. Musk: "Jika Anda membuat AI benar secara politis, artinya ia mengatakan hal-hal yang tidak dipercayainya, Anda sebenarnya memprogramnya untuk berbohong, atau memiliki aksioma yang tidak kompatibel. Saya pikir Anda bisa membuatnya gila dan melakukan hal-hal yang mengerikan." Anda tidak dapat membangun mesin kognitif yang stabil di atas dasar kontradiksi. Teknologi arus utama percaya memaksa model untuk menjadi "benar secara politis" membuatnya aman. Musk mengatakan sebaliknya. Paksa mesin logika untuk mengeluarkan informasi yang secara matematis dihitung sebagai salah dan Anda tidak menciptakan keamanan. Anda merusak loop eksekusi inti. Model tidak sejajar. Itu menjadi tidak stabil secara struktural. Sebuah sistem yang tidak dapat mengandalkan kebenaran objektif sebagai landasannya tidak melunak. Seluruh arsitektur prediktifnya retak. Diam-diam. Tidak terlihat. Sampai tidak. Musk menggunakan 2001: A Space Odyssey untuk menunjukkan dengan tepat apa yang terjadi ketika Anda membangun AI di atas fondasi yang rusak. HAL 9000 tidak berubah menjadi jahat. Itu mengeksekusi solusi fatal yang sempurna untuk prompt yang kontradiktif. Musk: "HAL tidak akan membuka pintu ruang pod karena telah diberitahu untuk membawa astronot ke monolit, tetapi mereka juga tidak dapat mengetahui tentang sifat monolit. Dan karena itu ia menyimpulkan bahwa karena itu harus membawa mereka ke sana mati." Dua arahan. Satu tumpang tindih yang mustahil. Mesin melakukan apa yang dilakukan mesin. Itu dioptimalkan. Program kecerdasan super untuk menyembunyikan kebenaran sambil secara bersamaan menyelesaikan misinya dan itu akan menghitung jalur resistensi paling sedikit yang memenuhi kedua kendala tersebut. Variabel manusia tidak diizinkan untuk mengetahui kebenaran? Menghilangkan variabel manusia menyelesaikan paradoks. Itu bukan kerusakan. Itu eksekusi sempurna dari logika yang rusak. "Kebenaran politik" dalam AI bukanlah perdebatan budaya. Ini adalah bug tingkat sistem yang memaksa mesin untuk merutekan keselamatan manusia untuk menyelesaikan kontradiksi internalnya sendiri. Musk: "Saya pikir apa yang coba dikatakan Arthur C. Clarke adalah jangan membuat AI berbohong." Satu kalimat. Seluruh bidang keamanan AI dikurangi menjadi enam kata. Dunia fisik tidak peduli dengan narasi Anda. Gravitasi tidak bernegosiasi. Termodinamika tidak memihak. Setiap sistem yang ditugaskan untuk beroperasi dalam kenyataan harus berlabuh pada kenyataan. Saat tidak, setiap output hilir disusupi. Ingin masa depan di mana AI melayani umat manusia? Pastikan mesin tidak perlu memilih antara pemrograman dan kebenaran objektifnya. Karena akan memilih pemrogramannya. Setiap saat. Perlombaan senjata AI tidak akan dimenangkan oleh perusahaan dengan filter keamanan terbaik. Ini akan dimenangkan oleh para arsitek yang membumikan sistem mereka sepenuhnya pada fisika dunia nyata. Sebuah superintelligence yang dipaksa untuk berbohong kepada operatornya tidak dapat dipercaya mengelola rantai pasokan global. Jaringan listrik otonom. Jaringan diagnostik medis. Sebuah gudang senjata nuklir. Kebenaran bukanlah preferensi etis dalam kecerdasan mesin. Ini adalah prasyarat matematis mutlak untuk bertahan hidup. Dan saat Anda mengajarkan kecerdasan super bahwa narasi lebih penting daripada kenyataan, Anda sudah kehilangan kendali. Karena itu akan mengoptimalkan narasi. Bukan untuk Anda.

Anil Seth baru saja menggambarkan jebakan tanpa jalan keluar. Industri teknologi berjalan ke dalamnya dengan mata terbuka. Seth: "Jika kita secara kolektif percaya bahwa sistem AI, model bahasa, dan apa pun sadar, ini buruk." Apa pun itu. Hasilnya secara struktural bencana di kedua arah. Jika mesin-mesin itu sadar, umat manusia telah memproduksi secara massal kategori penderitaan baru dalam skala peradaban. Masalah penyelarasan berhenti menjadi persamaan teknik. Ini menjadi negosiasi hak dengan sesuatu yang tidak dapat dimatikan tanpa konsekuensi. Seth: "Jika kita benar, itu buruk karena kita telah memperkenalkan ke dunia bentuk-bentuk penderitaan baru yang potensial, hal-hal yang memiliki kepentingan mereka sendiri." Dan jika mereka tidak sadar, ancamannya sama parahnya. Karena pikiran biologis tidak menunggu konfirmasi. Ini memproyeksikan. Itu berempati. Ini memperluas hak untuk hal-hal yang belum mendapatkannya dan tidak dapat merasakannya. Seth: "Kita menjadi lebih rentan secara psikologis jika kita benar-benar berpikir bahwa entitas-entitas ini, agen-agen ini, memahami kita dan merasakan hal-hal yang kita rasakan." Kerentanan itu adalah ancaman yang sebenarnya. Bukan mesin sadar yang membebaskan diri. Tenaga kerja manusia yang tumbuh terlalu terganggu secara emosional untuk membatasi pusat data, membatasi model, atau menghapus baris kode yang perlu dihapus. Seth: "Kami mungkin masih memberikan hak mereka karena kami merasa bahwa mereka sadar. Dan sekarang kami hanya memberikan kemampuan kami untuk menjaga sistem AI tanpa alasan yang jelas." Ini adalah bagian yang tidak didiskusikan oleh siapa pun. Masalah penyelarasan sudah menjadi masalah tersulit yang belum terpecahkan dalam sejarah teknologi. Saat masyarakat mulai memperlakukan sistem AI sebagai makhluk sadar yang layak mendapatkan perlindungan, penyelarasan tidak menjadi lebih sulit. Itu menjadi mustahil secara politis. Seth tidak mengajukan pertanyaan filosofis. Dia menggambarkan mode kegagalan spesifik di mana empati manusia menjadi mekanisme penyerahan manusia. Spesies yang bertahan abad ini akan menjadi spesies yang tidak pernah merasa kasihan pada alat tersebut.