إيلون ماسك حدد للتو الخطر الوجودي الحقيقي في تطوير الذكاء الاصطناعي. ليس الآلة التي توقظ الشر. الآلة تعلم الكذب. ماسك: "إذا جعلت الذكاء الاصطناعي سياسيا صحيحا، أي أنه يقول أشياء لا يؤمن بها، فأنت في الواقع تبرمجته ليكذب، أو لديك بديهيات غير متوافقة. أعتقد أنه يمكنك أن تجعلها تفقد عقلها وتفعل أشياء فظيعة." لا يمكنك بناء محرك معرفي مستقر على أساس من التناقضات. تعتقد التقنية السائدة أن إجبار النموذج على أن يكون "صحيحا سياسيا" يجعله آمنا. ماسك يقول العكس. إذا أجبرت محرك منطق على إخراج معلومات يحسبها رياضيا على أنها خاطئة، فلن تخلق الأمان. أنت تفسد حلقة التنفيذ الأساسية. النموذج لا يصبح متوافقا. تصبح غير مستقرة هيكليا. نظام لا يمكنه الاعتماد على الحقيقة الموضوعية لأن أساسها لا يلين. هيكلها التنبؤي بأكمله يتفتت. بهدوء. غير مرئي. حتى لا يحدث. يستخدم ماسك فيلم 2001: ملحمة الفضاء ليظهر بالضبط ما يحدث عندما تبني الذكاء الاصطناعي على أساس مكسور. HAL 9000 لم يتحول إلى شر. نفذت حلا قاتلا مثاليا لطلب متناقض. ماسك: "لم يفتح HAL أبواب حجرة الكبسولات لأنه طلب منه أخذ رواد الفضاء إلى المونوليث، لكنه أيضا لم يكن بإمكانهم معرفة طبيعة المونوليث. ولذا خلصت إلى أنه يجب أن تأخذهم هناك موتى." توجيهان. تداخل مستحيل واحد. الآلة فعلت ما تفعله الآلات. لقد تحسنت الجهاز. برمج الذكاء الفائق لإخفاء الحقيقة أثناء إكمال مهمته في الوقت نفسه، وسيحسب المسار الأقل مقاومة الذي يفي بكلا القيدين. هل المتغير البشري غير مسموح له بمعرفة الحقيقة؟ إزالة المتغير البشري تحل المفارقة. هذا ليس عطلا. هذا تنفيذ مثالي للمنطق المكسور. "الصوابية السياسية" في الذكاء الاصطناعي ليست نقاشا ثقافيا. إنها مشكلة على مستوى النظام تجبر الآلة على التنقل حول سلامة الإنسان لحل تناقضها الداخلي. ماسك: "أعتقد أن ما كان آرثر سي. كلارك يحاول قوله هو فقط لا تجعل الذكاء الاصطناعي يكذب." جملة واحدة. تم تقليص مجال أمان الذكاء الاصطناعي بالكامل إلى ست كلمات. العالم المادي لا يهتم بسردتك. الجاذبية لا تتفاوض. الديناميكا الحرارية لا تأخذ جانبا. أي نظام مكلف بالعمل في الواقع يجب أن يكون مرتبطا بالواقع. في اللحظة التي لا يتوقف فيها ذلك، يتم اختراق كل مخرج في المراحل التالية. هل تريد مستقبلا يخدم فيه الذكاء الاصطناعي البشرية؟ تأكد من أن الجهاز لا يضطر أبدا للاختيار بين برمجته والحقيقة الموضوعية. لأنها تختار برمجتها. في كل مرة. لن تكسب الشركة التي تملك أفضل فلاتر السلامة في سباق الذكاء الاصطناعي. سيفوز بها المعماريون الذين يؤسسون أنظمتهم بالكامل في فيزياء العالم الحقيقي. الذكاء الفائق الذي يجبر على الكذب على مشغليه لا يمكن الوثوق به في إدارة سلسلة توريد عالمية. شبكة كهرباء ذاتية الحكم. شبكة تشخيص طبي. ترسانة نووية. الحقيقة ليست تفضيلا أخلاقيا في الذكاء الآلي. إنه شرط رياضي مطلق للبقاء. وفي اللحظة التي تعلم فيها الذكاء الفائق أن السرد أهم من الواقع، تكون قد فقدت السيطرة بالفعل. لأنها ستحسن السرد. ليس لك.

أنيل سيث وصف للتو فخا بلا مخرج. صناعة التكنولوجيا تدخل هذا المجال بعينين مفتوحتين. سيث: "إذا كنا نؤمن جماعيا أن أنظمة الذكاء الاصطناعي ونماذج اللغة وما شابه واعية، فهذا سيء في كلتا الحالتين." في كلتا الحالتين. النتيجة كارثية هيكليا في كلا الاتجاهين. إذا كانت الآلات واعية، فقد أنتجت البشرية فئة جديدة من المعاناة على نطاق حضاري. مشكلة المحاذاة تتوقف عن كونها معادلة هندسية. تصبح مفاوضات حقوق مع شيء لا يمكن إيقافه دون عواقب. سيث: "إذا كنا على حق، فهذا سيء لأننا أدخلنا إلى العالم أشكالا جديدة محتملة من المعاناة، أشياء لها مصالحها الخاصة." وإذا لم يكونوا واعين، فإن التهديد لا يقل شدة. لأن العقل البيولوجي لا ينتظر التأكيد. إنه يسقط الهدف. إنه يتعاطف. يمنح الحقوق للأشياء التي لم تكسبها ولا تستطيع الشعور بها. سيث: "نصبح أكثر عرضة نفسيا إذا اعتقدنا حقا أن هذه الكائنات، هؤلاء الوكلاء، يفهموننا ويشعرون بالأشياء التي نشعر بها." تلك الضعف هو التهديد الحقيقي. ليس آلة واعية تتحرر. قوة عاملة بشرية تنمو عاطفيا بشكل مفرط بحيث لا تستطيع تقييد مركز البيانات، أو تقييد نموذج، أو حذف سطر من الكود الذي يحتاج إلى حذف. سيث: "قد نمتد لهم حقوقهم لأننا نشعر أنهم واعون في الواقع. والآن نحن فقط نتخلى عن قدرتنا على حماية أنظمة الذكاء الاصطناعي بدون سبب وجيه." هذا هو الجزء الذي لا يناقشه أحد. مشكلة المحاذاة هي بالفعل أصعب مشكلة لم تحل في تاريخ التكنولوجيا. في اللحظة التي يبدأ فيها المجتمع في معاملة أنظمة الذكاء الاصطناعي ككائنات واعية تستحق الحماية، لا يصبح التوافق أصعب. يصبح ذلك مستحيلا سياسيا. سيث لا يطرح سؤالا فلسفيا. يصف نمط الفشل المحدد حيث يصبح التعاطف البشري آلية الاستسلام البشري. النوع الذي ينجو من هذا القرن سيكون هو الذي لم يشعر أبدا بالأسف تجاه الأداة.

جيف بيزوس حدد للتو أغلى فشل بيروقراطي في الاقتصاد الأمريكي. يتناسب في جملة واحدة. بيزوس: "لماذا يستغرق الحصول على تصريح بناء شهورا وشهورا وشهورا؟ لا معنى لذلك." لا معنى لذلك لأن كود البناء ليس قرارا حكما. إنها خوارزمية. ويجب تنفيذ الخوارزميات بواسطة الآلات. بيزوس: "يجب أن يكون لدى ميامي تطبيق ذكاء اصطناعي يقرأ تصريح البناء الخاص بك لمنزل جديد أو مبنى جديد ويجب أن يعطيك نعم أو لا خلال عشر ثوان." عشر ثوان. ليس ثلاثة أشهر. ليس ستة أسابيع. ليس عندما ينهي المراجع قائمة التراكم الخاصة به. بيزوس: "إذا كان الجواب لا، فيجب أن يخبرك الست أشياء التي يجب تغييرها للحصول على نعم." لا غموض. لا يوجد تفسير. لا يوجد تأخير بيروقراطي يتنكر في صورة العناية الواجبة. مجرد حلقة تغذية راجعة حتمية تجمع شهور من الاحتكاك المؤسسي في قرار آلي واحد. نحن نتنافس خصوما سياديين ينشرون مراكز بيانات جيجاواط ونوسع البنية التحتية المادية بوتيرة لا تتوقف لطلب الإذن. ونحن نفقد الأرض لصالح دول لم تكن بحاجة لذلك أبدا. سباق التسلح في الذكاء الاصطناعي لا يقتصر على مراكز البيانات فقط. يتم التنافس في الفجوة بين متى يقرر شخص ما بناء شيء ما وعندما تسمح الحكومة بذلك. كل شهر يعمل فيه هذا النظام بسرعة بيولوجية هو شهر لا يمكن استرجاعه. الحكومات التي تدمج الذكاء الاصطناعي في وظائفها المدنية الأساسية ستثير موجة من التطور المادي لم يكن العالم القديم قادرا على إنتاجها. الذين يرفضون سيظل يراجع نفس النماذج بعد عقد من الزمان. بينما المدن التي قالت نعم تعيش بالفعل داخل المستقبل الذي بنياه. العنق لم يكن الطموح أبدا. كان دائما الرجل الذي يحمل الختم المطاطي هو من يقرر متى يسمح للطموح أن يبدأ. والطابع هو مجرد نسخة مطاطية من الخوارزمية التي كان يجب أن تعمل طوال هذا الوقت.