كان ليكون أكثر المنتقدين حدة لتوافق الترانسفورمر/LLM لسنوات، وهذه هي عملته الكبرى "الكثير من بيانات المستشعرات في العالم الحقيقي غير متوقعة، والأساليب التوليدية لا تعمل بشكل جيد." وهذا يجسد وجهة نظره بأن الذكاء الحقيقي لا يمكن أن يأتي من التكبير فقط من التنبؤ بالنص سواء كان على حق أم لا، أنا متحمس لرؤية مدرسة فكرية أخرى تطرح السوق تعيد الوكالة إلى العالم المادي. يستحق الأمر "مراقبته" :)

في الواقع، هناك سبب وجيه جدا يجعل معظم الناس متشككين بطبيعتهم حول حدود LLM، ولا أحد يقوم بعمل أفضل من جوديا بيرل التي تشرح ذلك عبر "سلم السببية" بشكل أساسي، هناك ثلاث درجات في هذا السلم المنطقي - الدرجة الأولى هي "الارتباط" حيث تلاحظ الارتباط في البيانات. من نوع "الأشخاص الذين يحملون ولاعات هم أكثر عرضة للإصابة بسرطان الرئة". هذا ما يفعله المحول بشكل استثنائي مع المقياس اللانهائي الدرجة الثانية هي "التدخل" وهي فهم ما يحدث عندما تقوم فعليا بشيء ما، وتشكل أساس "المنهج العلمي" الذي تعلمناه جميعا في المدرسة الابتدائية. "إذا جعلت شخصا يحمل ولاعة، هل يسبب ذلك السرطان؟" الدرجة الثالثة هي "الأدلة المضادة" حيث تفكر فيما كان سيحدث لو فعلت كذا كذا. إنه في الأساس أعلى شكل من أشكال التفكير، وهو التفكير السببي الرجعي. هذه هي أساس الفلسفة الأخلاقية ببساطة، لا يوجد قدر من الحوسبة سيساعدك على الانتقال من الدرجة الأولى إلى الدرجة الثانية أو الثالثة (والتي بالنسبة لي تمثل أكثر تجربة الإنسان في الذكاء). هذا يتطلب رسوم بيانية سببية، مما يعني أنك بحاجة إلى ملاحظات منظمة. هذا يختلف جوهريا عن بنية المحول التي هي في الأساس ملاءمة منحنية أعتقد أن الكثير من أسباب التردد الحقيقي في هذا التصور حول الإنفاق غير المحدود ل "الكل أو لا شيء" على ميتا الذكاء الاصطناعي الحالي هو أن المكاسب في الواقع أكثر محدودية مما قد يظنه المستثمرون والعلماء دون العودة إلى بعض المبادئ الأساسية