LeCun, yıllardır transformer/LLM uzlaşışının en agresif eleştirmeni ve bu onun başyapıtı "Gerçek dünya sensör verilerinin çoğu öngörülemez ve üretken yaklaşımlar iyi çalışmıyor." Bu temelde, gerçek zekanın yalnızca metin tahminini ölçeklendirerek ortaya çıkamayacağı görüşünü özetliyor Haklı olsun ya da olmasın, bir şekilde fiziksel dünyaya iradeyi geri getirecek başka bir düşünce okulunun piyasaya çıkmasını görmek için heyecanlıyım. "Gözünüzde tutmaya" değer :)

Çoğu kişinin LLM'nin sınırları konusunda doğası gereği şüpheci olmasının gerçekten iyi bir nedeni var ve bunu "Nedensel Merdiven" ile açıklayan Judea Pearl kadar iyi bir iş çıkaran kimse yoktur. Temelde bu akıl yürütme merdiveninde üç basamak var - birinci basamak "ilişkilendirme"dir; burada verilerde korelasyon gözlemlenir. "çakmak taşıyanlar akciğer kanserine yakalanma olasılığı daha yüksektir" gibi şeyler. Transformer'ın sonsuz ölçekle olağanüstü iyi yaptığı şey budur 2. basamak "müdahale"dir; yani gerçekten bir şey yaptığınızda ne olduğunu anlamak ve hepimizin ilkokulda öğrendiği "bilimsel yöntemin" temelini oluşturur. "Birine çakmak taşımaya zorlarsam, kansere neden olur mu?" 3. basamak "karşıt gerçekler"dir; burada xyz yapsaydın ne olacağını düşünürsün. Temelde en yüksek akıl yürütme biçimi olan geriye dönük nedensel akıl yürütmedir. Bu, ahlaki felsefenin temelidir Temelde, 1. basamadan 2. veya 3. basamaya (ki bunlar bana göre insan zeka deneyimini daha çok temsil ediyor) ulaşmanıza yardımcı olacak hiçbir hesaplama miktarı yok. Bu, nedensel grafikler gerektirir, yani yapılandırılmış gözlemlere sahip olmanız gerekir. Bu, temelde sadece curve fitting olan transformatör mimarisinden temelde farklıdır Bence mevcut yapay zeka metasında sınırsız "ya hepsi ya hiç" harcaması görüşündeki gerçek tereddütün büyük bir nedeni, kazancın yatırımcılar ve bilim insanlarının düşündüğünden daha sınırlı olması, bazı ilk ilkelere dönmeden