LeCun 多年來一直是 transformer/LLM 共識中最激進的批評者，這是他的代表作。 「許多現實世界的感測器數據是不可預測的，而生成方法效果不佳。」這基本上概括了他的觀點，即真正的智慧不能僅僅來自於擴大文本預測。 無論他是否正確，我都很高興看到另一種思潮進入市場，某種程度上將主動權恢復到物理世界。值得「保持關注」 :)

其實大多數人對於大型語言模型（LLM）的限制持懷疑態度是有充分理由的，而沒有比朱迪亞·珀爾（Judea Pearl）更好地解釋這一點，他通過「因果階梯」來說明。 基本上，這個推理的階梯有三個階梯——第一階梯是「關聯」，這是你在數據中觀察到的相關性。「攜帶打火機的人更可能得肺癌」這類的東西。這正是變壓器在無限規模下做得非常好的地方。 第二階梯是「干預」，這是理解當你實際上做某事時會發生什麼，並形成我們在小學時學到的「科學方法」的基礎。「如果我讓某人攜帶打火機，這會導致癌症嗎？」第三階梯是「反事實」，這是你推理如果你做了xyz會發生什麼。這基本上是推理的最高形式，即回顧性因果推理。這是道德哲學的基礎。 基本上，沒有任何計算能力能幫助你從第一階梯到達第二或第三階梯（對我來說，這更能代表人類的智慧體驗）。這需要因果圖，這意味著你需要有結構化的觀察。這與變壓器架構根本不同，後者基本上只是曲線擬合。 我認為，對於當前AI元宇宙中無限「全有或全無」支出的這種觀點存在真正的猶豫，部分原因是實際的收益比投資者和科學家們所想的要有限得多，而不回到某些第一原則的真理。