LeCun 多年来一直是 transformer/LLM 共识中最激进的批评者，这也是他的代表作。 “现实世界中的传感器数据大多是不可预测的，而生成性方法效果不佳。”这基本上概括了他认为真正的智能不能仅仅依靠文本预测的观点。 无论他是否正确，我都很高兴看到另一种思想流派进入市场，在某种程度上将主动权恢复到物理世界。值得“关注一下” :)

实际上，大多数人对大型语言模型（LLM）局限性持怀疑态度是有充分理由的，而没有人比朱迪亚·珀尔（Judea Pearl）更好地解释这一点，他通过“因果阶梯”来阐述。 基本上，这个推理的阶梯有三个梯级——第一梯级是“关联”，这是你在数据中观察到的相关性。“携带打火机的人更可能得肺癌”这类的东西。这正是变换器在无限规模下表现得非常出色的地方。 第二梯级是“干预”，即理解当你实际采取某种行动时会发生什么，这构成了我们在小学学习的“科学方法”的基础。“如果我让某人携带打火机，这会导致癌症吗？”第三梯级是“反事实”，这是你推理如果你做了xyz会发生什么。这基本上是推理的最高形式，即回顾性因果推理。这是道德哲学的基础。 基本上，没有任何计算能力可以帮助你从第一梯级跃升到第二或第三梯级（在我看来，这更能代表人类的智力体验）。这需要因果图，这意味着你需要有结构化的观察。这与变换器架构根本不同，后者基本上只是曲线拟合。 我认为，许多人对当前AI元宇宙中无限“全有或全无”支出的真正犹豫，部分原因在于收益实际上比投资者和科学家们想象的要有限得多，而不回归某些第一原则的真理。