LeCun ha sido el crítico más agresivo del consenso transformer/LLM durante años, y esta es su obra magna "Gran parte de los datos reales de sensores son impredecibles, y los enfoques generativos no funcionan bien." Esto básicamente ejemplifica su visión de que la verdadera inteligencia no puede provenir solo de la predicción textual escalable Tenga razón o no, me emociona ver salir al mercado otra corriente de pensamiento que, en cierto modo, devuelve la agencia al mundo físico. Merece la pena "vigilarlo" :)

De hecho, hay una muy buena razón por la que la mayoría de la gente es inherentemente escéptica respecto a los límites del LLM y nadie lo hace mejor que Judea Pearl, quien lo explica a través de "la Escalera de la Causalidad". Básicamente, hay tres peldaños en esta escalera de razonamiento: el peldaño 1 es la "asociación", que es donde observas correlación en los datos. "Las personas que llevan mecheros tienen más probabilidades de tener cáncer de pulmón" y cosas así. Esto es lo que hace excepcionalmente bien el transformador con escala infinita El peldaño 2 es la "intervención", que consiste en entender qué ocurre cuando realmente HACES algo, y forma la base del "método científico" que todos aprendimos en la escuela primaria. "si OBLIGO a alguien a llevar un mechero, ¿CAUSA cáncer?" El peldaño 3 es el "contrafactual", que es donde razonas sobre lo que HABRÍA pasado si hubieras hecho tal cosa. Básicamente es la forma más elevada de razonamiento, que es el razonamiento causal retrospectivo. Esta es la base de la filosofía moral Básicamente, no hay cantidad de cálculo que te ayude a pasar del peldaño 1 al segundo o tercer (que para mí son más representativos de la experiencia humana de la inteligencia). Esto requiere grafos causales, lo que significa que necesitas observaciones estructuradas. Esto es fundamentalmente diferente de la arquitectura del transformador, que básicamente es un ajuste de curvas Creo que gran parte de la razón por la que hay verdadera duda en esta visión de un gasto ilimitado de "todo o nada" en la meta actual de la IA es que la ganancia es en realidad más finita de lo que inversores y científicos por igual podrían pensar sin volver a alguna verdad de principios básicos