LeCun tem sido o crítico mais agressivo do consenso sobre transformadores/LLM durante anos, e esta é a sua obra-prima "muitos dos dados de sensores do mundo real são imprevisíveis, e abordagens generativas não funcionam bem." Isso basicamente epitomiza a sua visão de que a verdadeira inteligência não pode vir apenas da escalabilidade da previsão de texto se ele está certo ou não, estou entusiasmado para ver uma outra escola de pensamento chegar ao mercado que, de certa forma, restaura a agência de volta ao mundo físico. Vale a pena "manter um olho nisso" :)

na verdade, há uma razão muito boa pela qual a maioria das pessoas é inerentemente cética sobre os limites dos LLM e ninguém faz um trabalho melhor do que Judea Pearl, que explica isso através da "Escada da Causalidade" basicamente, há três degraus nesta escada de raciocínio - o degrau 1 é "associação", que é onde você observa correlação nos dados. "pessoas que carregam isqueiros têm mais probabilidade de desenvolver câncer de pulmão" esse tipo de coisa. é isso que o transformador faz excepcionalmente bem em escala infinita o degrau 2 é "intervenção", que é entender o que acontece quando você realmente FAZ algo, e forma a base do "método científico" que todos nós aprendemos na escola primária. "se eu FIZER alguém carregar um isqueiro, isso CAUSA câncer?" o degrau 3 são os "contrafactuais", que é onde você raciocina sobre o que TERIA acontecido se você tivesse feito xyz. é basicamente a forma mais alta de raciocínio, que é o raciocínio causal retrospectivo. esta é a base da filosofia moral basicamente, não há quantidade de computação que o ajudará a passar do degrau 1 para o degrau 2 ou 3 (que para mim são mais representativos da experiência humana da inteligência). isso requer gráficos causais, o que significa que você precisa ter observações estruturadas. isso é fundamentalmente diferente da arquitetura do transformador, que basicamente é apenas ajuste de curvas eu acho que muito da hesitação real sobre essa visão de gasto ilimitado "tudo ou nada" no atual meta da IA é que o ganho é na verdade mais finito do que investidores e cientistas pensariam sem retornar a alguma verdade dos primeiros princípios.