LeCun tem sido o crítico mais agressivo do consenso transformer/LLM por anos, e esta é sua obra-prima "Grande parte dos dados reais dos sensores é imprevisível, e abordagens generativas não funcionam bem." Isso basicamente exemplifica sua visão de que a verdadeira inteligência não pode vir apenas da previsão de texto escalável Esteja ele certo ou não, estou animado para ver outra corrente de pensamento surgir no mercado que, de certa forma, restaura a agência ao mundo físico. Vale a pena "ficar de olho" :)

Na verdade, há um motivo muito bom para a maioria das pessoas ser inerentemente cética quanto aos limites do LLM e ninguém faz um trabalho melhor do que Judea Pearl, que explica isso através de "a Escada da Causalidade". Basicamente, existem três degraus nessa escada de raciocínio – o degrau 1 é a "associação", que é onde você observa correlação nos dados. Coisas do tipo "pessoas que carregam isqueiros têm mais chances de desenvolver câncer de pulmão". É isso que o Transformer faz excepcionalmente bem com escala infinita o degrau 2 é "intervenção", que é entender o que acontece quando você realmente FAZ algo, e forma a base do "método científico" que todos aprendemos no ensino fundamental. "se eu OBRIGAR alguém a carregar um isqueiro, isso CAUSA câncer?" O degrau 3 é o "contrafatuário", que é onde você raciocina sobre o que TERIA acontecido se você fizesse xyz. É basicamente a forma mais elevada de raciocínio, que é o raciocínio causal retrospectivo. Esse é o fundamento da filosofia moral Basicamente, não existe quantidade de cálculo que ajude você a ir do degrau 1 ao degrau 2 ou 3 (que para mim são mais representativos da experiência humana da inteligência). Isso exige grafos causais, o que significa que você precisa ter observações estruturadas. Isso é fundamentalmente diferente da arquitetura de transformadores, que basicamente é só encaixe curva Acho que grande parte do motivo pelo qual há uma hesitação real nessa visão de gasto ilimitado de "tudo ou nada" no meta atual da IA é que o ganho é na verdade mais finito do que investidores e cientistas imaginariam sem voltar a alguma verdade dos princípios fundamentais