LeCun is al jaren de meest agressieve criticus van de transformer/LLM consensus, en dit is zijn magnum opus "veel van de sensor data uit de echte wereld is onvoorspelbaar, en generatieve benaderingen werken niet goed." Dit belichaamt in wezen zijn opvatting dat echte intelligentie niet kan voortkomen uit alleen het opschalen van tekstvoorspelling of hij gelijk heeft of niet, ik ben enthousiast om een andere denkrichting op de markt te zien komen die op sommige manieren de autonomie terugbrengt naar de fysieke wereld. Waard om "in de gaten te houden" :)

er is eigenlijk een heel goede reden waarom de meeste mensen van nature sceptisch zijn over de grenzen van LLM en niemand doet het beter dan Judea Pearl die het uitlegt via "de Ladder van Causatie" basically zijn er drie treden in deze ladder van redeneren - trede 1 is "associatie" wat is waar je correlatie in data observeert. "mensen die aanstekers bij zich hebben, hebben een grotere kans op longkanker" soort dingen. dit is wat de transformer uitzonderlijk goed doet met oneindige schaal trede 2 is "interventie" wat is om te begrijpen wat er gebeurt wanneer je daadwerkelijk IETS DOET, en vormt de basis van de "wetenschappelijke methode" die we allemaal op de basisschool hebben geleerd. "als ik IEMAND dwing om een aansteker te dragen, veroorzaakt dat dan kanker?" trede 3 zijn de "tegenfeitelijkheden" wat is waar je redeneert over wat er ZOU zijn gebeurd als je xyz had gedaan. het is in wezen de hoogste vorm van redeneren, wat retrospectieve causale redenering is. dit is de basis van de morele filosofie basically, er is geen hoeveelheid rekenkracht die je kan helpen om van trede 1 naar trede 2 of 3 te komen (wat voor mij meer representatief is voor de menselijke ervaring van intelligentie). dit vereist causale grafieken, wat betekent dat je gestructureerde observaties nodig hebt. dit is fundamenteel anders dan de transformerarchitectuur die in wezen gewoon curve fitting is denk dat veel van de echte aarzeling over deze visie van onbeperkte "alles of niets" uitgaven op de huidige AI-meta is dat de winst eigenlijk meer eindig is dan investeerders en wetenschappers samen zouden denken zonder terug te keren naar een of andere waarheid van de eerste principes.