LeCun je už roky nejtvrdším kritikem konsenzu transformer/LLM a toto je jeho vrcholné dílo "Mnoho reálných dat ze senzorů je nepředvídatelných a generativní přístupy nefungují dobře." To v podstatě vystihuje jeho názor, že skutečná inteligence nemůže pocházet pouze ze škálování textové predikce Ať už má pravdu nebo ne, těším se, že na trh přijde další směr myšlení, který v jistém smyslu vrátí svobodu zpět do fyzického světa. Stojí za to to "sledovat to" :)

Existuje vlastně opravdu dobrý důvod, proč je většina lidí inherentně skeptická vůči limitům LLM a nikdo to nedělá lépe než Judea Pearl, která to vysvětluje skrze "Žebřík příčinnosti". V podstatě existují tři příčky v tomto žebříčku uvažování – první příčka je "asociace", kde pozorujete korelaci v datech. "lidé, kteří nosí zapalovače, mají větší pravděpodobnost rakoviny plic". To je to, co Transformer dělá výjimečně dobře s nekonečným měřítkem Druhý stupeň je "intervence", což je pochopit, co se stane, když něco skutečně UDĚLÁŠ, a tvoří základ "vědecké metody", kterou jsme se všichni naučili na základní škole. "Když NECHÁM někoho nosit zapalovač, způsobí to rakovinu?" Třetí příčka jsou "kontrafakty", kde uvažujete, co by se stalo, kdybyste udělali xyz. Je to v podstatě nejvyšší forma uvažování, což je retrospektivní kauzální uvažování. To je základ morální filozofie V podstatě neexistuje žádné množství výpočtů, které by vám pomohlo dostat se z první na druhou nebo třetí úroveň (které jsou podle mě spíše reprezentativní pro lidskou zkušenost s inteligencí). To vyžaduje kauzální grafy, což znamená, že potřebujete strukturovaná pozorování. To je zásadně jiné než architektura transformerů, která v podstatě jen přizpůsobuje křivky Myslím, že důvod, proč je k tomuto pohledu na neomezené "vše nebo nic" utrácení na současné AI metě skutečná váhavost, spočívá v tom, že zisk je ve skutečnosti konečnější, než by si investoři i vědci mysleli, aniž by se vrátili k nějakým základním principům