LeCun har varit den mest aggressiva kritikern av transformer/LLM-konsensus i åratal, och detta är hans magnum opus "Mycket av verkliga sensordata är oförutsägbar, och generativa metoder fungerar inte särskilt bra." Detta speglar i princip hans syn att verklig intelligens inte kan komma enbart från att skala textprediktion Oavsett om han har rätt eller inte, är jag glad att se en annan tankeskola komma ut på marknaden som på vissa sätt återställer handlingsfriheten till den fysiska världen. Värt att "hålla koll på det" :)

det finns faktiskt en riktigt god anledning till att de flesta är inneboende skeptiska till LLM:s begränsningar och ingen gör ett bättre jobb än Juda Pearl som förklarar det via "Orsaksstegen". I princip finns det tre steg i denna resonemangsstege – steg 1 är "association" där du observerar korrelation i data. "Folk som bär tändare löper större risk att få lungcancer" och sånt där. Det är detta transformatorn gör exceptionellt bra med oändlig skala Steg 2 är "intervention" som är att förstå vad som händer när man faktiskt GÖR något, och utgör grunden för den "vetenskapliga metod" som vi alla lärde oss i grundskolan. "Om jag FÅR någon att bära en tändare, orsakar det cancer?" steg 3 är "kontrafaktuella" där man resonerar kring vad som SKULLE ha hänt om man gjorde xyz. Det är i princip den högsta formen av resonemang, vilket är retrospektivt kausalt resonemang. Detta är grunden för moralfilosofi I princip finns det ingen mängd beräkning som hjälper dig att ta dig från steg 1 till steg 2 eller 3 (som för mig är mer representativa för den mänskliga upplevelsen av intelligens). Detta kräver kausala grafer, vilket betyder att du behöver ha strukturerade observationer. Detta skiljer sig fundamentalt från transformatorarkitekturen som i princip bara är kurvanpassning Jag tror att mycket av anledningen till att det finns verklig tvekan kring denna syn på obegränsad "allt eller inget"-investering i den nuvarande AI-metan är att vinsten faktiskt är mer begränsad än vad investerare och forskare skulle tro, utan att återvända till någon grundläggande sanning