LeCun har vært den mest aggressive kritikeren av transformer/LLM-konsensusen i årevis, og dette er hans mesterverk "Mye av sensordataene fra den virkelige verden er uforutsigbare, og generative tilnærminger fungerer ikke godt." Dette er i bunn og grunn et bilde av hans syn om at ekte intelligens ikke kan komme fra kun å skalere tekstprediksjon Enten han har rett eller ikke, gleder jeg meg til å se en ny tankeretning komme på markedet som på noen måter gjenoppretter handlefrihet i den fysiske verden. Verdt å «holde et øye med det» :)

det finnes faktisk en veldig god grunn til at de fleste er iboende skeptiske til grensene for LLM, og ingen gjør en bedre jobb enn Juda Pearl, som forklarer det via «Årsaksstigen». I bunn og grunn er det tre trinn i denne resonnementsstigen – trinn 1 er «assosiasjon», som er der du observerer korrelasjon i data. "Folk som bærer lightere har større sannsynlighet for å få lungekreft"-type ting. Dette er hva Transformeren gjør eksepsjonelt godt med uendelig skala Trinn 2 er «intervensjon», som er å forstå hva som skjer når du faktisk GJØR noe, og danner grunnlaget for den «vitenskapelige metoden» vi alle lærte på barneskolen. «Hvis jeg FÅR noen til å bære en lighter, forårsaker det da kreft?» trinn 3 er «kontrafaktuelle», som er der du resonnerer om hva som VILLE skjedd hvis du gjorde xyz. Det er i bunn og grunn den høyeste formen for resonnement, som er retrospektiv kausal resonnement. Dette er grunnlaget for moralfilosofi I bunn og grunn finnes det ingen mengde datakraft som hjelper deg å komme fra trinn 1 til trinn 2 eller 3 (som for meg er mer representative for den menneskelige opplevelsen av intelligens). Dette krever kausale grafer, noe som betyr at du må ha strukturerte observasjoner. Dette er fundamentalt annerledes enn transformatorarkitekturen, som i bunn og grunn bare tilpasser kurver Jeg tror mye av grunnen til at det er reell nøling rundt dette synet om ubegrenset «alt eller ingenting»-bruk på dagens AI-meta, er at gevinsten faktisk er mer begrenset enn både investorer og forskere ville tro, uten å vende tilbake til noen grunnleggende prinsipper