Лекун на протяжении многих лет был самым агрессивным критиком консенсуса по трансформерам/LLM, и это его магнум опус. "Большая часть реальных сенсорных данных непредсказуема, и генеративные подходы не работают хорошо." Это в значительной степени олицетворяет его мнение о том, что истинный интеллект не может возникнуть только из масштабирования предсказания текста. Прав он или нет, мне интересно увидеть, как на рынок выходит еще одна школа мысли, которая в некотором смысле восстанавливает агентность в физическом мире. Стоит "держать на него глаз" :)

на самом деле есть очень веская причина, почему большинство людей по своей природе скептически относятся к пределам LLM, и никто не делает это лучше, чем юдея перл, который объясняет это через "Лестницу причинности". в основном, в этой лестнице рассуждений три ступени - ступень 1 это "ассоциация", где вы наблюдаете корреляцию в данных. "люди, которые носят зажигалки, с большей вероятностью заболевают раком легких" - вот такого рода вещи. именно это трансформер делает исключительно хорошо с бесконечным масштабом. ступень 2 это "вмешательство", которое позволяет понять, что происходит, когда вы действительно ДЕЛАЕТЕ что-то, и формирует основу "научного метода", который мы все изучали в начальной школе. "если я ЗАСТАВЛЮ кого-то носить зажигалку, это ПРИВЕДЕТ к раку?" ступень 3 это "контрфакты", где вы рассуждаете о том, что БЫ произошло, если бы вы сделали xyz. это, по сути, высшая форма рассуждений, которая является ретроспективным причинным рассуждением. это основа моральной философии. по сути, нет такого количества вычислений, которое помогло бы вам перейти с ступени 1 на ступень 2 или 3 (которые, на мой взгляд, более представляют человеческий опыт интеллекта). это требует причинных графов, что означает, что вам нужно иметь структурированные наблюдения. это принципиально отличается от архитектуры трансформера, которая по сути просто подгонка кривых. я думаю, что много причин, почему существует реальная неуверенность в этой точке зрения на неограниченные "все или ничего" расходы на текущую AI мету, заключается в том, что выгода на самом деле более конечна, чем инвесторы и ученые могли бы подумать, не возвращаясь к некоторой истине первых принципов.