Живий погляд на ландшафт робототехніки + ШІ

Це беззаперечно найкращий стартап у сфері робототехніки, який я бачив 🔥 Інновації full-stack — від розробки апаратного забезпечення до великих ставок на UMI і плавних і вражаючих політик. Після 1,5 року стелсу, миттєво запуск як топ-5 команди основних моделей роботів. Вітаю! 👏

Після 8 незабутніх років я вирішив піти з Google DeepMind. Я безмежно вдячний за те, що мав можливість допомогти перетворити мрію про навчання роботів загального призначення з єретичної маргінальної ідеї на дорожню карту нормалізованих технологій. Для мене було честю всього життя працювати над найскладнішими та найважливішими проблемами нашого часу з найрозумнішими, найдобрішими та найталановитішими колегами, яких я міг побажати. Дякую Джуліану та Вінсенту за те, що вони надали мені шанс у 2017 році, коли різношерста команда Google Brain почала досліджувати потенціал наскрізного навчання на фермах у реальному світі. Команда завжди мріяла про велике: мій «стартовий проект» з Корі та П'єром полягав у тому, щоб працювати над цілеспрямованою політикою імітації, здатною перейти від будь-якого початкового стану (латентне вкладення) до будь-якого стану мети. Цей 3-місячний проект перетворився на 2-річну справу! Але навіть попри те, що дослідницькі амбіції були високими, колеги та наставники за замовчуванням були приземленими та співчутливими. Алекс Х, Кароль, Юліан і Сергій підтримали моє бачення паралельного контролю RL у масштабі, дозволивши мені вирости в творчого дослідника на моїх власних умовах. Технічний прогрес команди та мій власний дослідницький смак почали значно прискорюватися у 2020 році, коли Канішка та Кароль надихнули всю команду зробити велику ставку на одну-єдину божевільну місячну ставку: загальну політику роботів, які могли б виконати тисячі завдань із побутових маніпуляцій. Такі безпрецедентні групові зусилля були новими для всієї команди, але надзвичайно задовільними — навчитися гармонійно орієнтуватися в масштабуванні реальних систем 0 до 1 (парки роботів, телеоператори, масштабовані навчальні стеки) разом із суворими науковими дослідженнями (об'єктивне порівняння масштабних властивостей імітації та навчання з підкріпленням). Я так багато чому навчився від усіх своїх товаришів по зброї за цей час, і навіть до цього дня багато моїх наукових та інженерних інтуїцій черпають уроки, які я отримав від Еріка, Яо, Алекса I, Кіртани та Євгена. Наступний період, починаючи з 2022 року, був абсолютно чарівним і унікальним за широтою та глибиною творчих досліджень, до яких я мав честь долучитися та керувати. Вивчення потенціалу базових моделей для робототехніки назавжди змінило мої дослідницькі погляди, і такі проекти, як SayCan, RT-1 і RT-2, здавалися першими чарівно вірусними моментами, коли світ почав серйозніше замислюватися про те, як можуть виглядати перспективи загального та продуктивного втіленого штучного інтелекту. Коли перші ВЛА широкого профілю почали надійно виконувати завдання, для яких ми не збирали дані, це був величезний момент для нашої команди та поля. Протягом цього часу я був надзвичайно натхненний тим, що висока свобода волі, маніакальна креативність і блискавична швидкість ітерацій можуть зробити для досліджень, навчаючись у надзвичайно добрих і продуктивних колег, таких як Фей, Брайан, Енді, Піт, Куан, Харріс і Денні. Я застосував цей підхід надзвичайно творчих досліджень до областей, які мене цікавили, таких як створення кращих представлень дій, розуміння узагальнення роботів і використання VLM для якості та доповнення даних. Я вдячний товаришам по команді, які приєдналися до мене в цих пригодницьких дослідженнях, таким як Челсі, Дорса, Джонатан, Веньхао, Тяньлі, Монтсе, Шон, Остін, Келлі та Пол. Я також глибоко ціную всю академічну співпрацю протягом цього часу — починаючи від міжінституційного навчання з перехресним втіленням до VLA з відкритим вихідним кодом, масштабованого офлайн-оцінювання та організації семінарів. Дякую вам, студенти, стажери та друзі; зокрема, Соруш, Цзяюань, Лора, Сюаньлін, Кайл, Карл, Ойєр, Друв, Енні, Дженсен, Прія, Суніель, Айк, Хоманга, Хао та Сюесу. На останньому етапі моєї кар'єри в GDM, починаючи з 2024 року, я захопився наукою та впливом моделей frontier і тим, як їх правильно використовувати в робототехніці. Мене завжди принципово дратувало, що навчання роботів часто виглядало як «класичне» машинне навчання, коли просто підлаштовували прості розподіли під маленькі моделі, а не як відшліфовані масштабовані системи та наука про те, як frontier моделі розробляються з попереднім навчанням, середнім навчанням та після навчання. Я хотів дізнатися про цей світ і з'ясувати, як зробити так, щоб AGI розумів фізичний світ. Я пишаюся прогресом, якого ми досягли, і з того місця, з якого ми починали з Gemini 1.0, і до сьогодні, наукові інновації, які ми розблокували, явно поставили як Gemini, так і Gemini Robotics на передній край як фундаментального розуміння світу, так і загального контролю VLA. Величезне спасибі моїм товаришам по команді в Empodid Reasoning, які роблять кожен день яскравим, цікавим і веселим: Фей, Жакі, Лора, Вентао, Енні, Льюїс, Ксенія, Мохіт, Шон і Денні. Дякую друзям з Gemini Multimodal, які навчили мене моделі фронтиру: Сі, Карел, Ішіта та Сюдун. Дякую шепотів VLA, які показали мені, як далеко можуть завести вас інновації та наполегливість: Колін, Джулія, Клаудіо, Алекс Л, Сумет, Ашвін, Судіп, Дебі та Айзаан. Дякую наставникам протягом багатьох років, які наводили яскраві приклади того, що швидкість і вплив, а також співчуття не є нульовою сумою: Кароліна, Цзе, Канішка, Ніколя, Джонатан, П'єр, Вінсент, Кароль, Сергій, Челсі та Джуліан. Дякую, дякую, дякую. Це була така неймовірна пригода, і мені дуже пощастило бути частиною божевільної команди, яка започаткувала технологічні прориви, перетворюючи світ на такий, де загальне та корисне втілення AGI повсюдно поширене в суспільстві. Я завжди буду фанатом #1 GDM! Що стосується моєї власної подорожі, я вирушу в нову пригоду, як знайому, так і дуже різну, і сподіваюся, що незабаром матиму більше, чим можна поділитися.