живой взгляд на ландшафт робототехники + AI

Это, безусловно, лучший запуск стартапа в области робототехники, который я когда-либо видел 🔥 Полноценные инновации от проектирования аппаратного обеспечения до крупных ставок на UMI и впечатляющие политики. После 1,5 лет в режиме скрытности, мгновенно запустившись как команда по созданию моделей роботов в топ-5. Поздравляю!👏

После 8 незабываемых лет я решил покинуть Google DeepMind. Я безмерно благодарен за возможность помочь превратить мечту о роботах общего назначения из еретической идеи на обочине в нормализованную технологическую дорожную карту. Для меня было честью работать над самыми сложными и важными проблемами нашего времени с самыми яркими, добрыми и талантливыми коллегами, о которых я мог только мечтать. Спасибо Джулиану и Винсенту за то, что поверили в меня в 2017 году, когда команда Google Brain начала исследовать потенциал обучения от начала до конца на фермах роботов в реальном мире. Команда всегда мечтала о большом: мой "стартовый проект" с Кори и Пьером заключался в разработке политики имитации, ориентированной на цель, способной переходить от любого начального состояния (латентное встраивание) к любому целевому состоянию. Этот трехмесячный проект превратился в двухлетнее начинание! Но, несмотря на высокие амбиции в исследованиях, коллеги и наставники всегда были приземленными и сострадательными по умолчанию. Алекс Х, Карол, Джулиан и Сергей поддержали мою идею о параллельном контроле RL в масштабе, позволяя мне пространство для роста в качестве креативного исследователя на своих условиях. Технический прогресс команды и мой собственный исследовательский вкус начали значительно ускоряться в 2020 году, когда Канишка и Карол вдохновили всю команду сделать ставку на одну единственную безумную идею: общую политику робота, способную выполнять тысячи задач по манипуляции в домашних условиях. Такое беспрецедентное коллективное усилие было новым для всей команды, но чрезвычайно удовлетворительным — учиться гармонично управлять масштабированием реальных систем 0-to-1 (флоты роботов, телеоператоры, масштабируемые обучающие стеки) наряду с строгим научным исследованием (объективное сравнение свойств масштабирования имитационного и подкрепляющего обучения). Я многому научился у всех своих товарищей по оружию в это время, и даже по сей день многие мои исследовательские и инженерные интуиции черпают из уроков, которые я усвоил от Эрика, Яо, Алекса I, Киртаны и Евгения. Следующий период, начиная с 2022 года, был абсолютно волшебным и уникальным по широте и глубине воображаемых исследований, к которым мне повезло внести свой вклад и возглавить. Исследование потенциала фундаментальных моделей для робототехники навсегда изменило мой исследовательский взгляд, и такие проекты, как SayCan, RT-1 и RT-2, казались первыми волшебно вирусными моментами, когда мир начал серьезнее задумываться о том, как может выглядеть обещание общего и производительного воплощенного ИИ. Когда первые универсальные VLA начали надежно выполнять задачи, для которых мы не собирали данные, это был огромный момент озарения для нашей команды и всей области. В это время я был безмерно вдохновлен тем, что высокая активность, маниакальная креативность и стремительная скорость итераций могут сделать для исследований, учась у чрезвычайно добрых и продуктивных коллег, таких как Фэй, Брайан, Энди, Пит, Куан, Харрис и Дэнни. Я применил этот подход дикой креативной исследовательской работы к областям, которые меня интересовали, таким как создание лучших представлений действий, понимание обобщения роботов и использование VLM для качества данных и их увеличения. Я благодарен товарищам, которые присоединились ко мне в этих приключенческих исследованиях, таким как Челси, Дорса, Джонатан, Вэньхао, Тянли, Монтсе, Шон, Остин, Келли и Пол. Я также глубоко ценю все академические сотрудничества в это время — от многопрофильного кросс-воплощенного обучения до открытых VLA, до масштабируемой оффлайн-оценки и организации семинаров. Спасибо, студенты, стажеры и друзья; в частности, Соруш, Цзияюань, Лаура, Сюаньлинь, Кайл, Карл, Ойер, Дхрув, Энни, Дженсен, Прия, Сунел, Айк, Хоманга, Хао и Сюэсу. В последней главе моей карьеры в GDM, начиная с 2024 года, я увлекся наукой и влиянием передовых моделей и тем, как правильно их использовать в робототехнике. Меня всегда беспокоило, что обучение роботов часто выглядело как "классическое" машинное обучение, просто подгонка простых распределений с небольшими моделями, а не как отточенные масштабируемые системы и наука о том, как разрабатываются передовые модели с предобучением, средним обучением и постобучением. Я хотел узнать об этом мире и выяснить, как заставить AGI понимать физический мир. Я горжусь тем прогрессом, которого мы добились, и с того момента, как мы начали с Gemini 1.0 до сегодняшнего дня, исследовательские инновации, которые мы открыли, поставили как Gemini, так и Gemini Robotics явно на передний план как в понимании основного мира, так и в управлении общими VLA. Огромное спасибо моим товарищам в Embodied Reasoning, которые делают каждый день ярким, интересным и веселым: Фэй, Джаки, Лаура, Вэнтao, Энни, Льюис, Ксения, Мохит, Шон и Дэнни. Спасибо друзьям в Gemini Multimodal, которые научили меня, как работать с передовыми моделями: Си, Карел, Ишита и Сюдун. Спасибо шептунам VLA, которые показали мне, как далеко могут завести инновации и настойчивость: Колин, Джулия, Клаудио, Алекс Л, Сумит, Ашвин, Судип, Деби и Айзаан. Спасибо наставникам на протяжении многих лет, которые предоставили яркие примеры того, что скорость и влияние, а также сострадание не являются нулевой суммой: Каролина, Цзие, Канишка, Николас, Джонатан, Пьер, Винсент, Карол, Сергей, Челси и Джулиан. Спасибо, спасибо, спасибо. Это было невероятное приключение, и я так счастлив, что был частью безумной команды, которая начала технологические прорывы, превращающие мир в место, где общий и полезный воплощенный AGI повсеместен в обществе. Я всегда буду #1 фанатом GDM! Что касается моего собственного пути, я собираюсь отправиться в новое приключение, как знакомое, так и очень отличающееся, и надеюсь вскоре поделиться новыми новостями.