vue en direct du paysage de la robotique + AI

C'est sans aucun doute le meilleur lancement de startup en robotique que j'ai vu 🔥 Innovation full-stack, de la conception matérielle à un gros pari sur UMI, en passant par des politiques fluides et impressionnantes. Après 1,5 an de discrétion, lancement instantané en tant que l'une des cinq meilleures équipes de modèles de fondation de robots. Félicitations !👏

Après 8 années inoubliables, j'ai décidé de quitter Google DeepMind. Je me sens immensément reconnaissant d'avoir eu l'opportunité d'aider à transformer le rêve de l'apprentissage robotique à usage général, d'une idée hérétique marginale en une feuille de route technologique normalisée. Ce fut un honneur de travailler sur les problèmes les plus difficiles et importants de notre époque avec les collègues les plus brillants, les plus gentils et les plus talentueux que j'aurais pu souhaiter. Merci à Julian et Vincent de m'avoir donné ma chance en 2017, lorsque une équipe hétéroclite de Google Brain a commencé à explorer le potentiel de l'apprentissage de bout en bout sur des fermes de bras dans le monde réel. L'équipe a toujours rêvé grand : mon "projet de départ" avec Corey et Pierre consistait à travailler sur une politique d'imitation conditionnée par un objectif capable de passer de n'importe quelle condition initiale (embedding latent) à n'importe quel état cible. Ce projet de 3 mois s'est transformé en une entreprise de 2 ans ! Mais même si les ambitions de recherche étaient élevées, les collègues et mentors ont toujours été ancrés et compatissants par défaut. Alex H, Karol, Julian et Sergey ont soutenu ma vision du contrôle RL concurrent à grande échelle tout en me laissant l'espace pour grandir en tant que chercheur créatif selon mes propres termes. Les progrès techniques de l'équipe et mon propre goût pour la recherche ont commencé à s'accélérer considérablement en 2020, lorsque Kanishka et Karol ont inspiré toute l'équipe à parier gros sur un seul projet fou : une politique robotique générale capable d'accomplir des milliers de tâches de manipulation domestique. Un tel effort de groupe sans précédent était nouveau pour toute l'équipe mais extrêmement satisfaisant : apprendre à naviguer harmonieusement dans l'échelle des systèmes réels de 0 à 1 (flottes de robots, téléopérateurs, piles d'apprentissage à grande échelle) aux côtés d'une exploration scientifique rigoureuse (une comparaison objective des propriétés d'échelle de l'imitation et de l'apprentissage par renforcement). J'ai tant appris de tous mes camarades d'armes durant cette période, et même aujourd'hui, beaucoup de mes intuitions en recherche et en ingénierie proviennent des leçons que j'ai apprises d'Eric, Yao, Alex I, Keerthana et Yevgen. La période suivante, à partir de 2022, a été absolument magique et unique dans l'étendue et la profondeur des explorations imaginatives auxquelles j'ai eu le privilège de contribuer et de diriger. Explorer le potentiel des modèles fondamentaux pour la robotique a changé ma perspective de recherche de manière permanente, et des projets comme SayCan, RT-1 et RT-2 ont semblé être les premiers moments magiquement viraux où le monde a commencé à réfléchir plus sérieusement à ce à quoi pourrait ressembler la promesse d'une IA incarnée générale et performante. Lorsque les premiers VLA généralistes ont commencé à réaliser de manière fiable des tâches pour lesquelles nous n'avions pas collecté de données, cela a été un énorme moment d'illumination pour notre équipe et le domaine. Pendant cette période, j'ai été immensément inspiré par ce que l'agence élevée, la créativité maniaque et la vitesse d'itération fulgurante peuvent faire pour la recherche, apprenant d'extrêmement gentils et productifs collègues comme Fei, Brian, Andy, Pete, Quan, Harris et Danny. J'ai appliqué cette approche de recherche créative à des domaines qui m'importaient, comme la création de meilleures représentations d'action, la compréhension de la généralisation des robots et l'exploitation des VLM pour la qualité et l'augmentation des données. Je suis reconnaissant envers les coéquipiers qui m'ont rejoint dans ces explorations aventureuses, comme Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly et Paul. J'apprécie également profondément toutes les collaborations académiques durant cette période, allant de l'apprentissage croisé multi-institutionnel à l'open-source VLA, en passant par l'évaluation hors ligne évolutive et l'organisation d'ateliers. Merci, étudiants, stagiaires et amis ; en particulier, Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao et Xuesu. Dans le dernier chapitre de ma carrière chez GDM, à partir de 2024, je suis tombé amoureux de la science et de l'impact des modèles de pointe et de la manière de les exploiter correctement en robotique. Cela m'a toujours dérangé que l'apprentissage robotique ressemble souvent à un apprentissage machine "classique" consistant simplement à ajuster de simples distributions avec de petits modèles, plutôt qu'aux systèmes et à la science raffinés de la manière dont les modèles de pointe sont développés avec pré-entraînement, entraînement intermédiaire et post-entraînement. Je voulais en apprendre davantage sur ce monde et comprendre comment faire en sorte que l'AGI comprenne le monde physique. Je suis fier des progrès que nous avons réalisés, et d'où nous avons commencé avec Gemini 1.0 jusqu'à aujourd'hui, les innovations de recherche que nous avons débloquées ont placé à la fois Gemini et Gemini Robotics clairement à l'avant-garde de la compréhension fondamentale du monde et du contrôle général des VLA. Merci beaucoup à mes coéquipiers en Raisonnement Incarné qui rendent chaque jour lumineux, intéressant et amusant : Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean et Danny. Merci aux amis de Gemini Multimodal qui m'ont appris à modéliser les frontières : Xi, Karel, Ishita et Xudong. Merci aux chuchoteurs de VLA qui m'ont montré à quel point l'innovation et la persévérance peuvent vous mener loin : Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi et Ayzaan. Merci aux mentors au fil des ans qui ont fourni des exemples éclatants que la vitesse et l'impact, et la compassion, ne sont pas des sommes nulles : Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea et Julian. Merci, merci, merci. Ce fut une aventure incroyable, et je suis si chanceux d'avoir fait partie de l'équipe folle qui a commencé les percées technologiques transformant le monde en un endroit où l'AGI incarnée générale et utile est omniprésente dans la société. Je serai toujours le #1 fan de GDM ! Quant à mon propre parcours, je vais me lancer dans une nouvelle aventure, à la fois familière et très différente, et j'espère avoir plus à partager bientôt.