uno sguardo dal vivo al panorama della robotica + AI

Questo è senza dubbio il miglior lancio di startup di robotica che abbia mai visto 🔥 Innovazione full-stack, dalla progettazione hardware a scommettere in grande su UMI, con politiche fluide e impressionanti. Dopo 1,5 anni di stealth, si lancia immediatamente come uno dei primi 5 team di modelli di fondazione robotica. Congratulazioni!👏

Dopo 8 anni indimenticabili, ho deciso di lasciare Google DeepMind. Mi sento immensamente grato di aver avuto l'opportunità di contribuire a trasformare il sogno dell'apprendimento robotico a scopo generale da un'idea eretica e marginale in una roadmap tecnologica normalizzata. È stato un onore lavorare sui problemi più sfidanti e importanti del nostro tempo con i colleghi più brillanti, gentili e talentuosi che potessi desiderare. Grazie a Julian e Vincent per aver scommesso su di me nel 2017, quando un gruppo eterogeneo di Google Brain ha iniziato a esplorare il potenziale dell'apprendimento end-to-end su fattorie di bracci robotici nel mondo reale. Il team ha sempre sognato in grande: il mio "progetto iniziale" con Corey e Pierre era lavorare su una politica di imitazione condizionata agli obiettivi capace di passare da qualsiasi condizione iniziale (embedding latente) a qualsiasi stato obiettivo. Quel progetto di 3 mesi si è trasformato in un impegno di 2 anni! Ma anche se le ambizioni di ricerca erano elevate, i colleghi e i mentori sono sempre stati ancorati e compassionevoli per default. Alex H, Karol, Julian e Sergey hanno sostenuto la mia visione del controllo RL concorrente su larga scala, permettendomi di crescere come ricercatore creativo secondo i miei termini. Il progresso tecnico del team e il mio stesso gusto per la ricerca hanno iniziato ad accelerare notevolmente nel 2020, quando Kanishka e Karol hanno ispirato l'intero team a scommettere in grande su un'unica folle opportunità: una politica robotica generale capace di svolgere migliaia di compiti di manipolazione domestica. Un tale sforzo di gruppo senza precedenti era nuovo per l'intero team ma estremamente soddisfacente: imparare a navigare armoniosamente nei sistemi reali 0-to-1 (flotte di robot, teleoperatori, stack di apprendimento scalati) insieme a rigorose esplorazioni scientifiche (un confronto obiettivo delle proprietà di scaling dell'imitazione e dell'apprendimento per rinforzo). Ho imparato così tanto da tutti i miei compagni d'armi durante questo periodo, e anche oggi, molte delle mie intuizioni di ricerca e ingegneria derivano dalle lezioni apprese da Eric, Yao, Alex I, Keerthana e Yevgen. Il periodo successivo, a partire dal 2022, è stato assolutamente magico e unico nella varietà e nella profondità delle esplorazioni imaginative a cui ho avuto il privilegio di contribuire e guidare. Esplorare il potenziale dei modelli di base per la robotica ha cambiato permanentemente la mia prospettiva di ricerca, e progetti come SayCan, RT-1 e RT-2 sono sembrati i primi momenti magici e virali in cui il mondo ha iniziato a pensare più seriamente a come potrebbe apparire la promessa di un'IA incarnata generale e performante. Quando i primi VLA generalisti hanno iniziato a svolgere compiti per i quali non avevamo raccolto dati, è stato un enorme momento di illuminazione per il nostro team e per il campo. Durante questo periodo, sono stato immensamente ispirato da ciò che l'alta agenzia, la creatività maniacale e la velocità di iterazione possono fare per la ricerca, imparando da colleghi estremamente gentili e produttivi come Fei, Brian, Andy, Pete, Quan, Harris e Danny. Ho applicato questo approccio di ricerca creativa sfrenata a aree che mi interessavano, come la creazione di migliori rappresentazioni delle azioni, la comprensione della generalizzazione dei robot e l'utilizzo dei VLM per la qualità e l'augmented data. Sono grato ai compagni di squadra che mi hanno accompagnato in queste esplorazioni avventurose, come Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly e Paul. Apprezzo anche profondamente tutte le collaborazioni accademiche durante questo periodo, che vanno dall'apprendimento cross-embodiment tra più istituzioni a VLA open-source, a valutazioni offline scalabili, fino all'organizzazione di workshop. Grazie, studenti, tirocinanti e amici; in particolare, Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao e Xuesu. Nell'ultimo capitolo della mia carriera in GDM, a partire dal 2024, mi sono innamorato della scienza e dell'impatto dei modelli di frontiera e di come sfruttarli correttamente nella robotica. Mi ha sempre infastidito il fatto che l'apprendimento robotico sembrasse spesso "classico" machine learning, limitato a adattare semplici distribuzioni con modelli piccoli, piuttosto che ai sistemi e alla scienza raffinati di come i modelli di frontiera vengono sviluppati con pre-training, mid-training e post-training. Volevo imparare di più su quel mondo e capire come far sì che l'AGI comprendesse il mondo fisico. Sono orgoglioso dei progressi che abbiamo fatto, e da dove siamo partiti con Gemini 1.0 fino ad oggi, le innovazioni nella ricerca che abbiamo sbloccato hanno collocato sia Gemini che Gemini Robotics chiaramente all'avanguardia sia nella comprensione fondamentale del mondo che nel controllo generale dei VLA. Grazie mille ai miei compagni di squadra in Embodied Reasoning che rendono ogni giorno luminoso, interessante e divertente: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean e Danny. Grazie agli amici in Gemini Multimodal che mi hanno insegnato come funzionano i modelli di frontiera: Xi, Karel, Ishita e Xudong. Grazie ai sussurratori di VLA che mi hanno mostrato quanto lontano possano portarti innovazione e perseveranza: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi e Ayzaan. Grazie ai mentori nel corso degli anni che hanno fornito esempi brillanti che velocità e impatto, e compassione, non sono a somma zero: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea e Julian. Grazie, grazie, grazie. È stata un'avventura incredibile e sono così fortunato di aver fatto parte del team folle che ha avviato le innovazioni tecnologiche che stanno trasformando il mondo in uno in cui l'AGI incarnata generale e utile è onnipresente nella società. Sarò sempre il #1 fan di GDM! Per quanto riguarda il mio viaggio, intraprenderò una nuova avventura, sia familiare che molto diversa, e spero di avere di più da condividere presto.