live blik op het robotica + AI landschap

Dit is zonder twijfel de beste lancering van een robotica-startup die ik heb gezien 🔥 Volledige innovatie van hardwareontwerp tot groot inzetten op UMI tot soepele en indrukwekkende beleidsmaatregelen. Na 1,5 jaar in stealth, onmiddellijk lanceren als een top-5 robot fundamentaal modelteam. Gefeliciteerd!👏

Na 8 onvergetelijke jaren heb ik besloten Google DeepMind te verlaten. Ik ben enorm dankbaar dat ik de kans heb gehad om de droom van algemeen robotleren van een ketterse fringe-idee om te zetten in een genormaliseerde technologie roadmap. Het is een eer van mijn leven geweest om te werken aan de meest uitdagende en belangrijke problemen van onze tijd met de slimste, vriendelijkste en meest getalenteerde collega's die ik me maar kon wensen. Bedankt aan Julian en Vincent voor het nemen van een kans op mij in 2017, toen een bont gezelschap bij Google Brain begon te verkennen wat de mogelijkheden waren voor end-to-end leren op arm farms in de echte wereld. Het team heeft altijd groot gedroomd: mijn "starterproject" met Corey en Pierre was om te werken aan een doel-geconditioneerd imitatiebeleid dat in staat was om van elke initiële toestand (latente embedding) naar elke doeltoestand te gaan. Dat project van 3 maanden werd een inspanning van 2 jaar! Maar hoewel de onderzoeksambities hoog waren, waren collega's en mentoren altijd van nature nuchter en meelevend. Alex H, Karol, Julian en Sergey steunden mijn visie van gelijktijdige controle RL op schaal terwijl ze me de ruimte gaven om op mijn eigen voorwaarden een creatieve onderzoeker te worden. De technische vooruitgang van het team en mijn eigen onderzoeksvoorkeuren begonnen aanzienlijk te versnellen in 2020, toen Kanishka en Karol het hele team inspireerden om groot in te zetten op één enkele gekke moonshot: een algemeen robotbeleid dat duizenden huishoudelijke manipulatie-taken kon uitvoeren. Zo'n ongekende groepsinspanning was nieuw voor het hele team, maar extreem bevredigend - om te leren hoe je harmonieus kunt navigeren door 0-tot-1 echte wereldsystemen (robotvloten, teleoperators, geschaalde leersystemen) naast rigoureuze wetenschappelijke verkenning (een objectieve vergelijking van de schaal eigenschappen van imitatie- en versterkend leren). Ik heb zoveel geleerd van al mijn strijdgenoten in deze tijd, en zelfs tot op de dag van vandaag put ik veel van mijn onderzoeks- en engineeringintuitie uit de lessen die ik heb geleerd van Eric, Yao, Alex I, Keerthana en Yevgen. De volgende periode, die begon in 2022, was absoluut magisch en uniek in de breedte en diepte van de imaginaire verkenningen waaraan ik het voorrecht had bij te dragen en te leiden. Het verkennen van het potentieel van foundation-modellen voor robotica veranderde mijn onderzoeksuitzicht permanent, en projecten zoals SayCan, RT-1 en RT-2 voelden als de eerste magisch virale momenten waarop de wereld serieuzer begon na te denken over wat de belofte van algemene en performante belichaamde AI zou kunnen zijn. Toen de eerste generalistische VLAs betrouwbaar taken begonnen uit te voeren waarvoor we geen gegevens hadden verzameld, was dat een enorme "lightbulb moment" voor ons team en het veld. Tijdens deze tijd was ik enorm geïnspireerd door wat hoge agency, manische creativiteit en razendsnelle iteraties kunnen doen voor onderzoek, en leerde ik van extreem vriendelijke en productieve collega's zoals Fei, Brian, Andy, Pete, Quan, Harris en Danny. Ik paste deze benadering van wild creatieve onderzoek toe op gebieden die me interesseerden, zoals het creëren van betere actie-representaties, het begrijpen van robotgeneralizatie en het benutten van VLM's voor datakwaliteit en augmentatie. Ik ben dankbaar voor de teamgenoten die met me meegingen op deze avontuurlijke verkenningen, zoals Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly en Paul. Ik waardeer ook alle academische samenwerkingen in deze tijd - variërend van multi-institutie cross-embodiment leren tot open-source VLAs tot schaalbare offline evaluatie tot het organiseren van workshops. Bedankt, studenten, stagiaires en vrienden; in het bijzonder, Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao en Xuesu. In het laatste hoofdstuk van mijn carrière bij GDM, dat begon in 2024, raakte ik gefascineerd door de wetenschap en impact van frontier-modellen en hoe deze op de juiste manier in robotica te benutten. Het heeft me altijd fundamenteel gestoord dat robotleren vaak leek op "klassieke" machine learning van alleen maar het passen van eenvoudige distributies met kleine modellen, in plaats van de gepolijste geschaalde systemen en wetenschap van hoe frontier-modellen worden ontwikkeld met pre-training, mid-training en post-training. Ik wilde leren over die wereld en uitvinden hoe AGI de fysieke wereld kan begrijpen. Ik ben trots op de vooruitgang die we hebben geboekt, en van waar we begonnen met Gemini 1.0 tot vandaag, hebben de onderzoeksinnovaties die we hebben ontgrendeld zowel Gemini als Gemini Robotics duidelijk aan de voorhoede geplaatst van zowel fundamenteel wereldbegrip als algemene VLA-controle. Heel erg bedankt aan mijn teamgenoten in Embodied Reasoning die elke dag helder, interessant en leuk maken: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean en Danny. Bedankt aan vrienden in Gemini Multimodal die me hebben geleerd hoe ik frontier-modellen moet maken: Xi, Karel, Ishita en Xudong. Bedankt aan de VLA-whisperers die me hebben laten zien hoe ver innovatie en doorzettingsvermogen je kunnen brengen: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi en Ayzaan. Bedankt aan mentoren door de jaren heen die schitterende voorbeelden hebben gegeven dat snelheid en impact, en medemenselijkheid, geen zero-sum zijn: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea en Julian. Dank u, dank u, dank u. Het is een ongelooflijk avontuur geweest, en ik ben zo gelukkig dat ik deel heb uitgemaakt van het gekke team dat de technologie doorbraken heeft gestart die de wereld transformeert in een wereld waar algemene en behulpzame belichaamde AGI alomtegenwoordig is in de samenleving. Ik zal altijd de #1 GDM-fan zijn! Wat mijn eigen reis betreft, ik zal aan een nieuw avontuur beginnen, zowel vertrouwd als heel anders, en hoop binnenkort meer te delen.