live blikk på robotikk + AI-landskapet

Dette er uten tvil den beste oppstartsoppstarten innen robotikk jeg har sett 🔥 Fullstack-innovasjon fra maskinvaredesign til store satsinger på UMI til smidige og imponerende policyer. Etter 1,5 år med stealth, lanserte de umiddelbart som et topp 5 robotgrunnlag. Congrats!👏

Etter 8 uforglemmelige år har jeg bestemt meg for å forlate Google DeepMind. Jeg føler meg utrolig takknemlig for å ha hatt muligheten til å hjelpe til med å forvandle drømmen om generell robotlæring fra en kjettersk utkantidé til et normalisert teknologiveikart. Det har vært en ære for livet å jobbe med de mest utfordrende og viktige problemene i vår tid med de flinkeste, snilleste og mest talentfulle kollegene jeg kunne ha ønsket meg. Takk til Julian og Vincent for at dere tok sjansen på meg tilbake i 2017, da et fillete team hos Google Brain begynte å utforske potensialet for ende-til-ende-læring på armfarmer i den virkelige verden. Teamet har alltid drømt stort: Mitt «startprosjekt» med Corey og Pierre var å jobbe med en målbetinget imitasjonspolitikk som var i stand til å gå fra en hvilken som helst starttilstand (latent innbygging) til en hvilken som helst måltilstand. Det 3-måneders prosjektet ble til en 2-årig bestrebelse! Men selv om forskningsambisjonene var høye, har kolleger og mentorer alltid vært jordnære og medfølende som standard. Alex H, Karol, Julian og Sergey støttet min visjon om samtidig kontroll RL i stor skala, samtidig som de ga meg rom til å vokse til en kreativ forsker på mine egne premisser. Teamets tekniske fremgang og min egen forskningssmak begynte å akselerere betraktelig i 2020, da Kanishka og Karol inspirerte hele teamet til å satse stort på ett enkelt sprøtt måneskudd: en generell robotpolitikk som kunne utføre tusenvis av husholdningsmanipulasjonsoppgaver. En slik enestående gruppeinnsats var ny for hele teamet, men ekstremt tilfredsstillende – å lære å harmonisk navigere 0-til-1 systemskalering i den virkelige verden (robotflåter, teleoperatører, skalerte læringsstabler) sammen med streng vitenskapelig utforskning (en objektiv sammenligning av skaleringsegenskapene til imitasjon og forsterkende læring). Jeg lærte så mye av alle mine våpenkamerater i løpet av denne tiden, og selv den dag i dag trekker mange av mine forsknings- og ingeniørintuisjoner fra leksjonene jeg lærte av Eric, Yao, Alex I, Keerthana og Yevgen. Den påfølgende perioden, som startet i 2022, var helt magisk og unik i bredden og dybden av fantasifulle utforskninger som jeg var privilegert å bidra til og lede. Å utforske potensialet til grunnleggende modeller for robotikk endret forskningsutsiktene mine permanent, og prosjekter som SayCan, RT-1 og RT-2 føltes som de første magisk virale øyeblikkene da verden begynte å tenke mer seriøst på hvordan løftet om generell og ytelsesbasert legemliggjort AI kunne se ut. Da de første generalist-VLA-ene begynte å utføre oppgaver som vi ikke hadde samlet inn data for, var det et stort lyspæreøyeblikk for teamet vårt og felten. I løpet av denne tiden ble jeg enormt inspirert av hva høy handlekraft, manisk kreativitet og lynrask iterasjonshastighet kan gjøre for forskning, og lærte av ekstremt snille og produktive kolleger som Fei, Brian, Andy, Pete, Quan, Harris og Danny. Jeg brukte denne tilnærmingen til vilt kreativ forskning på områder jeg brydde meg om, for eksempel å skape bedre handlingsrepresentasjoner, forstå robotgeneralisering og utnytte VLM-er for datakvalitet og utvidelse. Jeg er takknemlig for lagkamerater som ble med meg på disse eventyrlige utforskningene, som Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly og Paul. Jeg setter også stor pris på alt det akademiske samarbeidet i løpet av denne tiden – alt fra læring på tvers av institusjoner på tvers av institusjoner til åpen kildekode VLA-er til skalerbar offline evaluering til organisering av workshops. Takk, studenter, praktikanter og venner; spesielt Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao og Xuesu. I det siste kapittelet av karrieren min hos GDM, som startet i 2024, ble jeg forelsket i vitenskapen og virkningen av grensemodeller og hvordan jeg kan utnytte dem riktig i robotikk. Det har alltid plaget meg fundamentalt at robotlæring ofte så ut som "klassisk" maskinlæring som bare passer enkle distribusjoner med små modeller, i stedet for de polerte skalerte systemene og vitenskapen om hvordan grensemodeller utvikles med før-trening, midt-trening og etter-trening. Jeg ønsket å lære om den verdenen og finne ut hvordan jeg kunne få AGI til å forstå den fysiske verden. Jeg er stolt av fremgangen vi har gjort, og fra der vi startet med Gemini 1.0 til i dag, har forskningsinnovasjonene vi har låst opp plassert både Gemini og Gemini Robotics klart i forkant av både grunnleggende verdensforståelse og generell VLA-kontroll. Tusen takk til lagkameratene mine i Embodied Reasoning som gjør hver dag lys, interessant og morsom: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean og Danny. Takk til venner i Gemini Multimodal som lærte meg å grensemodeller: Xi, Karel, Ishita og Xudong. Takk til VLA-hviskerne som har vist meg hvor langt innovasjon og utholdenhet kan ta deg: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi og Ayzaan. Takk til mentorer gjennom årene som har gitt lysende eksempler på at hastighet og innvirkning, og medfølelse, ikke er nullsum: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea og Julian. Takk, takk, takk. Det har vært et så utrolig eventyr, og jeg er så heldig å ha vært en del av det gale teamet som startet de teknologiske gjennombruddene som forvandlet verden til en verden der generell og hjelpsom legemliggjort AGI er allestedsnærværende i samfunnet. Jeg vil alltid være #1 GDM-fan! Når det gjelder min egen reise, vil jeg legge ut på et nytt eventyr, både kjent og veldig annerledes, og håper å ha mer å dele snart.