live-titt på robotik + AI-landskapet

Det här är utan tvekan den bästa robotikstartup-lanseringen jag har sett 🔥 Fullstack-innovation från hårdvarudesign till stora satsningar på UMI till smidiga och imponerande policys. Efter 1,5 år som stealth, lanserades de omedelbart som ett topp-5 robot-foundation-modellteam. Grattis!👏

Efter 8 oförglömliga år har jag bestämt mig för att lämna Google DeepMind. Jag känner mig oerhört tacksam över att ha fått möjligheten att hjälpa till att förvandla drömmen om robotinlärning för allmänna ändamål från en kättersk sidoidé till en normaliserad teknikplan. Det har varit en ära för livet att få arbeta med vår tids mest utmanande och viktiga problem tillsammans med de smartaste, snällaste och mest begåvade kollegor jag kunde ha önskat mig. Tack till Julian och Vincent för att ni tog chansen på mig 2017, när ett brokigt team på Google Brain började utforska potentialen för heltäckande inlärning på armfarmer i den verkliga världen. Teamet har alltid drömt stort: mitt "startprojekt" med Corey och Pierre var att arbeta på en målbetingad imitationspolicy som kan gå från vilket initialt tillstånd som helst (latent inbäddning) till vilket måltillstånd som helst. Det 3-månadersprojektet förvandlades till en 2-årig strävan! Men även om forskningsambitionerna var höga, har kollegor och mentorer alltid varit jordnära och medkännande per automatik. Alex H, Karol, Julian och Sergey stödde min vision om samtidig kontroll RL i stor skala samtidigt som de gav mig utrymme att växa till en kreativ forskare på mina egna villkor. Teamets tekniska framsteg och min egen forskningssmak började accelerera avsevärt 2020, när Kanishka och Karol inspirerade hela teamet att satsa stort på ett enda galet månskott: en allmän robotpolicy som skulle kunna utföra tusentals hushållsmanipulationsuppgifter. En sådan aldrig tidigare skådad gruppinsats var ny för hela teamet men extremt tillfredsställande – att lära sig hur man harmoniskt navigerar 0-till-1 verklig systemskalning (robotflottor, teleoperatörer, skalade inlärningsstackar) tillsammans med rigorös vetenskaplig utforskning (en objektiv jämförelse av skalningsegenskaperna hos imitation och förstärkningsinlärning). Jag lärde mig så mycket av alla mina vapenbröder under den här tiden, och än i dag bygger många av mina forsknings- och ingenjörsintuitioner på de lärdomar jag lärde mig av Eric, Yao, Alex I, Keerthana och Yevgen. Den följande perioden, med start 2022, var helt magisk och unik i bredden och djupet av fantasifulla upptäcktsfärder som jag hade förmånen att bidra till och leda. Utforskandet av potentialen hos grundmodeller för robotik förändrade mitt forskningsperspektiv permanent, och projekt som SayCan, RT-1 och RT-2 kändes som de första magiskt virala ögonblicken när världen började tänka mer seriöst på hur löftet om generell och högpresterande förkroppsligad AI skulle kunna se ut. När de första generalist-VLA:erna började utföra uppgifter som vi inte hade samlat in data för på ett tillförlitligt sätt var det en enorm aha-upplevelse för vårt team och för fältet. Under den här tiden blev jag oerhört inspirerad av vad hög agens, manisk kreativitet och blixtrande iterationshastighet kan göra för forskningen, och jag lärde mig av extremt snälla och produktiva kollegor som Fei, Brian, Andy, Pete, Quan, Harris och Danny. Jag tillämpade detta tillvägagångssätt för vilt kreativ forskning på områden som jag brydde mig om, som att skapa bättre handlingsrepresentationer, förstå robotgeneralisering och utnyttja VLM:er för datakvalitet och förstärkning. Jag är tacksam mot lagkamrater som följde med mig på dessa äventyrliga utforskningar, som Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly och Paul. Jag uppskattar också djupt alla akademiska samarbeten under den här tiden – allt från lärande mellan flera institutioner till VLA:er med öppen källkod till skalbar offlineutvärdering och organisering av workshops. Tack, studenter, praktikanter och vänner; i synnerhet Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao och Xuesu. I det sista kapitlet av min karriär på GDM, som börjar 2024, blev jag förälskad i vetenskapen och effekten av gränsmodeller och hur man utnyttjar dem på rätt sätt inom robotik. Det har alltid stört mig att robotinlärning ofta såg ut som "klassisk" maskininlärning där man bara passade enkla fördelningar med små modeller, snarare än de polerade skalsystemen och vetenskapen om hur gränsmodeller utvecklas med förträning, mitt under träningen och efter träningen. Jag ville lära mig om den världen och ta reda på hur jag skulle få AGI att förstå den fysiska världen. Jag är stolt över de framsteg vi har gjort, och från där vi började med Gemini 1.0 till idag har de forskningsinnovationer vi har låst upp placerat både Gemini och Gemini Robotics tydligt i framkant när det gäller både grundläggande världsförståelse och allmän VLA-kontroll. Tack så mycket till mina lagkamrater i Embodied Reasoning som gör varje dag ljus, intressant och rolig: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean och Danny. Tack till vänner i Gemini Multimodal som lärde mig hur man gränsmodellerar: Xi, Karel, Ishita och Xudong. Tack till VLA-viskarna som har visat mig hur långt innovation och uthållighet kan ta dig: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi och Ayzaan. Tack till mentorer genom åren som har gett lysande exempel på att snabbhet och påverkan, och medkänsla, inte är ett nollsummespel: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea och Julian. Tack, tack, tack. Det har varit ett otroligt äventyr, och jag är så lyckligt lottad att ha varit en del av det galna team som startade de tekniska genombrotten som förvandlade världen till en värld där allmän och hjälpsam förkroppsligad AGI är allestädes närvarande i samhället. Jag kommer alltid att vara #1 GDM! När det gäller min egen resa kommer jag att ge mig ut på ett nytt äventyr, både bekant och väldigt annorlunda, och hoppas att jag snart har mer att dela med mig av.