privire live asupra peisajului roboticii + AI

Aceasta este, fără îndoială, cea mai bună lansare de startup de robotică pe care am văzut-o 🔥 vreodată Inovație full-stack, de la designul hardware-ului până la pariuri mari pe UMI și politici line și impresionante. După 1,5 ani de stealth, a fost lansat instantaneu ca o echipă de modele de top 5 pentru fundația roboților. Congrats!👏

După 8 ani de neuitat, am decis să părăsesc Google DeepMind. Mă simt extrem de recunoscător că am avut ocazia să ajut la transformarea visului de învățare a roboților de uz general dintr-o idee marginală eretică într-o foaie de parcurs tehnologică normalizată. A fost onoarea vieții mele să lucrez la cele mai provocatoare și importante probleme ale timpului nostru cu cei mai străluciți, mai amabili și mai talentați colegi pe care mi-aș fi putut dori. Mulțumesc lui Julian și Vincent pentru că au avut o șansă cu mine în 2017, când o echipă de la Google Brain a început să exploreze potențialul învățării end-to-end în fermele de brațe din lumea reală. Echipa a visat întotdeauna măreț: "proiectul meu de pornire" cu Corey și Pierre a fost să lucrez la o politică de imitație condiționată de obiective, capabilă să treacă de la orice condiție inițială (încorporare latentă) la orice stare de obiectiv. Acel proiect de 3 luni s-a transformat într-un efort de 2 ani! Dar chiar dacă ambițiile de cercetare au fost înalte, colegii și mentorii au fost întotdeauna împământați și plini de compasiune în mod implicit. Alex H, Karol, Julian și Sergey mi-au susținut viziunea de control concurent RL la scară largă, permițându-mi în același timp spațiul pentru a deveni un cercetător creativ în termenii mei. Progresul tehnic al echipei și propriul meu gust de cercetare au început să se accelereze substanțial în 2020, când Kanishka și Karol au inspirat întreaga echipă să parieze mult pe o singură lovitură nebună: o politică generală a roboților care ar putea îndeplini mii de sarcini de manipulare a gospodăriei. Un astfel de efort de grup fără precedent a fost nou pentru întreaga echipă, dar extrem de satisfăcător – să învețe cum să navigheze armonios în scalarea sistemelor din lumea reală 0-la-1 (flote de roboți, teleoperatori, stive de învățare la scară) alături de o explorare științifică riguroasă (o comparație obiectivă a proprietăților de scalare ale învățării prin imitație și întărire). Am învățat atât de multe de la toți tovarășii mei de arme în această perioadă și chiar și în ziua de azi, multe dintre intuițiile mele de cercetare și inginerie se bazează pe lecțiile pe care le-am învățat de la Eric, Yao, Alex I, Keerthana și Yevgen. Perioada următoare, începând din 2022, a fost absolut magică și unică prin amploarea și profunzimea explorărilor imaginative la care am avut privilegiul să contribui și să le conduc. Explorarea potențialului modelelor de bază pentru robotică mi-a schimbat permanent perspectiva de cercetare, iar proiecte precum SayCan, RT-1 și RT-2 s-au simțit ca primele momente virale în care lumea a început să se gândească mai serios la cum ar putea arăta promisiunea IA întrupată generală și performantă. Când primele VLA-uri generaliste au început să îndeplinească în mod fiabil sarcini pentru care nu colectasem date, a fost un moment uriaș pentru echipa noastră și pentru teren. În acest timp, am fost extrem de inspirat de ceea ce pot face agenția ridicată, creativitatea maniacală și viteza de iterație pentru cercetare, învățând de la colegi extrem de amabili și productivi precum Fei, Brian, Andy, Pete, Quan, Harris și Danny. Am aplicat această abordare de cercetare extrem de creativă în domenii care îmi pasă, cum ar fi crearea de reprezentări mai bune ale acțiunilor, înțelegerea generalizării roboților și utilizarea VLM-urilor pentru calitatea și augmentarea datelor. Sunt recunoscător colegilor de echipă care mi s-au alăturat în aceste explorări aventuroase, cum ar fi Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly și Paul. De asemenea, apreciez profund toate colaborările academice din această perioadă - de la învățarea încrucișată multi-instituție la VLA-uri open-source la evaluarea offline scalabilă și organizarea de ateliere. Mulțumesc, studenți, stagiari și prieteni; în special, Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao și Xuesu. În ultimul capitol al carierei mele la GDM, începând din 2024, m-am îndrăgostit de știința și impactul modelelor de frontieră și de modul în care le valorific corect în robotică. Întotdeauna m-a deranjat faptul că învățarea roboților arăta adesea ca învățarea automată "clasică" de a potrivi distribuții simple cu modele mici, mai degrabă decât sistemele la scară șlefuită și știința modului în care modelele de frontieră sunt dezvoltate cu pre-antrenament, mijloc și post-antrenament. Am vrut să învăț despre acea lume și să-mi dau seama cum să-l fac pe AGI să înțeleagă lumea fizică. Sunt mândru de progresul pe care l-am făcut și, de unde am început cu Gemini 1.0 până astăzi, inovațiile de cercetare pe care le-am deblocat au plasat atât Gemini, cât și Gemini Robotics în fruntea înțelegerii fundamentale a lumii și a controlului general al VLA. Mulțumesc foarte mult colegilor mei de echipă din Embodied Reasoning care fac fiecare zi strălucitoare, interesantă și distractivă: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean și Danny. Mulțumesc prietenilor din Gemini Multimodal care m-au învățat cum să modelez frontiera: Xi, Karel, Ishita și Xudong. Mulțumesc șoaptelor VLA care mi-au arătat cât de departe vă pot duce inovația și perseverența: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi și Ayzaan. Mulțumim mentorilor de-a lungul anilor care au oferit exemple strălucitoare că viteza, impactul și compasiunea nu sunt sumă zero: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea și Julian. Mulțumesc, mulțumesc, mulțumesc. A fost o aventură incredibilă și sunt atât de norocoasă că am făcut parte din echipa nebună care a început descoperirile tehnologice transformând lumea într-una în care AGI întruchipat general și util este omniprezent în societate. Voi fi întotdeauna #1 fan GDM! În ceea ce privește propria mea călătorie, mă voi îmbarca într-o nouă aventură, atât familiară, cât și foarte diferită, și sper să am mai multe de împărtășit în curând.