na żywo spojrzenie na krajobraz robotyki + AI

To zdecydowanie najlepsze uruchomienie startupu robotycznego, jakie kiedykolwiek widziałem 🔥 Innowacje pełnostackowe, od projektowania sprzętu po dużą inwestycję w UMI, aż po płynne i imponujące polityki. Po 1,5 roku w ukryciu, natychmiastowe uruchomienie jako zespół modelu podstawowego robotów w pierwszej piątce. Gratulacje!👏

Po 8 niezapomnianych latach zdecydowałem się opuścić Google DeepMind. Jestem ogromnie wdzięczny za możliwość pomocy w przekształceniu marzenia o ogólnym uczeniu się robotów z heretyckiego pomysłu na marginesie w znormalizowaną mapę technologiczną. To była zaszczytna przygoda życia, aby pracować nad najtrudniejszymi i najważniejszymi problemami naszych czasów z najbystrzejszymi, najżyczliwszymi i najbardziej utalentowanymi kolegami, jakich mogłem sobie wymarzyć. Dziękuję Julianowi i Vincentowi za danie mi szansy w 2017 roku, kiedy zespół Google Brain zaczął badać potencjał uczenia się end-to-end na farmach robotów w rzeczywistym świecie. Zespół zawsze marzył o wielkich rzeczach: mój „projekt startowy” z Coreyem i Pierreem polegał na opracowaniu polityki imitacyjnej warunkowanej celem, zdolnej do przejścia z dowolnego stanu początkowego (ukryte osadzenie) do dowolnego stanu docelowego. Ten 3-miesięczny projekt przekształcił się w 2-letnie przedsięwzięcie! Ale mimo że ambicje badawcze były wysokie, koledzy i mentorzy zawsze byli zrównoważeni i współczujący z natury. Alex H, Karol, Julian i Sergey wspierali moją wizję równoległej kontroli RL na dużą skalę, dając mi przestrzeń do rozwoju jako kreatywnego badacza na własnych warunkach. Postępy techniczne zespołu i mój własny gust badawczy zaczęły znacznie przyspieszać w 2020 roku, kiedy Kanishka i Karol zainspirowali cały zespół do postawienia dużych zakładów na jeden szalony cel: ogólną politykę robota, która mogłaby wykonać tysiące zadań manipulacyjnych w gospodarstwie domowym. Taki bezprecedensowy wysiłek grupowy był nowością dla całego zespołu, ale niezwykle satysfakcjonującym doświadczeniem – nauczyć się harmonijnie nawigować w systemach rzeczywistych 0-do-1 (floty robotów, teleoperatorzy, skalowane stosy uczenia) obok rygorystycznej eksploracji naukowej (obiektywne porównanie właściwości skalowania uczenia imitacyjnego i wzmacniającego). Nauczyłem się tak wiele od wszystkich moich towarzyszy broni w tym czasie, a nawet do dziś wiele moich intuicji badawczych i inżynieryjnych czerpie z lekcji, które otrzymałem od Erica, Yao, Alexa I, Keerthany i Yevgena. Następny okres, zaczynający się w 2022 roku, był absolutnie magiczny i wyjątkowy pod względem szerokości i głębokości wyobraźni, w które miałem zaszczyt się przyczynić i prowadzić. Badanie potencjału modeli podstawowych dla robotyki na zawsze zmieniło moje spojrzenie na badania, a projekty takie jak SayCan, RT-1 i RT-2 wydawały się pierwszymi magicznie wirusowymi momentami, kiedy świat zaczął poważniej myśleć o tym, jak może wyglądać obietnica ogólnej i wydajnej ucieleśnionej AI. Kiedy pierwsze ogólne VLAs zaczęły niezawodnie wykonywać zadania, do których nie zbieraliśmy danych, był to ogromny moment olśnienia dla naszego zespołu i całej dziedziny. W tym czasie byłem ogromnie zainspirowany tym, co może zrobić wysoka agencja, maniakalna kreatywność i błyskawiczne tempo iteracji dla badań, ucząc się od niezwykle życzliwych i produktywnych kolegów, takich jak Fei, Brian, Andy, Pete, Quan, Harris i Danny. Zastosowałem to podejście dzikiej kreatywności badawczej w obszarach, które mnie interesowały, takich jak tworzenie lepszych reprezentacji działań, zrozumienie generalizacji robotów i wykorzystanie VLM-ów do jakości danych i augmentacji. Jestem wdzięczny kolegom, którzy dołączyli do mnie w tych przygodowych eksploracjach, takim jak Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly i Paul. Głęboko doceniam również wszystkie współprace akademickie w tym czasie – od uczenia się międzyinstytucjonalnego po otwarte źródła VLA, po skalowalną ocenę offline i organizację warsztatów. Dziękuję studentom, stażystom i przyjaciołom; w szczególności Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao i Xuesu. W ostatnim rozdziale mojej kariery w GDM, zaczynając w 2024 roku, zakochałem się w nauce i wpływie modeli granicznych oraz w tym, jak właściwie je wykorzystać w robotyce. Zawsze fundamentalnie denerwowało mnie, że uczenie się robotów często wyglądało jak „klasyczne” uczenie maszynowe, polegające na dopasowywaniu prostych rozkładów z małymi modelami, a nie na dopracowanych systemach skalowych i nauce, jak rozwijane są modele graniczne z pre-treningiem, mid-treningiem i post-treningiem. Chciałem poznać ten świat i dowiedzieć się, jak sprawić, by AGI rozumiało świat fizyczny. Jestem dumny z postępów, które osiągnęliśmy, a od momentu, gdy zaczęliśmy z Gemini 1.0 do dziś, innowacje badawcze, które odblokowaliśmy, umieściły zarówno Gemini, jak i Gemini Robotics wyraźnie na czołowej pozycji zarówno w zakresie fundamentalnego zrozumienia świata, jak i ogólnej kontroli VLA. Dziękuję moim kolegom w Embodied Reasoning, którzy sprawiają, że każdy dzień jest jasny, interesujący i zabawny: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean i Danny. Dziękuję przyjaciołom w Gemini Multimodal, którzy nauczyli mnie, jak modelować granice: Xi, Karel, Ishita i Xudong. Dziękuję szeptaczom VLA, którzy pokazali mi, jak daleko innowacja i wytrwałość mogą cię zaprowadzić: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi i Ayzaan. Dziękuję mentorom przez lata, którzy dostarczyli błyszczące przykłady, że prędkość i wpływ oraz współczucie nie są zerową sumą: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea i Julian. Dziękuję, dziękuję, dziękuję. To była niesamowita przygoda i jestem tak szczęśliwy, że mogłem być częścią szalonego zespołu, który rozpoczął przełomy technologiczne, przekształcające świat w miejsce, w którym ogólna i pomocna ucieleśniona AGI jest wszechobecna w społeczeństwie. Zawsze będę #1 fanem GDM! Co do mojej własnej podróży, wyruszę w nową przygodę, zarówno znajomą, jak i bardzo różną, i mam nadzieję, że wkrótce będę miał więcej do podzielenia się.