Live-Blick auf die Robotik- und KI-Landschaft

Das ist ohne Zweifel der beste Start eines Robotik-Startups, den ich je gesehen habe 🔥 Vollständige Innovation von Hardware-Design bis hin zu großen Wetten auf UMI und reibungslosen sowie beeindruckenden Richtlinien. Nach 1,5 Jahren im Verborgenen startet ihr sofort als eines der Top-5-Teams für Robotermodellgrundlagen. Glückwunsch!👏

Nach 8 unvergesslichen Jahren habe ich beschlossen, Google DeepMind zu verlassen. Ich bin immens dankbar, die Gelegenheit gehabt zu haben, den Traum des allgemeinen Robotlernens von einer ketzerischen Randidee in einen normalisierten Technologie-Roadmap zu verwandeln. Es war die Ehre meines Lebens, an den herausforderndsten und wichtigsten Problemen unserer Zeit mit den hellsten, freundlichsten und talentiertesten Kollegen zu arbeiten, die ich mir wünschen konnte. Danke an Julian und Vincent, dass sie 2017 eine Chance auf mich gesetzt haben, als ein zusammengewürfeltes Team bei Google Brain begann, das Potenzial für End-to-End-Lernen auf Armfarmen in der realen Welt zu erkunden. Das Team hat immer groß geträumt: Mein "Starter-Projekt" mit Corey und Pierre bestand darin, an einer zielbedingten Imitationspolitik zu arbeiten, die von jedem Anfangszustand (latente Einbettung) zu jedem Zielzustand gelangen kann. Dieses 3-monatige Projekt entwickelte sich zu einem 2-jährigen Unterfangen! Aber obwohl die Forschungsambitionen hoch waren, waren Kollegen und Mentoren immer von Natur aus bodenständig und mitfühlend. Alex H, Karol, Julian und Sergey unterstützten meine Vision von gleichzeitiger Steuerung von RL im großen Maßstab und gaben mir den Raum, mich zu einem kreativen Forscher auf meine eigene Weise zu entwickeln. Der technische Fortschritt des Teams und mein eigener Forschungsgeschmack begannen 2020 erheblich zu beschleunigen, als Kanishka und Karol das gesamte Team inspirierten, groß auf einen einzigen verrückten Moonshot zu setzen: eine allgemeine Roboterrichtlinie, die Tausende von Aufgaben zur Manipulation im Haushalt bewältigen konnte. Ein solches beispielloses Gruppenvorhaben war neu für das gesamte Team, aber extrem befriedigend – zu lernen, wie man harmonisch 0-zu-1-Systeme in der realen Welt (Roboterschwärme, Teleoperatoren, skalierte Lernstacks) zusammen mit rigoroser wissenschaftlicher Erkundung (ein objektiver Vergleich der Skalierungseigenschaften von Imitations- und Verstärkungslernen) navigiert. Ich habe in dieser Zeit so viel von all meinen Kameraden im Kampf gelernt, und selbst bis heute ziehen viele meiner Forschungs- und Ingenieursintuitionen aus den Lektionen, die ich von Eric, Yao, Alex I, Keerthana und Yevgen gelernt habe. Die folgende Periode, die 2022 begann, war absolut magisch und einzigartig in der Breite und Tiefe der kreativen Erkundungen, zu denen ich das Privileg hatte, beizutragen und zu führen. Die Erkundung des Potenzials von Fundamentmodellen für Robotik veränderte meine Forschungsperspektive dauerhaft, und Projekte wie SayCan, RT-1 und RT-2 fühlten sich an wie die ersten magisch viralen Momente, als die Welt anfing, ernster darüber nachzudenken, wie das Versprechen von allgemeiner und leistungsfähiger verkörperter KI aussehen könnte. Als die ersten allgemeinen VLAs begannen, Aufgaben zuverlässig auszuführen, für die wir keine Daten gesammelt hatten, war das ein riesiger Aha-Moment für unser Team und das Feld. In dieser Zeit wurde ich immens inspiriert von dem, was hohe Eigenverantwortung, manische Kreativität und rasante Iterationsgeschwindigkeit für die Forschung bewirken können, und lernte von extrem freundlichen und produktiven Kollegen wie Fei, Brian, Andy, Pete, Quan, Harris und Danny. Ich wandte diesen Ansatz kreativer Forschung auf Bereiche an, die mir wichtig waren, wie die Schaffung besserer Aktionsdarstellungen, das Verständnis der Robotergeneralisierung und die Nutzung von VLMs für Datenqualität und -erweiterung. Ich bin dankbar für die Teamkollegen, die mich auf diesen abenteuerlichen Erkundungen begleitet haben, wie Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly und Paul. Ich schätze auch alle akademischen Kooperationen in dieser Zeit – von multi-institutionellem Cross-Embodiment-Lernen über Open-Source-VLAs bis hin zu skalierbaren Offline-Bewertungen und der Organisation von Workshops. Danke an die Studenten, Praktikanten und Freunde; insbesondere Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao und Xuesu. Im letzten Kapitel meiner Karriere bei GDM, beginnend im Jahr 2024, verliebte ich mich in die Wissenschaft und den Einfluss von Grenzmodellen und wie man sie richtig in der Robotik nutzen kann. Es hat mich immer grundlegend gestört, dass das Robotlernen oft wie "klassisches" maschinelles Lernen aussah, bei dem einfach nur einfache Verteilungen mit kleinen Modellen angepasst wurden, anstatt die polierten, skalierbaren Systeme und die Wissenschaft, wie Grenzmodelle mit Vortraining, Mid-Training und Nachtraining entwickelt werden. Ich wollte über diese Welt lernen und herausfinden, wie man AGI dazu bringt, die physische Welt zu verstehen. Ich bin stolz auf die Fortschritte, die wir gemacht haben, und von dem, wo wir mit Gemini 1.0 angefangen haben, bis heute haben die Forschunginnovationen, die wir freigeschaltet haben, sowohl Gemini als auch Gemini Robotics eindeutig an die Spitze des grundlegenden Weltverständnisses und der allgemeinen VLA-Steuerung gebracht. Vielen Dank an meine Teamkollegen in Embodied Reasoning, die jeden Tag hell, interessant und lustig machen: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean und Danny. Danke an die Freunde in Gemini Multimodal, die mir beigebracht haben, wie man Grenzmodelle erstellt: Xi, Karel, Ishita und Xudong. Danke an die VLA-Flüsterer, die mir gezeigt haben, wie weit Innovation und Durchhaltevermögen einen bringen können: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi und Ayzaan. Danke an die Mentoren im Laufe der Jahre, die leuchtende Beispiele gegeben haben, dass Geschwindigkeit und Einfluss sowie Mitgefühl kein Nullsummenspiel sind: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea und Julian. Danke, danke, danke. Es war ein unglaubliches Abenteuer, und ich bin so glücklich, Teil des verrückten Teams gewesen zu sein, das die technologischen Durchbrüche eingeleitet hat, die die Welt in eine verwandelt haben, in der allgemeine und hilfreiche verkörperte AGI in der Gesellschaft allgegenwärtig ist. Ich werde immer der #1 GDM-Fan sein! Was meine eigene Reise betrifft, werde ich ein neues Abenteuer beginnen, sowohl vertraut als auch sehr anders, und hoffe, bald mehr zu teilen.