在经历了8年难忘的时光后,我决定离开Google DeepMind。我非常感激能够有机会帮助将通用机器人学习的梦想从一个异端的边缘想法转变为一个规范化的技术路线图。能够与我所能希望的最聪明、最善良、最有才华的同事们一起解决我们这个时代最具挑战性和重要性的问题,是我一生的荣幸。 感谢Julian和Vincent在2017年给我机会,当时Google Brain的一个杂牌团队开始探索在现实世界中端到端学习的潜力。这个团队一直以来都梦想着大:我与Corey和Pierre的“入门项目”是开发一个能够从任何初始条件(潜在嵌入)到达任何目标状态的目标条件模仿策略。那个为期3个月的项目变成了一个为期2年的努力!尽管研究的雄心壮志很高,但同事和导师们始终是脚踏实地和富有同情心的。Alex H、Karol、Julian和Sergey支持我在大规模并发控制强化学习的愿景,同时给我空间,让我以自己的方式成长为一名创造性的研究者。 2020年,团队的技术进步和我自己的研究品味开始显著加速,那时Kanishka和Karol激励整个团队在一个疯狂的月球任务上大赌一把:一个能够完成数千个家庭操作任务的通用机器人策略。这样的前所未有的集体努力对整个团队来说都是新的,但极其令人满意——学习如何和谐地导航0到1的现实世界系统扩展(机器人车队、远程操作员、扩展学习堆栈),同时进行严格的科学探索(对模仿学习和强化学习的扩展特性进行客观比较)。在这段时间里,我从所有战友那里学到了很多,直到今天,我的许多研究和工程直觉仍然源于我从Eric、Yao、Alex I、Keerthana和Yevgen那里学到的经验。 接下来的时期,从2022年开始,绝对是神奇而独特的,我有幸参与并领导了广泛而深入的想象探索。探索基础模型在机器人领域的潜力永久改变了我的研究视角,像SayCan、RT-1和RT-2这样的项目让我感受到,当世界开始更认真地思考通用和高效的具身AI的承诺时,那是第一次神奇的病毒式时刻。当第一批通用VLAs开始可靠地执行我们尚未收集数据的任务时,这对我们的团队和整个领域来说都是一个巨大的启示。在这段时间里,我深受高效能、狂热创造力和快速迭代速度对研究的影响,向像Fei、Brian、Andy、Pete、Quan、Harris和Danny这样极其友好和高效的同事学习。我将这种狂野创造性研究的方法应用于我关心的领域,例如创建更好的动作表示、理解机器人泛化,以及利用VLMs提高数据质量和增强。我感谢那些与我一起参与这些冒险探索的队友,如Chelsea、Dorsa、Jonathan、Wenhao、Tianli、Montse、Sean、Austin、Kelly和Paul。我也非常感激在这段时间内的所有学术合作——从多机构跨具身学习到开源VLA,再到可扩展的离线评估,以及组织研讨会。感谢学生、实习生和朋友们;特别是Soroush、Jiayuan、Laura、Xuanlin、Kyle、Karl、Oier、Dhruv、Annie、Jensen、Priya、Suneel、Ike、Homanga、Hao和Xuesu。 在我在GDM职业生涯的最后一章,从2024年开始,我对前沿模型的科学和影响产生了浓厚的兴趣,以及如何在机器人领域正确利用它们。这一直让我感到困扰的是,机器人学习往往看起来像是“经典”的机器学习,仅仅是用小模型拟合简单的分布,而不是前沿模型如何通过预训练、中期训练和后期训练来开发的精致扩展系统和科学。我想了解那个世界,并弄清楚如何让AGI理解物理世界。我为我们所取得的进展感到自豪,从我们开始的Gemini 1.0到今天,我们解锁的研究创新使Gemini和Gemini Robotics在基础世界理解和通用VLA控制方面都处于前沿。非常感谢我的具身推理团队的队友们,让每一天都充满光明、有趣和乐趣:Fei、Jacky、Laura、Wentao、Annie、Lewis、Ksenia、Mohit、Sean和Danny。感谢Gemini多模态的朋友们教会我如何使用前沿模型:Xi、Karel、Ishita和Xudong。感谢VLA的低语者们,他们向我展示了创新和毅力可以带你走得多远:Coline、Giulia、Claudio、Alex L、Sumeet、Ashwin、Sudeep、Debi和Ayzaan。感谢多年来的导师们,他们提供了闪亮的榜样,表明速度和影响力,以及同情心,并不是零和游戏:Carolina、Jie、Kanishka、Nicolas、Jonathan、Pierre、Vincent、Karol、Sergey、Chelsea和Julian。 谢谢,谢谢,谢谢。这是一段难以置信的冒险,我很幸运能够成为这个疯狂团队的一员,开始了将世界转变为一个通用和有用的具身AGI在社会中无处不在的技术突破。我将永远是#1 GDM粉丝!至于我自己的旅程,我将开始一段新的冒险,既熟悉又非常不同,并希望很快能有更多分享。