visão ao vivo do panorama da robótica + AI

Sem dúvida, este é o melhor lançamento de startup de robótica que já vi 🔥 Inovação de ponta a ponta, desde o design de hardware até grandes apostas na UMI, com políticas suaves e impressionantes. Após 1,5 anos em modo stealth, lançando instantaneamente como uma das 5 melhores equipas de modelos de fundação de robôs. Parabéns!👏

Após 8 anos inesquecíveis, decidi deixar o Google DeepMind. Sinto-me imensamente grato por ter tido a oportunidade de ajudar a transformar o sonho da aprendizagem de robôs de propósito geral de uma ideia herética e marginal em um roteiro tecnológico normalizado. Foi uma honra de uma vida trabalhar nos problemas mais desafiadores e importantes do nosso tempo com os colegas mais brilhantes, gentis e talentosos que poderia ter desejado. Obrigado a Julian e Vincent por terem apostado em mim em 2017, quando uma equipe improvisada no Google Brain começou a explorar o potencial da aprendizagem de ponta a ponta em fazendas de braços no mundo real. A equipe sempre sonhou grande: meu "projeto inicial" com Corey e Pierre foi trabalhar em uma política de imitação condicionada a objetivos capaz de ir de qualquer condição inicial (embutimento latente) a qualquer estado objetivo. Esse projeto de 3 meses se transformou em um esforço de 2 anos! Mas, mesmo que as ambições de pesquisa fossem elevadas, colegas e mentores sempre foram fundamentados e compassivos por padrão. Alex H, Karol, Julian e Sergey apoiaram minha visão de controle RL simultâneo em grande escala, permitindo-me o espaço para crescer como um pesquisador criativo em meus próprios termos. O progresso técnico da equipe e meu próprio gosto pela pesquisa começaram a acelerar substancialmente em 2020, quando Kanishka e Karol inspiraram toda a equipe a apostar alto em uma única e louca aposta: uma política de robô geral que poderia realizar milhares de tarefas de manipulação doméstica. Esse esforço de grupo sem precedentes era novo para toda a equipe, mas extremamente satisfatório—aprender a navegar harmoniosamente na escalabilidade de sistemas do mundo real (frotas de robôs, teleoperadores, pilhas de aprendizagem escaladas) ao lado de uma rigorosa exploração científica (uma comparação objetiva das propriedades de escalabilidade da imitação e da aprendizagem por reforço). Aprendi muito com todos os meus camaradas durante esse tempo, e mesmo até hoje, muitas das minhas intuições de pesquisa e engenharia se baseiam nas lições que aprendi com Eric, Yao, Alex I, Keerthana e Yevgen. O período seguinte, começando em 2022, foi absolutamente mágico e único na amplitude e profundidade das explorações imaginativas nas quais tive o privilégio de contribuir e liderar. Explorar o potencial dos modelos fundamentais para a robótica mudou permanentemente minha perspectiva de pesquisa, e projetos como SayCan, RT-1 e RT-2 pareceram os primeiros momentos magicamente virais em que o mundo começou a pensar mais seriamente sobre como seria a promessa de uma IA incorporada geral e performática. Quando os primeiros VLAs generalistas começaram a realizar tarefas que não havíamos coletado dados, foi um enorme momento de iluminação para nossa equipe e para o campo. Durante esse tempo, fui imensamente inspirado pelo que alta agência, criatividade maníaca e velocidade de iteração intensa podem fazer pela pesquisa, aprendendo com colegas extremamente gentis e produtivos como Fei, Brian, Andy, Pete, Quan, Harris e Danny. Apliquei essa abordagem de pesquisa criativa e ousada em áreas que me interessavam, como criar melhores representações de ação, entender a generalização de robôs e aproveitar VLMs para qualidade e aumento de dados. Sou grato aos colegas que se juntaram a mim nessas explorações aventureiras, como Chelsea, Dorsa, Jonathan, Wenhao, Tianli, Montse, Sean, Austin, Kelly e Paul. Também aprecio profundamente todas as colaborações acadêmicas durante esse tempo—variando de aprendizagem cruzada de múltiplas instituições a VLAs de código aberto, avaliação offline escalável e organização de workshops. Obrigado, estudantes, estagiários e amigos; em particular, Soroush, Jiayuan, Laura, Xuanlin, Kyle, Karl, Oier, Dhruv, Annie, Jensen, Priya, Suneel, Ike, Homanga, Hao e Xuesu. No último capítulo da minha carreira no GDM, começando em 2024, fiquei encantado com a ciência e o impacto dos modelos de fronteira e como aproveitá-los adequadamente na robótica. Sempre me incomodou fundamentalmente que a aprendizagem de robôs muitas vezes parecesse "clássica" aprendizagem de máquina de apenas ajustar distribuições simples com modelos pequenos, em vez dos sistemas escalados polidos e da ciência de como os modelos de fronteira são desenvolvidos com pré-treinamento, treinamento intermediário e pós-treinamento. Queria aprender sobre esse mundo e descobrir como fazer a AGI entender o mundo físico. Estou orgulhoso do progresso que fizemos, e de onde começamos com o Gemini 1.0 até hoje, as inovações de pesquisa que desbloqueamos colocaram tanto o Gemini quanto o Gemini Robotics claramente na vanguarda tanto da compreensão fundamental do mundo quanto do controle geral de VLA. Muito obrigado aos meus colegas em Raciocínio Incorporado que tornam cada dia brilhante, interessante e divertido: Fei, Jacky, Laura, Wentao, Annie, Lewis, Ksenia, Mohit, Sean e Danny. Obrigado aos amigos do Gemini Multimodal que me ensinaram como modelar fronteiras: Xi, Karel, Ishita e Xudong. Obrigado aos sussurradores de VLA que me mostraram quão longe a inovação e a perseverança podem levar você: Coline, Giulia, Claudio, Alex L, Sumeet, Ashwin, Sudeep, Debi e Ayzaan. Obrigado aos mentores ao longo dos anos que forneceram exemplos brilhantes de que velocidade e impacto, e compaixão, não são somas zero: Carolina, Jie, Kanishka, Nicolas, Jonathan, Pierre, Vincent, Karol, Sergey, Chelsea e Julian. Obrigado, obrigado, obrigado. Tem sido uma aventura inacreditável, e sou tão afortunado por ter feito parte da equipe maluca que iniciou as inovações tecnológicas que estão transformando o mundo em um lugar onde a AGI incorporada geral e útil é ubíqua na sociedade. Sempre serei o fã número 1 do GDM! Quanto à minha própria jornada, embarcarei em uma nova aventura, tanto familiar quanto muito diferente, e espero ter mais para compartilhar em breve.