El LeRobot incluye dos brazos: un brazo controlador que se maneja mediante una empuñadura y un gatillo, y un brazo seguidor con una cámara que replica esos movimientos. Se puede entrenar un modelo de IA controlando a distancia el brazo controlador y haciendo que el modelo aprenda a mover el brazo seguidor en respuesta a lo que ve en la cámara.
vibe coding (programación por vibra o intuitiva) un sencillo programa que cerraba la pinza de la garra al detectar una pelota roja. En la terminal, Codex se encargó de configurar las conexiones con el robot. Después, calibró la posición de sus articulaciones. También escribió un script de Python que utilizaba varias bibliotecas para identificar y sujetar la pelota. El vibe coding no es perfecto, por supuesto, y usar la intuición pueden introducir errores, especialmente al trabajar con hardware diferente, pero los resultados fueron impresionantes.programación impulsada por IA podría ofrecer una nueva y poderosa forma de construir robots se destacó por primera vez en un artículo de investigación de 2022 que denominó a este enfoque "código como política". Desde entonces, las capacidades de codificación han avanzado a un ritmo vertiginoso, y el método de código como política ha ganado terreno en muchos laboratorios.El grupo de investigación de Goldberg, junto con investigadores de Nvidia, la Universidad Carnegie Mellon y Stanford, ha desarrollado recientemente un nuevo punto de referencia llamado CaP-X para medir las capacidades robóticas de los modelos de codificación. Curiosamente, CaP-X muestra que el mejor modelo para programar robots no es Claude ni ChatGPT, sino Gemini, quizás porque Google DeepMind se ha centrado en entrenar sus modelos para que sean multimodales y comprendan el mundo físico. Junto con el benchmark, los investigadores crearon CaP-Gym, un entorno que permite a los agentes de codificación controlar robots tanto simulados como reales. También desarrollaron CaP-Agent0, un marco de trabajo basado en agentes que mejora tanto el rendimiento de los modelos de codificación que superan a los modelos entrenados para controlar directamente los movimientos de un robot en algunas tareas de manipulación.
Goldberg está colaborando con Nvidia para explorar el potencial del enfoque de código como política. Hablé con Spencer Huang, hijo de Jensen, quien ha participado en la organización de hackatones dentro de la empresa para que la gente experimente con robots de vibe coding.Actualmente, Huang trabaja con Goldberg en un proyecto de investigación que busca hacer que el enfoque de código como política sea compatible con más herramientas de software para robots.
"Casi cualquiera puede dedicarse a la robótica, que es el verdadero santo grial", comenta Huang. Hacer posible que la gente controle los robots con órdenes habladas o tecleadas, o demostrando una acción, es el "desbloqueo crítico para los robots en la sociedad", añade.
Artículo originalmente publicado enWIRED.Adaptado por Alondra Flores.