Géminis Robotics trae IA al mundo físico

Presentación de Gemini Robotics, nuestro modelo con sede en Gemini 2.0 diseñado para robótica

En Google Deepmind, hemos progresado en cómo nuestros modelos Gemini resuelven problemas complejos a través del razonamiento multimodal entre texto, imágenes, audio y video. Hasta ahora, sin embargo, esas habilidades se han limitado en gran medida al reino digital. Para que la IA sea útil y útil para las personas en el ámbito físico, tienen que demostrar un razonamiento “encarnado”, la capacidad humana para comprender y reaccionar ante el mundo que nos rodea, así como tomar medidas de forma segura para hacer las cosas.

Hoy, presentamos dos nuevos modelos AI, basados ​​en Gemini 2.0, que sientan las bases para una nueva generación de robots útiles.

El primero es Gemini Robotics, un modelo avanzado de acción-idioma de visión (VLA) que se basó en Gemini 2.0 con la adición de acciones físicas como una nueva modalidad de salida con el fin de controlar directamente los robots. El segundo es Gemini Robotics-Er, un modelo de Géminis con comprensión espacial avanzada, lo que permite a los robotistas ejecutar sus propios programas utilizando las habilidades de razonamiento encarnado de Gemini (ER).

Ambos modelos permiten que una variedad de robots realice una gama más amplia de tareas del mundo real que nunca. Como parte de nuestros esfuerzos, nos estamos asociando con Apptronik para construir la próxima generación de robots humanoides con Gemini 2.0. También estamos trabajando con un número seleccionado de probadores de confianza para guiar el futuro de Gemini Robotics-Er.

Esperamos explorar las capacidades de nuestros modelos y continuar desarrollándolos en el camino hacia las aplicaciones del mundo real.

Robótica de Géminis: nuestro modelo de acción-lenguaje de visión más avanzado

Para ser útiles y útiles para las personas, los modelos de IA para la robótica necesitan tres cualidades principales: tienen que ser generales, lo que significa que pueden adaptarse a diferentes situaciones; Tienen que ser interactivos, lo que significa que pueden entender y responder rápidamente a instrucciones o cambios en su entorno; Y tienen que ser hábiles, lo que significa que pueden hacer el tipo de cosas que las personas generalmente pueden hacer con sus manos y dedos, como manipular cuidadosamente los objetos.

Si bien nuestro trabajo anterior demostró progreso en estas áreas, Gemini Robotics representa un paso sustancial en el rendimiento en los tres ejes, acercándonos a los robots de propósito verdaderamente general.

Generalidad

Gemini Robotics aprovecha la comprensión mundial de Gemini para generalizarse a situaciones novedosas y resolver una amplia variedad de tareas fuera de la caja, incluidas las tareas que nunca antes había visto en el entrenamiento. Gemini Robotics también es experto en tratar con nuevos objetos, diversas instrucciones y nuevos entornos. En Nuestro informe técnicomostramos que, en promedio, Gemini Robotics más que duplica el rendimiento en un punto de referencia de generalización integral en comparación con otros modelos de acción de visión de vanguardia.

Interactividad

Para operar en nuestro mundo dinámico y físico, los robots deben poder interactuar sin problemas con las personas y su entorno circundante, y adaptarse a los cambios en la marcha.

Debido a que está construido sobre una base de Géminis 2.0, Gemini Robotics es intuitivamente interactivo. Aprovecha las capacidades avanzadas de comprensión del idioma de Géminis y puede comprender y responder a los comandos redactados en el lenguaje cotidiano, conversacional y en diferentes idiomas.

Puede comprender y responder a un conjunto mucho más amplio de instrucciones de lenguaje natural que nuestros modelos anteriores, adaptando su comportamiento a su aporte. También monitorea continuamente su entorno, detecta cambios en su entorno o instrucciones y ajusta sus acciones en consecuencia. Este tipo de control, o “dominabilidad”, puede ayudar mejor a las personas a colaborar con asistentes de robots en una variedad de entornos, desde el hogar hasta el lugar de trabajo.

Destreza

El tercer pilar clave para construir un robot útil está actuando con destreza. Muchas tareas cotidianas que los humanos realizan sin esfuerzo requieren habilidades motoras sorprendentemente finas y todavía son demasiado difíciles para los robots. Por el contrario, Gemini Robotics puede abordar tareas extremadamente complejas y de varios pasos que requieren una manipulación precisa, como el plegado de origami o empacar un refrigerio en una bolsa Ziploc.

Múltiples realizaciones

Finalmente, debido a que los robots vienen en todas las formas y tamaños, Gemini Robotics también fue diseñado para adaptarse fácilmente a diferentes tipos de robots. Entrenamos el modelo principalmente en datos de la plataforma robótica bi-brazo, Aloha 2pero también demostramos que podría controlar una plataforma bi-brazo, basada en los brazos de Franka utilizados en muchos laboratorios académicos. Géminis Robotics incluso puede especializarse para realizaciones más complejas, como el robot Humanoide Apolo desarrollado por Apptronik, con el objetivo de completar las tareas del mundo real.

Mejora de la comprensión del mundo de Géminis

Junto con Gemini Robotics, presentamos un modelo avanzado en idioma de visión llamado Gemini Robotics-Er (abreviatura de “razonamiento encarnado”). Este modelo mejora la comprensión de Géminis del mundo de manera necesaria para la robótica, centrándose especialmente en el razonamiento espacial, y permite a los robotistas conectarlo con sus controladores de bajo nivel existentes.

Gemini Robotics-ER mejora las habilidades existentes de Gemini 2.0, como apuntar y detección 3D por un gran margen. Combinando el razonamiento espacial y las habilidades de codificación de Géminis, Gemini Robotics-Er puede instanciar capacidades completamente nuevas sobre la marcha. Por ejemplo, cuando se le muestra una taza de café, el modelo puede intuir un agarre de dos dedos apropiado para recogerlo por el mango y una trayectoria segura para acercarse a él.

Gemini Robotics-ER puede realizar todos los pasos necesarios para controlar un robot inmediatamente fuera de la caja, incluida la percepción, la estimación del estado, la comprensión espacial, la planificación y la generación de códigos. En un entorno de extremo a extremo, el modelo logra una tasa de éxito 2x-3x en comparación con Gemini 2.0. Y donde la generación de código no es suficiente, Gemini Robotics-ER incluso puede aprovechar el poder del aprendizaje en contexto, siguiendo los patrones de un puñado de demostraciones humanas para proporcionar una solución.

Avanzando responsablemente de IA y robótica

A medida que exploramos el potencial continuo de la IA y la robótica, estamos tomando un capas, holístico Enfoque para abordar la seguridad en nuestra investigación, desde el control motor de bajo nivel hasta la comprensión semántica de alto nivel.

La seguridad física de los robots y las personas que los rodean es una preocupación fundamental de larga data en la ciencia de la robótica. Es por eso que los robotistas tienen medidas de seguridad clásicas, como evitar colisiones, limitar la magnitud de las fuerzas de contacto y garantizar la estabilidad dinámica de los robots móviles. Gemini Robotics-ER puede estar interactuado con estos controladores críticos de seguridad ‘de bajo nivel’, específicos para cada realización particular. Sobre la base de las características de seguridad básicas de Gemini, permitimos que los modelos Gemini Robotics-ER comprendan si una acción potencial es segura en un contexto dado y generar respuestas apropiadas.

Para avanzar en la investigación de seguridad robótica en toda la academia e industria, también estamos lanzando un nuevo conjunto de datos para evaluar y mejorar la seguridad semántica en la IA y la robótica incorporada. En trabajos anteriores, mostramos cómo un Constitución de robots Inspirado por las tres leyes de robótica de Isaac Asimov, podría ayudar a incitar a un LLM a seleccionar tareas más seguras para los robots. Desde entonces, hemos desarrollado un marco para generar automáticamente constituciones basadas en datos, reglas expresadas directamente en el lenguaje natural, para dirigir el comportamiento de un robot. Este marco permitiría a las personas crear, modificar y aplicar constituciones para desarrollar robots más seguros y más alineados con los valores humanos. Finalmente, el nuevo conjunto de datos de Asimov Ayudará a los investigadores a medir rigurosamente las implicaciones de seguridad de las acciones robóticas en los escenarios del mundo real.

Para evaluar aún más las implicaciones sociales de nuestro trabajo, colaboramos con expertos en nuestro equipo responsable de desarrollo e innovación y, así como nuestro Consejo de Responsabilidad y Seguridad, un grupo de revisión interna comprometida a garantizar que desarrollemos aplicaciones de IA de manera responsable. También consultamos con especialistas externos sobre desafíos y oportunidades particulares presentados por la IA incorporada en aplicaciones de robótica.

Además de nuestra asociación con Apptronik, nuestro modelo Gemini Robotics-ER también está disponible para probadores de confianza, incluidos robots ágiles, robots de agilidad, dinámica de Boston y herramientas encantadas. Esperamos explorar las capacidades de nuestros modelos y continuar desarrollando IA para la próxima generación de robots más útiles.

Expresiones de gratitud

Este trabajo fue desarrollado por el equipo de robótica de Gemini. Para una lista completa de autores y reconocimientos, vea Nuestro informe técnico.