Gemini Robotics: La inteligencia artificial de razonamiento se encuentra con el mundo físico

En los últimos años, la inteligencia artificial (IA) ha avanzado significativamente en diversos campos, como el procesamiento de lenguaje natural (NLP) y la visión por computadora. Sin embargo, uno de los principales desafíos para la IA ha sido su integración en el mundo físico. Mientras que la IA ha excelido en razonamiento y resolución de problemas complejos, estos logros han estado en gran medida limitados a entornos digitales. Para permitir que la IA realice tareas físicas a través de la robótica, debe poseer una comprensión profunda del razonamiento espacial, la manipulación de objetos y la toma de decisiones. Para abordar este desafío, Google (GOOGL ) ha introducido Gemini Robotics, una suite de modelos desarrollados específicamente para la robótica y la inteligencia artificial incorporada. Construidos sobre Gemini 2.0, estos modelos de IA combinan el razonamiento avanzado de la IA con el mundo físico para permitir que los robots realicen una amplia gama de tareas complejas.

Entendiendo Gemini Robotics

Gemini Robotics es un par de modelos de IA construidos sobre la base de Gemini 2.0, un modelo de lenguaje y visión de última generación capaz de procesar texto, imágenes, audio y video. Gemini Robotics es esencialmente una extensión de VLM a Visión-Lenguaje-Acción (VLA), lo que permite que el modelo Gemini no solo comprenda e interprete entradas visuales y procese instrucciones de lenguaje natural, sino que también ejecute acciones físicas en el mundo real. Esta combinación es fundamental para la robótica, ya que permite que las máquinas no solo “vean” su entorno, sino que también lo comprendan en el contexto del lenguaje humano y ejecuten tareas complejas del mundo real, desde la simple manipulación de objetos hasta actividades más intrincadas y diestras.

Una de las principales fortalezas de Gemini Robotics radica en su capacidad para generalizar en una variedad de tareas sin necesidad de un entrenamiento extensivo. El modelo puede seguir instrucciones de vocabulario abierto, adaptarse a variaciones en el entorno y incluso manejar tareas impredecibles que no formaban parte de sus datos de entrenamiento iniciales. Esto es particularmente importante para crear robots que puedan operar en entornos dinámicos e impredecibles, como hogares o entornos industriales.

Razonamiento Incorporado

Un desafío significativo en la robótica siempre ha sido la brecha entre razonamiento digital y interacción física. Mientras que los humanos pueden comprender fácilmente relaciones espaciales complejas y interactuar sin esfuerzo con su entorno, los robots han luchado por replicar estas habilidades. Por ejemplo, los robots están limitados en su comprensión de la dinámica espacial, la adaptación a nuevas situaciones y el manejo de interacciones impredecibles del mundo real. Para abordar estos desafíos, Gemini Robotics incorpora “razonamiento incorporado”, un proceso que permite al sistema comprender y interactuar con el mundo físico de una manera similar a la de los humanos.

En contraste con el razonamiento de la IA en entornos digitales, el razonamiento incorporado implica varios componentes cruciales, como:

• Detección y manipulación de objetos: El razonamiento incorporado permite a Gemini Robotics detectar e identificar objetos en su entorno, incluso cuando no se han visto antes. Puede predecir dónde agarrar objetos, determinar su estado y ejecutar movimientos como abrir cajones, verter líquidos o doblar papel.
• Predicción de trayectoria y agarre: El razonamiento incorporado permite a Gemini Robotics predecir los caminos más eficientes para el movimiento y identificar los puntos óptimos para sostener objetos. Esta capacidad es esencial para tareas que requieren precisión.
• Comprensión 3D: El razonamiento incorporado permite a los robots percibir y comprender espacios tridimensionales. Esta capacidad es especialmente crucial para tareas que requieren manipulación espacial compleja, como doblar ropa o ensamblar objetos. La comprensión 3D también permite a los robots destacar en tareas que involucran correspondencia 3D multi-vista y predicciones de caja delimitadora 3D. Estas capacidades podrían ser vitales para que los robots manejen objetos con precisión.

Destreza y Adaptación: La clave para las tareas del mundo real

Mientras que la detección y comprensión de objetos son fundamentales, el verdadero desafío de la robótica radica en realizar tareas diestras que requieren habilidades motoras finas. Ya sea doblar un zorro de origami o jugar un juego de cartas, las tareas que requieren alta precisión y coordinación suelen estar más allá de la capacidad de la mayoría de los sistemas de IA. Sin embargo, Gemini Robotics ha sido diseñado específicamente para destacar en dichas tareas.

• Habilidades motoras finas: La capacidad del modelo para manejar tareas complejas como doblar ropa, apilar objetos o jugar juegos demuestra su avanzada destreza. Con un ajuste adicional, Gemini Robotics puede manejar tareas que requieren coordinación en varios grados de libertad, como usar ambos brazos para manipulaciones complejas.
• Aprendizaje de pocos disparos: Gemini Robotics también introduce el concepto de aprendizaje de pocos disparos, lo que le permite aprender nuevas tareas con demostraciones mínimas. Por ejemplo, con solo 100 demostraciones, Gemini Robotics puede aprender a realizar una tarea que de otro modo requeriría una gran cantidad de datos de entrenamiento.
• Adaptación a nuevas incorporaciones: Otra característica clave de Gemini Robotics es su capacidad para adaptarse a nuevos cuerpos robóticos. Ya sea un robot con dos brazos o un humanoid con un número mayor de articulaciones, el modelo puede controlar sin esfuerzo varios tipos de cuerpos robóticos, lo que lo hace versátil y adaptable a diferentes configuraciones de hardware.

Control de cero disparos y adaptación rápida

Una de las características destacadas de Gemini Robotics es su capacidad para controlar robots de manera de aprendizaje de cero disparos o pocos disparos. El control de cero disparos se refiere a la capacidad de ejecutar tareas sin requerir un entrenamiento específico para cada tarea individual, mientras que el aprendizaje de pocos disparos implica aprender de un pequeño conjunto de ejemplos.

• Control de cero disparos a través de la generación de código: Gemini Robotics puede generar código para controlar robots incluso cuando las acciones específicas requeridas nunca se han visto antes. Por ejemplo, cuando se proporciona una descripción de tarea de alto nivel, Gemini puede crear el código necesario para ejecutar la tarea utilizando sus capacidades de razonamiento para comprender la dinámica física y el entorno.
• Aprendizaje de pocos disparos: En casos donde la tarea requiere una mayor destreza, el modelo también puede aprender de demostraciones y aplicar de inmediato ese conocimiento para realizar la tarea de manera efectiva. Esta capacidad para adaptarse rápidamente a nuevas situaciones es un avance significativo en el control robótico, especialmente para entornos que requieren cambios constantes o impredecibilidad.

Implicaciones futuras

Gemini Robotics es un avance vital para la robótica de propósito general. Al combinar las capacidades de razonamiento de la IA con la destreza y la adaptabilidad de los robots, nos acerca al objetivo de crear robots que puedan integrarse fácilmente en la vida diaria y realizar una variedad de tareas que requieren interacción similar a la humana.

Las posibles aplicaciones de estos modelos son vastas. En entornos industriales, Gemini Robotics podría usarse para tareas de ensamblaje complejas, inspecciones y mantenimiento. En hogares, podría asistir con tareas domésticas, cuidado y entretenimiento personal. A medida que estos modelos continúan avanzando, es probable que los robots se conviertan en tecnologías generalizadas que podrían abrir nuevas posibilidades en múltiples sectores.

En resumen

Gemini Robotics es una suite de modelos construidos sobre Gemini 2.0, diseñados para permitir que los robots realicen razonamiento incorporado. Estos modelos pueden ayudar a los ingenieros y desarrolladores a crear robots impulsados por IA que puedan comprender y interactuar con el mundo físico de una manera similar a la humana. Con la capacidad de realizar tareas complejas con alta precisión y flexibilidad, Gemini Robotics incorpora características como razonamiento incorporado, control de cero disparos y aprendizaje de pocos disparos. Estas capacidades permiten que los robots se adapten a su entorno sin la necesidad de un entrenamiento extensivo. Gemini Robotics tiene el potencial de transformar industrias, desde la fabricación hasta la asistencia en el hogar, haciendo que los robots sean más capaces y seguros en aplicaciones del mundo real. A medida que estos modelos continúan evolucionando, tienen el potencial de redefinir el futuro de la robótica.