Los robots se están desarrollando cada vez más para entornos domésticos, específicamente para permitirles realizar actividades diarias como la cocina. Estas tareas implican una combinación de interpretación visual, manipulación y toma de decisiones en una serie de acciones. La cocción, en particular, es compleja para los robots debido a la diversidad en los utensilios, las perspectivas visuales variables y las omisiones frecuentes de los pasos intermedios en materiales de instrucción como videos. Para que un robot tenga éxito en tales tareas, se necesita un método que garantice la planificación lógica, la comprensión flexible y la adaptabilidad a diferentes restricciones ambientales.
Un problema importante para traducir las demostraciones de cocción en tareas robóticas es la falta de estandarización en el contenido en línea. Los videos pueden omitir los pasos, incluir segmentos irrelevantes como introducciones o mostrar arreglos que no se alinean con el diseño operativo del robot. Los robots deben interpretar datos visuales y señales textuales, inferir pasos omitidos y traducir esto en una secuencia de acciones físicas. Sin embargo, al confiar exclusivamente en modelos generativos para producir estas secuencias, existe una alta probabilidad de fallas lógicas o salidas alucinadas que hacen que el plan sea inviable para la ejecución robótica.
Las herramientas actuales que admiten la planificación robótica a menudo se centran en modelos lógicos como PDDL o enfoques más recientes basados en datos que utilizan modelos de idiomas grandes (LLM) o arquitecturas multimodales. Si bien los LLM son expertos en razonamiento de diversos insumos, a menudo no pueden validar si el plan generado tiene sentido en un entorno robótico. Se han probado los mecanismos de retroalimentación basados en el aviso, pero aún no logran confirmar la corrección lógica de las acciones individuales, especialmente para tareas complejas de varios pasos como las de los escenarios de cocina.
Investigadores de la Universidad de Osaka y el Instituto Nacional de Ciencia y Tecnología Industrial Avanzada (AIST), Japón, introdujeron un nuevo marco que integró una LLM con una red funcional orientada a objetos (Foon) para desarrollar planes de tareas de cocina a partir de videos con subtítulos. Este sistema híbrido utiliza un LLM para interpretar un video y generar secuencias de tareas. Estas secuencias se convierten en gráficos basados en Foon, donde cada acción se verifica para la viabilidad del entorno actual del robot. Si un paso se considera inviable, se genera retroalimentación para que la LLM pueda revisar el plan en consecuencia, asegurando que solo se conserven los pasos lógicamente sólidos.
Este método involucra varias capas de procesamiento. Primero, el video de cocina se divide en segmentos basados en subtítulos extraídos utilizando el reconocimiento de caracteres ópticos. Los marcos de video clave se seleccionan de cada segmento y se organizan en una cuadrícula de 3 × 3 para servir como imágenes de entrada. El LLM se solicita con detalles estructurados, incluidas descripciones de tareas, limitaciones conocidas y diseños de entorno. Usando estos datos, infiere los estados del objeto objetivo para cada segmento. Estos son verificados cruzados por Foon, un sistema gráfico donde las acciones se representan como unidades funcionales que contienen estados de objeto de entrada y salida. Si se encuentra una inconsistencia, por ejemplo, si una mano ya tiene un elemento cuando se supone que elige algo más, la tarea está marcada y revisada. Este bucle continúa hasta que se forma un gráfico de tarea completo y ejecutable.
Los investigadores probaron su método utilizando cinco recetas de cocina completas de diez videos. Sus experimentos generaron con éxito planes de tareas completos y factibles para cuatro de las cinco recetas. Por el contrario, un enfoque de línea de base que usó solo el LLM sin validación de Foon tuvo éxito en un solo caso. Específicamente, el método mejorado con Foon tenía una tasa de éxito del 80% (4/5), mientras que la línea de base logró solo el 20% (1/5). Además, en la evaluación de componentes de la estimación del nodo del objeto objetivo, el sistema alcanzó una tasa de éxito del 86% en los estados de objeto predicto con precisión. Durante la etapa de preprocesamiento de video, el proceso de OCR extrajo 270 palabras subtítulos en comparación con la verdad terrestre de 230, lo que resultó en una tasa de error del 17%, que el LLM aún podría administrar filtrando instrucciones redundantes.
En una prueba del mundo real utilizando un sistema de robot UR3E de doble brazo, el equipo demostró su método en una receta de Gyudon (tazón de carne). El robot podría inferir e insertar una acción de “corte” faltante que estaba ausente en el video, mostrando la capacidad del sistema para identificar y compensar las instrucciones incompletas. El gráfico de la tarea para la receta se generó después de tres intentos de reanicación, y el robot completó la secuencia de cocción con éxito. El LLM también ignoró correctamente las escenas no esenciales como la introducción del video, identificando solo 8 de 13 segmentos necesarios para la ejecución de tareas.
Esta investigación describe claramente el problema de la alucinación y la inconsistencia lógica en la planificación de tareas robóticas basada en LLM. El método propuesto ofrece una solución robusta para generar planes procesables a partir de videos de cocina no estructurados al incorporar Foon como mecanismo de validación y corrección. La metodología une el razonamiento y la verificación lógica, lo que permite a los robots ejecutar tareas complejas adaptándose a las condiciones ambientales mientras mantiene la precisión de la tarea.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.