La escasez crítica de mano de obra está limitando el crecimiento en los sectores de manufactura, logística, construcción y agricultura. El problema es particularmente grave en la construcción: casi 500.000 puestos siguen sin cubrir en Estados Unidos, y el 40% de la fuerza laboral actual se acerca a la jubilación dentro de esta década. Estas limitaciones de la fuerza laboral resultan en proyectos retrasados, costos crecientes y planes de desarrollo diferidos. Para abordar estas limitaciones, las organizaciones están desarrollando sistemas autónomos que pueden realizar tareas que llenan brechas de capacidad, amplían las capacidades operativas y ofrecen el beneficio adicional de productividad las 24 horas.
La construcción de sistemas autónomos requiere grandes conjuntos de datos anotados para entrenar modelos de IA. Una formación eficaz determina si estos sistemas ofrecen valor empresarial. El cuello de botella: el alto costo de la preparación de datos. Fundamentalmente, el acto de etiquetar datos de vídeo (identificar información sobre equipos, tareas y el entorno) es necesario para garantizar que los datos sean útiles para el entrenamiento de modelos. Este paso puede impedir la implementación del modelo, lo que ralentiza la entrega de productos y servicios basados en IA a los clientes. Para las empresas de construcción que gestionan millones de horas de vídeo, la preparación y anotación manual de datos se vuelve poco práctica. Los modelos de visión y lenguaje (VLM) ayudan a abordar esto interpretando imágenes y videos, respondiendo a consultas en lenguaje natural y generando descripciones a una velocidad y escala que los procesos manuales no pueden igualar, lo que brinda una alternativa rentable.
En esta publicación, examinamos cómo Bedrock Robotics aborda este desafío. Al unirse a la beca de IA física de AWS, la startup se asoció con el Centro de innovación de IA generativa de AWS para aplicar modelos de lenguaje de visión que analizan secuencias de video de construcción, extraen detalles operativos y generan conjuntos de datos de entrenamiento etiquetados a escala, para mejorar la preparación de datos para equipos de construcción autónomos.
Bedrock Robotics: un estudio de caso sobre la aceleración de la construcción autónoma
Desde 2024, Bedrock Robotics desarrolla sistemas autónomos para equipos de construcción. El producto de la empresa, Bedrock Operador, es una solución de modernización que combina hardware con modelos de IA para permitir que las excavadoras y otras maquinarias funcionen con una mínima intervención humana. Estos sistemas pueden realizar tareas como excavación, nivelación y manipulación de materiales con precisión centimétrica. Entrenar estos modelos requiere volúmenes masivos de secuencias de video que capturen equipos, tareas y el entorno circundante, un proceso que consume muchos recursos y limita la escalabilidad.
Los VLM ofrecen una solución al analizar estos datos de imágenes y videos y generar descripciones de texto. Esto los hace muy adecuados para tareas de anotación, lo cual es fundamental para enseñar a los modelos cómo asociar patrones visuales con el lenguaje humano. Bedrock Robotics utilizó esta tecnología para optimizar la preparación de datos para entrenar modelos de IA, permitiendo operaciones autónomas para los equipos. Además, mediante una selección adecuada del modelo y una ingeniería rápida, la empresa mejoró la identificación de herramientas del 34 % al 70 %. Esto transformó un proceso manual que requería mucho tiempo en una solución de canalización de datos automatizada y escalable. El avance aceleró el despliegue de equipos autónomos.
Este enfoque proporciona un marco replicable para organizaciones que enfrentan desafíos de datos similares y demuestra cómo la inversión estratégica en modelos básicos (FM) puede generar resultados operativos mensurables y una ventaja competitiva. Los modelos básicos son modelos entrenados con cantidades masivas de datos utilizando técnicas de aprendizaje autosupervisadas que aprenden representaciones generales que pueden adaptarse a muchas tareas posteriores. Los VLM aprovechan estas técnicas de preentrenamiento a gran escala para unir modalidades visuales y textuales, permitiéndoles comprender, analizar y generar contenido tanto en imágenes como en lenguaje.
En las siguientes secciones, analizamos el proceso que utilizó Bedrock Robotics para anotar millones de horas de secuencias de video y acelerar la innovación utilizando una solución basada en VLM.
De datos de vídeo no estructurados a un activo estratégico utilizando VLM
Habilitar equipos de construcción autónomos requiere extraer información útil de millones de horas de material operativo no estructurado. Específicamente, Bedrock Robotics necesitaba identificar accesorios de herramientas, tareas y condiciones del lugar de trabajo en diversos escenarios. Las siguientes imágenes son fotogramas de vídeo de ejemplo de este conjunto de datos.
Los equipos de construcción funcionan con múltiples accesorios de herramientas, cada uno de los cuales requiere una clasificación precisa para entrenar modelos de IA confiables. Trabajando con el Centro de Innovación, Bedrock Robotics centró sus esfuerzos de innovación abordando algunas categorías de herramientas críticas: ganchos de elevación para manejo de materiales, martillos para demolición de concreto, vigas niveladoras para nivelación de superficies y cucharones para zanjas para excavaciones estrechas.
Estas etiquetas permiten a Bedrock Robotics seleccionar segmentos de video relevantes y ensamblar conjuntos de datos de entrenamiento que representan una variedad de configuraciones de equipos y condiciones operativas.
Acelerar la implementación de la IA mediante la optimización del modelo estratégico
Los VLM disponibles en el mercado (VLM sin optimización rápida) tienen dificultades con los datos de vídeo de la construcción porque están entrenados en imágenes web, no en imágenes del operador desde las cabinas de las excavadoras. No pueden manejar ángulos inusuales, imágenes específicas del equipo o mala visibilidad debido al polvo y el clima. También carecen del conocimiento del dominio para distinguir herramientas visualmente similares, como cucharas para excavar y cucharas para zanjar.
Bedrock Robotics y el Centro de Innovación abordaron esto mediante la selección de modelos específicos y una optimización rápida. Los equipos evaluaron múltiples VLM (incluidas opciones de código abierto y FM disponibles en Amazon Bedrock) y luego refinaron las indicaciones con descripciones visuales detalladas de cada herramienta, orientación para pares de herramientas que comúnmente se confunden e instrucciones paso a paso para analizar cuadros de video.
Estas modificaciones mejoraron la precisión de la clasificación del 34 % al 70 % en un conjunto de prueba que comprendía 130 vídeos, a 10 dólares por hora de procesamiento de vídeo. Estos resultados demuestran cómo la ingeniería rápida adapta los VLM a tareas especializadas. Para Bedrock Robotics, esta personalización brindó ciclos de capacitación más rápidos, menor tiempo de implementación y un canal de anotaciones escalable y rentable que evoluciona con las necesidades operativas.
El camino a seguir: abordar la escasez de mano de obra mediante la automatización
La ventaja competitiva. Para Bedrock Robotics, los sistemas de visión y lenguaje permitieron una rápida identificación y extracción de conjuntos de datos críticos, proporcionando la información necesaria a partir de videos masivos de construcción. Con una precisión general del 70 %, este enfoque rentable proporciona una base práctica para escalar la preparación de datos para el entrenamiento de modelos. Demuestra cómo la innovación estratégica en IA puede transformar las limitaciones de la fuerza laboral y acelerar las transformaciones de la industria. Las organizaciones que agilizan la preparación de datos pueden acelerar la implementación de sistemas autónomos, reducir los costos operativos y explorar nuevas áreas de crecimiento en industrias afectadas por la escasez de mano de obra. Con este marco repetible, los líderes de fabricación y automatización industrial que enfrentan desafíos similares pueden aplicar estos principios para impulsar la diferenciación competitiva dentro de sus propios dominios.
Para obtener más información, visite Bedrock Robotics o explore los recursos físicos de IA en AWS.
Sobre los autores
Laura Kulowski
Laura Kulowski es científica aplicada sénior en el Centro de innovación de IA generativa de AWS, donde trabaja para desarrollar soluciones físicas de IA. Antes de unirse a Amazon, Laura completó su doctorado en el Departamento de Ciencias Planetarias y de la Tierra de Harvard e investigó los flujos zonales profundos y el campo magnético de Júpiter utilizando datos de Juno.
Alla Simoneau
Alla Simoneau es una líder tecnológica y comercial con más de 15 años de experiencia y actualmente se desempeña como líder de IA física de tecnología emergente en Amazon Web Services (AWS), donde impulsa la innovación global en la intersección de la IA y las aplicaciones del mundo real. Con más de una década en Amazon, Alla es un líder reconocido en estrategia, formación de equipos y excelencia operativa, y se especializa en convertir tecnologías de vanguardia en transformaciones del mundo real para nuevas empresas y clientes empresariales.
Parmida Atighehchian
Parmida Atighehchian es científica de datos sénior en el Centro de innovación de IA generativa de AWS. Con más de 10 años de experiencia en aprendizaje profundo e IA generativa, Parmida aporta una profunda experiencia en IA y soluciones centradas en el cliente. Parmida ha dirigido y coautor de artículos científicos de gran impacto centrados en ámbitos como la visión por computadora, la explicabilidad y la generación de vídeos e imágenes. Con un fuerte enfoque en las prácticas científicas, Parmida ayuda a los clientes con el diseño práctico de sistemas que utilizan IA generativa en procesos robustos y escalables.
Dan Volk
Dan Volk es científico de datos sénior en el Centro de innovación de IA generativa de AWS. Tiene 10 años de experiencia en aprendizaje automático, aprendizaje profundo y análisis de series temporales, y tiene una maestría en ciencia de datos de UC Berkeley. Le apasiona transformar desafíos comerciales complejos en oportunidades aprovechando tecnologías de inteligencia artificial de vanguardia.
Pablo Amadeo
Paul Amadeo es un líder tecnológico experimentado con más de 30 años de experiencia que abarca inteligencia artificial, aprendizaje automático, sistemas de IoT, diseño de RF, óptica, física de semiconductores e ingeniería avanzada. Como líder técnico de IA física en el Centro de innovación de IA generativa de AWS, Paul se especializa en traducir capacidades de IA en sistemas físicos tangibles, guiando a los clientes empresariales a través de implementaciones complejas desde el concepto hasta la producción. Su experiencia diversa incluye la arquitectura de sistemas de visión por computadora para entornos periféricos, el diseño de tecnologías robóticas de fabricación de tarjetas inteligentes que han producido miles de millones de dispositivos en todo el mundo y la dirección de equipos multifuncionales en los sectores comercial y de defensa. Paul tiene una maestría en Física Aplicada de la Universidad de California en San Diego, una licenciatura en Física Aplicada de Caltech y seis patentes que abarcan sistemas ópticos, dispositivos de comunicación y tecnologías de fabricación.
Sri Elaprolu
Sri Elaprolu es director del Centro de innovación de IA generativa de AWS, donde dirige un equipo global que implementa soluciones de IA de vanguardia para organizaciones empresariales y gubernamentales. Durante sus 13 años en AWS, dirigió equipos científicos de aprendizaje automático asociados con empresas globales y organizaciones del sector público. Antes de AWS, pasó 14 años en Northrop Grumman desempeñando funciones de liderazgo en desarrollo de productos e ingeniería de software. Sri tiene una Maestría en Ciencias de la Ingeniería y un MBA.