Detección de objetos con Amazon Nova 2 Lite

Las soluciones tradicionales de visión por computadora pueden requerir una inversión inicial significativa. La configuración de canales de datos, infraestructura de capacitación de modelos, recursos informáticos y un equipo de ciencia de datos dedicado a menudo resulta prohibitivo para empresas o equipos pequeños. Amazon Nova 2 Lite, disponible a través de Amazon Bedrock, ofrece una solución alternativa atractiva. Este modelo básico multimodal detecta objetos a través de indicaciones en lenguaje natural sin necesidad de capacitación. Especifique "vehículo", "persona" o "abolladura" y Nova devolverá coordenadas precisas del cuadro delimitador en formato JSON estructurado.

En esta publicación, explicaremos la implementación de la detección de objetos con Amazon Nova 2 Lite. Aprenderá cómo implementar una aplicación de detección de objetos utilizando Amazon Bedrock, AWS Lambda y Amazon API Gateway. También aprenderá a crear indicaciones efectivas, procesar resultados JSON estructurados y visualizar resultados. Exploramos aplicaciones prácticas en la fabricación, la agricultura y la logística.

Descripción general de la solución

Antes de comenzar, asegúrese de tener lo siguiente:

Cuenta y permisos de AWS

Cuenta activa de AWS con acceso a Amazon Bedrock habilitado Permisos de IAM para bedrock:InvokeModel Acceso al modelo Amazon Nova 2 Lite en su región Interfaz de línea de comandos de AWS (AWS CLI) configurada (para implementación)

Entorno de desarrollo (para pruebas locales)

Python 3.8 o posterior AWS SDK para Python (Boto3) versión 1.28.0+ Biblioteca de imágenes de Python (PIL/Pillow)

Instalación:

pip instalar almohada boto3

Costos estimados

Amazon Bedrock: 0,0003 USD por cada mil tokens de entrada, 0,0025 USD por cada mil tokens de salida Imagen típica: 230 tokens de entrada (~0,000069 USD por imagen) y ~200 tokens de salida (~0,0005 USD por imagen) Ejemplo: 10 000 imágenes ≈ $5,69 AWS Lambda, Amazon API Gateway: pago por uso (mínimo para pruebas)

Tiempo estimado: 30-45 minutos

La solución de detección de objetos utiliza cuatro pasos principales para identificar y localizar objetos en imágenes.

Pasos:

Ingeniería de mensajes: estructura el mensaje para especificar objetos y el formato de salida JSON esperado Amazon Bedrock: llama a Amazon Bedrock para acceder a Amazon Nova 2 Lite sin administrar la infraestructura y extrae información del cuadro delimitador de la respuesta Procesamiento de coordenadas: convierte las coordenadas normalizadas de Nova (escala 0-1000) en posiciones de píxeles Visualización: renderiza cuadros delimitadores en imágenes para su validación

Envía una imagen y una lista de objetos para detectar a través de la API Converse de Amazon Bedrock. Amazon Nova 2 Lite analiza la imagen y devuelve una respuesta JSON con las coordenadas del cuadro delimitador para cada objeto detectado. Luego convierte las coordenadas normalizadas (escala 0-1000) a posiciones de píxeles según las dimensiones de su imagen. Finalmente, visualiza los resultados dibujando cuadros delimitadores en la imagen original.

Implemente la detección de objetos en tan solo unas horas: no se requiere capacitación de modelos, experiencia en aprendizaje automático (ML) ni administración de infraestructura.

Inmediato

La ingeniería rápida juega un papel importante para lograr detecciones precisas. La plantilla de solicitud (que se muestra en el siguiente ejemplo) contiene un conjunto de instrucciones cuidadosamente elaborado que especifica los requisitos clave. Dos variables en la plantilla de solicitud: los elementos y el esquema se construyen dinámicamente en función de los tipos de objetos detectados, lo que permite que la plantilla de solicitud maneje categorías de objetos arbitrarias sin modificaciones.

# Detección y localización de objetos ## Objetivo Su tarea es detectar y localizar objetos en la imagen de destino con alta precisión y recuperación. ## Instrucción – Los objetos que se detectarán son: {elementos} – Analice la imagen de destino proporcionada y devuelva solo el razonamiento y un objeto JSON con datos del cuadro delimitador para los objetos detectados – Piense paso a paso y luego proporcione coordenadas precisas del cuadro delimitador para cada detección – Detecte todas las instancias de los objetos especificados – Ajuste los cuadros delimitadores firmemente alrededor de cada objeto – No genere cuadros delimitadores duplicados – Las coordenadas deben usar el formato [x_min, y_min, x_max, y_max] donde: * (x_min, y_min) es la esquina superior izquierda del cuadro delimitador * (x_max, y_max) es la esquina inferior derecha del cuadro delimitador ## Requisitos de salida y ejemplos La salida JSON debe seguir estrictamente esta estructura, incluida la palabra json: “`json {esquema} “` ### Ejemplo de estructura JSON: “`json {{ "car": [{{ "bbox": [321, 432, 543, 876], }}], "peatonal": [{{ "bbox": [432, 543, 654, 987], }}, {{ "bbox": [123, 234, 345, 678], }}], // Continuar para todos los elementos detectados… }} “` Explique brevemente los resultados de la detección y proporcione el formato JSON especificado entre comillas invertidas triples.

Para obtener detalles completos de la implementación, consulte nuestro repositorio de GitHub.

Ejemplo: detección de escena callejera

Probamos Nova 2 Lite en una imagen de una escena callejera. Sin ningún entrenamiento ni ajuste, le pedimos a Nova que detecte dos tipos de objetos: "vehículo" y "señal de alto".

Como se muestra en la Figura 1, Nova detecta con precisión no sólo objetos obvios sino también aquellos que son pequeños, distantes o parcialmente ocluidos. Los cuadros delimitadores se ajustan perfectamente a los límites de los objetos con espacios mínimos. Nova logra esta precisión utilizando sólo nombres de objetos básicos como "vehículo" y "señal de alto" sin descripciones detalladas.


Figura 1. Cuadros delimitadores generados por Amazon Nova 2 Lite para dos tipos de objetos: “vehículo” y “señal de alto”.

Implementar en la nube

Amazon Bedrock proporciona acceso API a Amazon Nova 2 Lite, lo que significa que puede invocarlo desde cualquier servicio informático de AWS. Elige el servicio que mejor se adapta a tu carga de trabajo.

Elegir su plataforma informática

Para cargas de trabajo basadas en eventos y puntos finales de API, AWS Lambda proporciona escalamiento automático y un modelo de pago por invocación que elimina los costos inactivos. Si necesita más control sobre su entorno de ejecución o tiene procesos de larga duración, Amazon Elastic Compute Cloud (Amazon EC2) le brinda total flexibilidad para configurar instancias exactamente según sea necesario. Utilice Amazon Elastic Container Service (Amazon ECS) o Amazon Elastic Kubernetes Service (Amazon EKS) para implementaciones basadas en contenedores con escalado automático.

Independientemente del servicio informático que elija, todos llaman a la misma API de Amazon Bedrock Converse para interactuar con los modelos Nova. Esta coherencia hace que sea sencillo integrar la detección de objetos en su infraestructura existente o migrar entre plataformas informáticas a medida que evolucionan sus requisitos.

Construyendo una aplicación de detección de objetos

Creamos una aplicación web sin servidor de muestra que muestra la detección de objetos con Amazon Nova 2 Lite. Esta prueba de concepto incluye una interfaz web, infraestructura segura y escalado automático. Puede implementarlo en su propia cuenta de AWS en minutos.

La aplicación sigue una arquitectura sin servidor que utiliza múltiples servicios de AWS trabajando en conjunto. Amazon CloudFront sirve la aplicación de una sola página desde un depósito privado de Amazon Simple Storage Service (Amazon S3), proporcionando distribución global y aplicación de HTTPS a través de Origin Access Control. Cuando un usuario carga una imagen y especifica los objetos que desea detectar, el front-end envía la solicitud a Amazon API Gateway, que la enruta a una función de AWS Lambda.

La función Lambda actúa como capa de orquestación y llama a la API Converse de Amazon Bedrock para enviar la imagen y el mensaje de detección a Amazon Nova 2 Lite. Nova devuelve coordenadas de cuadro delimitador normalizadas para cada objeto detectado, que la función Lambda convierte en posiciones de píxeles y representa como cuadros anotados en la imagen. El resultado anotado regresa por la misma ruta: Lambda a API Gateway hasta el front-end. Luego, los usuarios ven su imagen con los objetos detectados resaltados.

Amazon CloudFront distribuye el front-end a nivel mundial. API Gateway enruta solicitudes a Lambda, que llama a Amazon Bedrock para ejecutar la detección de objetos. Esta arquitectura se escala automáticamente y mantiene cada componente enfocado en un trabajo.

Diagrama de arquitectura de AWS para una aplicación de detección de objetos sin servidor que muestra el flujo de solicitudes del usuario a través de Amazon CloudFront, una interfaz alojada en S3, Amazon API Gateway, una función Image Grounding Lambda y Amazon Bedrock Nova Lite, con AWS Secrets Manager y Amazon CloudWatch Logs como servicios de soporte, implementados en la región us-west-2 Figura 2. Arquitectura de aplicación de muestra de detección de objetos sin servidor

Pruébalo tú mismo

El código fuente completo, incluidas todas las definiciones de infraestructura del AWS Cloud Development Kit (AWS CDK) y la función Lambda, está disponible en el repositorio de GitHub. Después de instalar AWS CLI y AWS CDK y habilitar el acceso a Amazon Nova 2 Lite en la consola de Amazon Bedrock, la implementación es sencilla.

Este patrón sin servidor demuestra la rapidez con la que se pueden crear aplicaciones de IA con modelos Nova. Debido a que toda la infraestructura es código, puede controlar la versión de toda su pila de aplicaciones e implementarla de manera consistente en múltiples entornos o cuentas de AWS.

Limpiar

Para evitar cargos continuos, elimine los recursos creados en este tutorial.

Si implementó la aplicación de muestra:

# Eliminar el cdk de la pila de AWS CloudFormation destroy # Verificar que se eliminen los recursos aws cloudformation list-stacks –stack-status-filter DELETE_COMPLETE

Limpieza manual (si es necesario):

Eliminar el contenido y el depósito de Amazon S3 Eliminar las funciones de AWS Lambda Eliminar los puntos finales de Amazon API Gateway Eliminar la distribución de Amazon CloudFront

Implicaciones de costos: las llamadas a la API de Amazon Bedrock son de pago por uso y no tienen costos de infraestructura continuos. Una vez que elimine los recursos de implementación, solo incurrirá en cargos al realizar llamadas API.

Aplicaciones prácticas

Los siguientes ejemplos muestran cómo Amazon Nova 2 Lite se aplica a casos de uso del mundo real en todas las industrias.

Control de calidad de fabricación

Una instalación de fabricación de metales procesa 10.000 piezas al mes. Cada pieza defectuosa que se envía cuesta entre 50 y 200 dólares en devoluciones y retrabajos. La importante inversión inicial para entrenar modelos tradicionales de visión por computadora a menudo resulta prohibitiva para su funcionamiento.

Con Amazon Nova 2 Lite, la instalación automatiza la inspección de calidad. Especifican defectos como "rayones", "abolladuras" o "puntos de óxido" y el sistema los identifica automáticamente. Analizar 5 imágenes por pieza cuesta aproximadamente 8 dólares al mes.

Agricultura de precisión

Una granja de 5000 acres captura imágenes semanales con drones durante la temporada de crecimiento de 20 semanas para detectar problemas en los cultivos de manera temprana. La detección temprana previene la aplicación excesiva de productos químicos y daños a los cultivos.

La finca especifica: “hoja enferma”, “daños por plagas”, “hongos”. Procesar 1,2 millones de imágenes de alta resolución por temporada cuesta aproximadamente 200 dólares.

El mismo enfoque permite que los equipos guiados por GPS detecten obstrucciones (por ejemplo, “vehículo”, “equipo”, “escombros”), lo que potencialmente permite operaciones de campo autónomas.

Logística y cumplimiento

Los centros de distribución identifican los paquetes dañados especificando: “caja rota”, “paquete aplastado”, “daños por agua”. Los sistemas marcan automáticamente los artículos para su inspección y los dirigen a áreas de control de calidad, garantizando estándares consistentes en todas las operaciones.

Este enfoque se extiende al monitoreo del inventario (por ejemplo, “estante vacío”, “artículo extraviado”) y al cumplimiento de las normas de seguridad (por ejemplo, “casco”, “chaleco de seguridad”, “gafas de seguridad”), haciendo que la visión por computadora sea accesible para operaciones de cualquier tamaño.

Conclusión

En esta publicación, mostramos cómo Amazon Nova 2 Lite hace accesible la detección de objetos. Al especificar nombres de objetos mediante indicaciones en lenguaje natural, puede implementar aplicaciones de visión por computadora en horas en lugar de meses, sin administrar ninguna infraestructura. Ofrece rendimiento de detección de objetos a través de una única API con una estructura de costos de pago por uso y no se necesita experiencia en aprendizaje automático (ML).

¿Listo para probarlo? Implemente la aplicación de muestra desde nuestro repositorio de GitHub o explore los modelos de Amazon Nova en la consola de Amazon Bedrock.

Sobre los autores

Peter Yu es científico de datos senior en el Centro de innovación de IA generativa de AWS, donde desarrolla soluciones innovadoras de IA generativa y se asocia con clientes para desbloquear nuevas posibilidades en sus negocios. Anteriormente fue consultor en McKinsey & Company, donde brindó soluciones de ciencia de datos y aprendizaje automático para impulsar el impacto empresarial.

Joyee Zhao es consultora senior de entrega dentro del equipo de servicios profesionales de AWS. En este puesto, se asocia con clientes empresariales para diseñar y ofrecer soluciones nativas de la nube para sus aplicaciones críticas para el negocio, centrándose en áreas como la modernización de aplicaciones, estrategias de migración y excelencia operativa en iniciativas complejas de transformación digital.

Robert Stolz es arquitecto de soluciones en AWS, donde trabaja con clientes de la industria de servicios financieros para impulsar el valor empresarial mediante la adopción de la nube y soluciones de inteligencia artificial.