Transición del camino de las personas de Amazon Rekognition: exploración de otras alternativas

Rutas de personas de Amazon Rekognition es una capacidad basada en el aprendizaje automático (ML) de Vídeo de reconocimiento de Amazon que los usuarios pueden utilizar para comprender dónde, cuándo y cómo se mueve cada persona en un vídeo. Esta capacidad se puede utilizar para múltiples casos de uso, como por ejemplo para comprender:

1. Análisis minorista – Flujo de clientes en la tienda e identificación de áreas de alto tráfico.
2. Analítica deportiva – Movimientos de los jugadores a través del campo o cancha.
3. seguridad industrial – Movimiento de trabajadores en los entornos laborales para promover el cumplimiento de los protocolos de seguridad.

Después de una cuidadosa consideración, tomamos la decisión de suspender la ruta de personas de Rekognition el 31 de octubre de 2025. Los nuevos clientes no podrán acceder a la capacidad a partir del 24 de octubre de 2024, pero los clientes existentes podrán utilizar la capacidad normalmente hasta el 31 de octubre. , 2025.

Esta publicación analiza una solución alternativa para la ruta de personas de Rekognition y cómo puede implementar esta solución en sus aplicaciones.

Alternativas a Rekognition people pathing

Una alternativa a la ruta de personas de Amazon Rekognition combina el modelo de aprendizaje automático de código abierto YOLOv9que se utiliza para la detección de objetos, y el algoritmo ByteTrack de código abierto, que se utiliza para el seguimiento de múltiples objetos.

Descripción general de YOLO9 y ByteTrack

YOLOv9 es el último de la serie de modelos de detección de objetos YOLO. Utiliza una arquitectura especializada llamada Red de agregación de capas eficiente generalizada (GELAN) para analizar imágenes de manera eficiente. El modelo divide una imagen en una cuadrícula, identificando y ubicando rápidamente objetos en cada sección en una sola pasada. Luego refina sus resultados utilizando una técnica llamada información de gradiente programable (PGI) para mejorar la precisión, especialmente para objetos que se pasan por alto fácilmente. Esta combinación de velocidad y precisión hace que YOLOv9 sea ideal para aplicaciones que necesitan una detección de objetos rápida y confiable.

pista de bytes es un algoritmo para rastrear múltiples objetos en movimiento en videos, como personas caminando por una tienda. Lo que lo hace especial es cómo maneja objetos que son a la vez sencillos y difíciles de detectar. Incluso cuando alguien está parcialmente escondido o entre una multitud, ByteTrack a menudo aún puede seguirlo. Está diseñado para ser rápido y preciso, y funciona bien incluso cuando hay muchas personas a las que rastrear simultáneamente.

Cuando combinas YOLOv9 y ByteTrack para la ruta de personas, puedes revisar los movimientos de las personas en los cuadros de video. YOLOv9 proporciona detecciones de personas en cada cuadro de video. ByteTrack toma estas detecciones y las asocia entre fotogramas, creando pistas consistentes para cada individuo, mostrando cómo las personas se mueven a través del video a lo largo del tiempo.

Código de ejemplo

El siguiente ejemplo de código es un script de Python que se puede utilizar como AWS Lambda función o como parte de su proceso de procesamiento. También puede implementar YOLOv9 y ByteTrack para inferencia usando Amazon SageMaker. SageMaker ofrece varias opciones para la implementación de modelos, como inferencia en tiempo real, inferencia asincrónica, inferencia sin servidor e inferencia por lotes. Puede elegir la opción adecuada según los requisitos de su negocio.

Aquí hay un desglose de alto nivel de cómo se ejecuta el script de Python:

1. Cargar el modelo YOLOv9 – Este modelo se utiliza para detectar objetos en cada cuadro.
2. Inicie el rastreador ByteTrack – Este rastreador asigna identificaciones únicas a los objetos y los rastrea a través de fotogramas.
3. Iterar el vídeo fotograma a fotograma – Para cada fotograma, el script itera detectando objetos, siguiendo la ruta y dibujando cuadros delimitadores y etiquetas alrededor de ellos. Todo esto se guarda en un archivo JSON.
4. Salida del video procesado – El vídeo final se guarda con todos los objetos detectados y rastreados, anotados en cada fotograma.

# install and import necessary packages
!pip install opencv-python ultralytics
!pip install imageio[ffmpeg]

import cv2
import imageio
import json
from ultralytics import YOLO
from pathlib import Path

# Load an official Segment model from YOLOv9
model = YOLO('yolov9e-seg.pt') 

# define the function that changes YOLOV9 output to Person pathing API output format
def change_format(results, ts, person_only):
    #set person_only to True if you only want to track persons, not other objects.
    object_json = []

    for i, obj in enumerate(results.boxes):
        x_center, y_center, width, height = obj.xywhn[0]
        # Calculate Left and Top from center
        left = x_center - (width / 2)
        top = y_center - (height / 2)
        obj_name = results.names[int(obj.cls)]
        # Create dictionary for each object detected
        if (person_only and obj_name == "person") or not person_only:
            obj_data = {
                obj_name: {
                    "BoundingBox": {
                        "Height": float(height),
                        "Left": float(left),
                        "Top": float(top),
                        "Width": float(width)
                    },
                    "Index": int(obj.id)  # Object index
                },
                "Timestamp": ts  # timestamp of the detected object
            }
        object_json.append(obj_data)

    return object_json

#  Function for person tracking with json outputs and optional videos with annotation 
def person_tracking(video_path, person_only=True, save_video=True):
    # open the video file
    reader = imageio.get_reader(video_path)
    frames = []
    i = 0
    all_object_data = []
    file_name = Path(video_path).stem

    for frame in reader:
        # Convert frame from RGB (imageio's default) to BGR (OpenCV's default)
        frame_bgr = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
        try:
            # Run YOLOv9 tracking on the frame, persisting tracks between frames with bytetrack
            conf = 0.2
            iou = 0.5
            results = model.track(frame_bgr, persist=True, conf=conf, iou=iou, show=False, tracker="bytetrack.yaml")

            # change detection results to Person pathing API output formats.
            object_json = change_format(results[0], i, person_only)
            all_object_data.append(object_json)

            # Append the annotated frame to the frames list (for mp4 creation)
            annotated_frame = results[0].plot()
            frames.append(annotated_frame)
            i += 1

        except Exception as e:
            print(f"Error processing frame: {e}")
            break

    # save the object tracking array to json file
    with open(f'{file_name}_output.json', 'w') as file:
        json.dump(all_object_data, file, indent=4)
   
     # save annotated video
    if save_video is True:
        # Create a VideoWriter object of mp4
        fourcc = cv2.VideoWriter_fourcc(*'mp4v')
        output_path = f"{file_name}_annotated.mp4"
        fps = reader.get_meta_data()['fps']
        frame_size = reader.get_meta_data()['size']
        video_writer = cv2.VideoWriter(output_path, fourcc, fps, frame_size)

        # Write each frame to the video and release the video writer object when done
        for frame in frames:
            video_writer.write(frame)
        video_writer.release()
        print(f"Video saved to {output_path}")

    return all_object_data
    
        
#main function to call 
video_path="./MOT17-09-FRCNN-raw.webm"
all_object_data = person_tracking(video_path, person_only=True, save_video=True)

Validación

Usamos el siguiente video para mostrar esta integración. El video muestra una sesión de práctica de fútbol, ​​donde el quarterback está iniciando una jugada.

La siguiente tabla muestra un ejemplo del contenido del archivo JSON con resultados de seguimiento de personas por marca de tiempo.

El siguiente vídeo muestra los resultados con las personas que siguen la producción.

Otras soluciones de código abierto para rutas de personas

Aunque YOLOv9 y ByteTrack ofrecen una combinación poderosa para la ruta de personas, vale la pena considerar otras alternativas de código abierto:

1. Ordenación profunda – Un algoritmo popular que combina funciones de aprendizaje profundo con métodos de seguimiento tradicionales.
2. FeriaMOT – Integra la detección y reidentificación de objetos en una única red, ofreciendo a los usuarios la capacidad de rastrear objetos en escenas concurridas

Estas soluciones se pueden implementar de manera efectiva utilizando Amazon SageMaker para realizar inferencias.

Conclusión

En esta publicación, describimos cómo puede probar e implementar YOLOv9 y Byte Track como una alternativa a la ruta de personas de Rekognition. En combinación con las ofertas de herramientas de AWS, como AWS Lambda y Amazon SageMaker, puede implementar dichas herramientas de código abierto para sus aplicaciones.

Acerca de los autores

Fangzhou Cheng es científico aplicado sénior en AWS. Crea soluciones científicas para AWS Rekgnition y AWS Monitron para ofrecer a los clientes modelos de última generación. Sus áreas de enfoque incluyen IA generativa, visión por computadora y análisis de datos de series temporales.

Marcel Pividal es una SA Senior de Servicios de IA en la Organización Mundial de Especialistas, que aporta más de 22 años de experiencia en la transformación de desafíos comerciales complejos en soluciones tecnológicas innovadoras. Como líder intelectual en la implementación de IA generativa, se especializa en el desarrollo de arquitecturas de IA seguras y compatibles para implementaciones a escala empresarial en múltiples industrias.