En la medicina de precisión, los investigadores que desarrollan pruebas de diagnóstico para la detección temprana de enfermedades enfrentan un desafío crítico: conjuntos de datos que contienen miles de biomarcadores potenciales pero solo cientos de muestras de pacientes. Esta maldición de la dimensionalidad puede determinar el éxito o el fracaso de descubrimientos revolucionarios.
La bioinformática moderna utiliza múltiples modalidades ómicas (genómica, lipidómica, proteómica y metabolómica) para desarrollar pruebas de detección temprana de enfermedades. Los investigadores de esta industria también se enfrentan a menudo al desafío de conjuntos de datos en los que las características superan en número a las muestras en órdenes de magnitud. A medida que se consideran nuevas modalidades, las permutaciones aumentan exponencialmente, lo que hace que el seguimiento de experimentos sea un desafío importante. Además, el control de fuente y la calidad del código son un aspecto crítico de la arquitectura general de aprendizaje automático. Sin procesos eficientes de operaciones de aprendizaje automático (MLOps), esto puede pasarse por alto, especialmente en la etapa inicial de descubrimiento del ciclo.
En esta publicación, exploramos cómo Sonrai, una empresa de inteligencia artificial de ciencias biológicas, se asoció con AWS para crear un marco MLOps sólido utilizando Amazon SageMaker AI que aborde estos desafíos y al mismo tiempo mantenga la trazabilidad y reproducibilidad requeridas en entornos regulados.
Descripción general de MLOps
MLOps combina prácticas de ML, DevOps e ingeniería de datos para implementar y mantener sistemas de ML en producción de manera confiable y eficiente.
La implementación de las mejores prácticas de MLOps desde el principio permite iteraciones de experimentos más rápidas y una implementación de modelos confiable y rastreable, todo lo cual es esencial en las empresas de tecnología sanitaria donde la gobernanza y la validación son primordiales.
El desafío de los datos de Sonrai
Sonrai se asoció con una gran empresa de biotecnología para desarrollar pruebas de biomarcadores para un tipo de cáncer desatendido. El proyecto involucró un rico conjunto de datos que abarca múltiples modalidades ómicas: proteómica, metabolómica y lipidómica, con el objetivo de identificar la combinación óptima de características para un biomarcador de detección temprana con alta sensibilidad y especificidad. El cliente enfrentó varios desafíos críticos. Su conjunto de datos contenía más de 8.000 biomarcadores potenciales en tres modalidades, pero sólo unos pocos cientos de muestras de pacientes. Esta relación extrema entre características y muestras requirió una selección de características sofisticada para evitar el sobreajuste. El equipo necesitaba evaluar cientos de combinaciones de modalidades y enfoques de modelado, lo que hacía inviable el seguimiento manual de experimentos. Como prueba de diagnóstico destinada al uso clínico, la trazabilidad completa desde los datos sin procesar a través de cada decisión de modelado hasta el modelo implementado final era esencial para las presentaciones regulatorias.
Descripción general de la solución
Para abordar estos desafíos de MLOps, Sonrai diseñó una solución integral utilizando SageMaker AI, un servicio totalmente administrado para que los científicos y desarrolladores de datos creen, entrenen e implementen modelos de ML a escala. Esta solución ayuda a proporcionar una gestión de datos más segura, entornos de desarrollo flexibles, un seguimiento de experimentos sólido y una implementación de modelos optimizada con trazabilidad completa. El siguiente diagrama ilustra la arquitectura y el flujo del proceso.
El flujo de trabajo MLOps de un extremo a otro sigue un camino claro:
Los clientes proporcionan datos de muestra al repositorio de datos seguro en Amazon Simple Storage Service (Amazon S3). Los ingenieros de ML utilizan Amazon SageMaker Studio Lab y Code Editor, conectados al control de fuente. Las canalizaciones leen desde el repositorio de datos, procesan datos y escriben resultados en Amazon S3. Los experimentos se registran en MLflow dentro de Amazon SageMaker Studio. Los informes generados se almacenan en Amazon S3 y se comparten con las partes interesadas. Los modelos validados se promocionan al Registro de modelos de Amazon SageMaker. Los modelos finales se implementan para inferencia o validación adicional.
Esta arquitectura facilita una trazabilidad completa: cada modelo registrado se puede rastrear mediante la selección de hiperparámetros y la división del conjunto de datos hasta los datos de origen y la versión del código que lo produjo.
Gestión segura de datos con Amazon S3
La base de la solución de Sonrai es la gestión segura de datos con la ayuda de Amazon S3. Sonrai configuró depósitos S3 con controles de acceso escalonados para datos confidenciales de pacientes. Los datos clínicos y de muestras se almacenaron en un depósito de datos dedicado con acceso restringido, lo que facilitó la gobernanza con los requisitos de protección de datos. Un depósito de resultados separado almacena datos procesados, resultados de modelos e informes generados. Esta separación garantiza que los datos sin procesar de los pacientes puedan permanecer seguros y al mismo tiempo permite compartir de forma flexible los resultados de los análisis. La integración perfecta con los repositorios de Git permite la colaboración, el control de fuentes y los procesos de garantía de calidad, al mismo tiempo que mantiene seguros los datos confidenciales de los pacientes dentro del entorno de AWS, algo fundamental para mantener la gobernanza en industrias reguladas.
Operaciones mlop con IA de SageMaker
Desde el inicio del proyecto, Sonrai utilizó las interfaces JupyterLab y Code Editor dentro de su entorno SageMaker AI. Este entorno se integró con el repositorio Git del cliente para el control de código fuente, estableciendo flujos de trabajo de control de versiones y revisión de código desde el primer día. SageMaker AI ofrece una amplia gama de instancias informáticas optimizadas para aprendizaje automático que se pueden aprovisionar en minutos y detener cuando no están en uso, optimizando la rentabilidad. Para este proyecto, Sonrai utilizó instancias informáticas con suficiente memoria para manejar grandes conjuntos de datos ómicos, girándolos para ejecuciones intensivas de modelado y apagándolos durante las fases de análisis. Code Editor sirvió como entorno de desarrollo principal para crear canales de calidad de producción, con su depuración integrada y funciones de flujo de trabajo Git. JupyterLab se utilizó para la exploración de datos y las reuniones de colaboración con los clientes, donde su formato de cuaderno interactivo facilitó la discusión de los resultados en tiempo real.
Se instalaron herramientas de terceros como Quarto, un sistema de publicación técnica de código abierto, dentro de los entornos informáticos de SageMaker para permitir la generación de informes dentro del proceso de modelado. Un solo comando de renderizado en cuarto ejecuta el proceso completo y crea informes listos para las partes interesadas con visualizaciones interactivas, tablas estadísticas y anotaciones de rebajas detalladas. Los informes se escriben automáticamente en el depósito de resultados de S3, donde los clientes pueden descargarlos a los pocos minutos de finalizar el proceso.
Flujo de aprendizaje automático administrado
La capacidad de MLflow administrada dentro de SageMaker AI permitió un seguimiento perfecto de los experimentos. Los experimentos ejecutados dentro del entorno de SageMaker AI se rastrean y registran automáticamente en MLflow, capturando una vista integral del proceso de experimentación. Para este proyecto, MLflow se convirtió en la única fuente de verdad para los experimentos de modelado, el registro de métricas de rendimiento, hiperparámetros, clasificaciones de importancia de características y artefactos personalizados como curvas ROC y matrices de confusión. La interfaz de usuario de MLflow proporcionó una interfaz intuitiva para comparar experimentos en paralelo, lo que permitió al equipo identificar rápidamente enfoques prometedores y compartir resultados durante las sesiones de revisión de los clientes.
Canalizaciones de MLOps
Los procesos de modelado de Sonrai están estructurados como flujos de trabajo reproducibles y controlados por versiones que procesan datos sin procesar a través de múltiples etapas para producir modelos finales:
Los datos ómicos sin procesar de Amazon S3 se cargan, normalizan y controlan la calidad. Se aplican transformaciones específicas de dominio para crear funciones listas para modelar. La eliminación recursiva de funciones (RFE) reduce miles de funciones a las más importantes para la detección de enfermedades. Se entrenan múltiples modelos en modalidades individuales y combinadas. Se evalúa el rendimiento del modelo y se generan informes completos.
Se realiza un seguimiento de cada ejecución de canalización en MLflow, capturando versiones de datos de entrada, confirmaciones de código, hiperparámetros y métricas de rendimiento. Esto crea un rastro auditable desde los datos sin procesar hasta el modelo final, esencial para las presentaciones regulatorias. Las canalizaciones se ejecutan en trabajos de capacitación de SageMaker, que proporcionan recursos informáticos escalables y captura automática de metadatos de entrenamiento. La etapa de canalización más crítica fue RFE, que elimina de forma iterativa características menos importantes mientras monitorea el rendimiento del modelo. MLflow realizó un seguimiento de cada iteración, registrando qué funciones se eliminaron, el rendimiento del modelo en cada paso y el conjunto de funciones seleccionado final. Este seguimiento detallado permitió la validación de las decisiones de selección de funciones y proporcionó documentación para la revisión regulatoria.
Implementación del modelo
Sonrai utiliza MLflow y SageMaker Model Registry de forma complementaria para gestionar los artefactos y metadatos del modelo durante todo el ciclo de vida del desarrollo. Durante la experimentación activa, MLflow actúa como sistema de seguimiento principal, lo que permite una iteración rápida con un seguimiento de experimentos ligero. Cuando un modelo alcanza umbrales de rendimiento predeterminados y está listo para una validación o implementación más amplia, se promueve al Registro de modelos de SageMaker. Esta promoción representa una transición formal de la investigación al desarrollo. Los modelos candidatos se evalúan según criterios de éxito, se empaquetan con su código de inferencia y contenedores y se registran en el Registro de modelos de SageMaker con un identificador de versión único. El Registro de modelos de SageMaker admite un flujo de trabajo de aprobación de implementación formal alineado con el sistema de gestión de calidad de Sonrai:
Pendiente: modelos recién registrados en espera de revisión. Aprobado: modelos que han pasado los criterios de validación y están listos para su implementación. Rechazado: modelos que no cumplieron con los criterios de aceptación, con motivos documentados.
Para el proyecto de biomarcadores de cáncer, los modelos se evaluaron según criterios clínicos estrictos: sensibilidad de al menos el 90 %, especificidad de al menos el 85 % y AUC-ROC de al menos 0,90. Para los modelos aprobados, las opciones de implementación incluyen puntos finales de SageMaker para inferencia en tiempo real, trabajos de transformación por lotes para procesar grandes conjuntos de datos o recuperación de artefactos del modelo para su implementación en entornos específicos del cliente.
Resultados y rendimiento del modelo.
Al utilizar instancias informáticas optimizadas para ML en SageMaker AI, todo el proceso, desde los datos sin procesar hasta los modelos e informes finales, se ejecutó en menos de 10 minutos. Este rápido ciclo de iteración permitió actualizaciones diarias del modelo, colaboración en tiempo real durante las reuniones con los clientes y validación inmediata de hipótesis. Lo que antes habría llevado días ahora se puede lograr con una sola llamada del cliente. El proceso de modelado generó 15 modelos individuales en combinaciones de modalidad única y multimodal. El modelo de mayor rendimiento combinó características proteómicas y metabolómicas, logrando una sensibilidad del 94 % y una especificidad del 89 % con un AUC-ROC de 0,93. Este enfoque multimodal superó a las modalidades individuales por sí solas, lo que demuestra el valor de integrar diferentes tipos de datos ómicos. El modelo ganador fue promovido al Registro de modelos de SageMaker con metadatos completos, incluida la ubicación de los artefactos del modelo, el conjunto de datos de entrenamiento, los ID de los experimentos de MLflow, las métricas de evaluación y los metadatos personalizados. Este modelo registrado se sometió a una validación adicional por parte del equipo clínico del cliente antes de la aprobación para estudios de validación clínica. "El uso de SageMaker AI para el proceso completo de desarrollo del modelo permitió al equipo colaborar e iterar rápidamente con total trazabilidad y confianza en el resultado final. El amplio conjunto de servicios disponibles en Amazon SageMaker AI lo convierte en una solución completa para el desarrollo, implementación y monitoreo de modelos sólidos", afirma Matthew Lee, director de AI e imágenes médicas de Sonrai.
Conclusión
Sonrai se asoció con AWS para desarrollar una solución MLOps que acelera los ensayos de medicina de precisión utilizando SageMaker AI. La solución aborda desafíos clave en el descubrimiento de biomarcadores: administrar conjuntos de datos con miles de características de múltiples modalidades ómicas mientras se trabaja con muestras de pacientes limitadas, rastrear cientos de permutaciones experimentales complejas y mantener el control de versiones y la trazabilidad para la preparación regulatoria. El resultado es un marco MLOps escalable que reduce el tiempo de iteración de desarrollo de días a minutos al tiempo que facilita la reproducibilidad y la preparación regulatoria. La combinación del entorno de desarrollo de IA de SageMaker, el seguimiento de experimentos de MLflow y el Registro de modelos de SageMaker proporciona trazabilidad de extremo a extremo desde los datos sin procesar hasta los modelos implementados, algo esencial tanto para la validez científica como para la gobernanza. Sonrai vio los siguientes resultados clave:
8916 biomarcadores modelados y rastreados Cientos de experimentos realizados con el linaje completo Reducción del 50 % en el tiempo dedicado a seleccionar datos para informes de biomarcadores
Sobre esta base, Sonrai está ampliando sus capacidades SageMaker AI MLOps. El equipo está desarrollando canales de reentrenamiento automatizados que activan actualizaciones de modelos cuando hay nuevos datos de pacientes disponibles, utilizando Amazon EventBridge para orquestar canales de IA de SageMaker que monitorean la deriva de datos y la degradación del rendimiento del modelo.
Sonrai también está ampliando la arquitectura para respaldar el aprendizaje federado en múltiples sitios clínicos, lo que permite el desarrollo de modelos colaborativos y al mismo tiempo mantiene datos confidenciales de los pacientes en cada institución. Se están implementando modelos seleccionados en los puntos finales de SageMaker para realizar predicciones en tiempo real, lo que respalda las aplicaciones de apoyo a las decisiones clínicas.
Comience hoy con Amazon SageMaker para MLOps para crear sus propios canales de ML Ops. Encuentre nuestro taller introductorio de Amazon SageMaker ML Ops para comenzar.