Esta es una publicación de cliente escrita conjuntamente por empleados de ICL y AWS.
ICL es una corporación multinacional de fabricación y minería con sede en Israel que fabrica productos basados en minerales únicos y satisface las necesidades esenciales de la humanidad, principalmente en tres mercados: agricultura, alimentos y materiales de ingeniería. Sus sitios mineros utilizan equipos industriales que deben ser monitoreados porque las fallas de la maquinaria pueden resultar en pérdida de ingresos o incluso daños ambientales. Debido a las condiciones extremadamente duras (temperaturas altas y bajas, vibraciones, agua salada, polvo), es difícil conectar sensores a estas máquinas mineras para el monitoreo remoto. Por lo tanto, la mayoría de las máquinas son monitoreadas manualmente o visualmente de forma continua por trabajadores en el sitio. Estos trabajadores frecuentemente revisan las imágenes de las cámaras para monitorear el estado de una máquina. Aunque este enfoque ha funcionado en el pasado, no escala e incurre en costos relativamente altos.
Para superar este desafío empresarial, ICL decidió desarrollar capacidades internas para utilizar el aprendizaje automático (ML) para la visión por computadora (CV) para monitorear automáticamente sus máquinas mineras. Como empresa minera tradicional, la disponibilidad de recursos internos con habilidades en ciencia de datos, CV o ML era limitada.
En esta publicación, discutimos lo siguiente:
- Cómo desarrolló ICL las capacidades internas para construir y mantener soluciones CV que permitan el monitoreo automático de equipos mineros para mejorar la eficiencia y reducir los desechos
- Una inmersión profunda en una solución para filtros de minería desarrollada con el apoyo del programa AWS Prototyping
Utilizando el enfoque descrito en esta publicación, ICL pudo desarrollar un marco en AWS utilizando Amazon SageMaker construir otros casos de uso basados en la visión extraída de unas 30 cámaras, con el potencial de escalar a miles de dichas cámaras en sus sitios de producción.
Creación de capacidades internas a través de AWS Prototyping
La creación y el mantenimiento de soluciones de aprendizaje automático para cargas de trabajo críticas para el negocio requieren personal suficientemente capacitado. A menudo no es posible subcontratar dichas actividades porque es necesario combinar el conocimiento interno sobre los procesos de negocio con la creación de soluciones técnicas. Por lo tanto, ICL se acercó a AWS en busca de apoyo en su camino para crear una solución CV para monitorear sus equipos de minería y adquirir las habilidades necesarias.
AWS Prototyping es un programa de inversión en el que AWS incorpora especialistas a los equipos de desarrollo de clientes para crear casos de uso de misión crítica. Durante dicho compromiso, el equipo de desarrollo del cliente aprende las tecnologías subyacentes de AWS mientras crea el caso de uso en el transcurso de 3 a 6 semanas y recibe ayuda práctica. Además del caso de uso correspondiente, todo lo que el cliente necesita es de 3 a 7 desarrolladores que puedan dedicar más del 80% de su tiempo de trabajo a crear el caso de uso antes mencionado. Durante este tiempo, los especialistas de AWS están completamente asignados al equipo del cliente y colaboran con ellos de forma remota o in situ.
Caso de uso de visión por computadora de ICL
Para el compromiso de creación de prototipos, ICL seleccionó el caso de uso para monitorear sus filtros de minería. Una criba es una gran máquina minera industrial donde se procesan minerales disueltos en agua. El agua fluye en varios carriles desde la parte superior de la máquina hasta la parte inferior. La afluencia se controla individualmente para cada uno de los carriles. Cuando el influjo sale del carril se denomina desbordamiento, lo que indica que la máquina está sobrecargada. Los influjos desbordantes son minerales que el filtro no procesa y se pierden. Esto debe evitarse regulando la afluencia. Sin una solución de aprendizaje automático, el desbordamiento debe ser monitoreado por humanos y potencialmente lleva tiempo hasta que se observe y maneje.
Las siguientes imágenes muestran las entradas y salidas de los modelos CV. La imagen sin procesar de la cámara (izquierda) se procesa utilizando un modelo de segmentación semántica (centro) para detectar los diferentes carriles. Luego, el modelo (derecha) estima la cobertura (blanco) y el desbordamiento (rojo).
Aunque el compromiso de creación de prototipos se centró en un solo tipo de máquina, el enfoque general de usar cámaras y procesar automáticamente sus imágenes mientras se usa CV es aplicable a una gama más amplia de equipos de minería. Esto permite a ICL extrapolar los conocimientos adquiridos durante la creación de prototipos a otras ubicaciones, tipos de cámaras y máquinas, y también mantener los modelos ML sin requerir soporte de ningún tercero.
Durante el compromiso, los especialistas de AWS y el equipo de desarrollo de ICL se reunirían todos los días y desarrollarían conjuntamente la solución paso a paso. Los científicos de datos de ICL trabajarían de forma independiente en las tareas asignadas o recibirían soporte práctico de programación en pares de especialistas de AWS ML. Este enfoque garantiza que los científicos de datos de ICL no solo adquieran experiencia para desarrollar sistemáticamente modelos de aprendizaje automático utilizando SageMaker, sino también para integrar estos modelos en aplicaciones y automatizar todo el ciclo de vida de dichos modelos, incluido el reentrenamiento automatizado o el monitoreo de modelos. Después de 4 semanas de esta colaboración, ICL pudo pasar este modelo a producción sin necesidad de soporte adicional en 8 semanas, y desde entonces ha construido modelos para otros casos de uso. El enfoque técnico de este compromiso se describe en la siguiente sección.
Monitoreo de cribas mineras usando modelos CV con SageMaker
SageMaker es una plataforma totalmente administrada que aborda el ciclo de vida completo de un modelo de ML: proporciona servicios y características que ayudan a los equipos que trabajan en modelos de ML a etiquetar sus datos en Verdad fundamental de Amazon SageMaker hasta entrenar y optimizar el modelo, así como alojar modelos de ML para uso en producción. Antes del compromiso, ICL instaló las cámaras y obtuvo fotografías como se muestra en las imágenes anteriores (imagen más a la izquierda) y las almacenó en un Servicio de almacenamiento simple de Amazon (Amazon S3) cubo. Antes de poder entrenar modelos, es necesario generar datos de entrenamiento. El equipo conjunto ICL-AWS abordó esto en tres pasos:
- Etiquete los datos usando un trabajo de etiquetado de segmentación semántica en SageMaker Ground Truth, como se muestra en la siguiente imagen.
- Preprocese las imágenes etiquetadas utilizando técnicas de aumento de imágenes para aumentar la cantidad de muestras de datos.
- Divida las imágenes etiquetadas en conjuntos de entrenamiento, prueba y validación, de modo que el rendimiento y la precisión del modelo se puedan medir adecuadamente durante el proceso de entrenamiento.
Para lograr una escala de producción para las cargas de trabajo de ML, automatizar estos pasos es crucial para mantener la calidad de la capacitación. Por lo tanto, cada vez que se etiquetan nuevas imágenes con SageMaker Ground Truth, los pasos de preprocesamiento y división se ejecutan automáticamente y los conjuntos de datos resultantes se almacenan en Amazon S3, como se muestra en el flujo de trabajo de entrenamiento del modelo en el siguiente diagrama. De manera similar, el flujo de trabajo de implementación del modelo utiliza recursos de SageMaker para actualizar los puntos finales automáticamente cada vez que hay un modelo actualizado disponible.
ICL utiliza varios enfoques para implementar modelos de ML en producción. Algunos involucran su plataforma de inteligencia artificial actual llamada KNIME, que les permite implementar rápidamente modelos desarrollados en el entorno de desarrollo en producción industrializándolos en productos. Se analizaron varias combinaciones de uso de servicios KNIME y AWS; la arquitectura anterior era la más adecuada al entorno de ICL.
El Algoritmo incorporado de segmentación semántica de SageMaker se utiliza para entrenar modelos para la segmentación del área de la cuadrícula de cribado. Al elegir este algoritmo incorporado en lugar de un contenedor autoconstruido, ICL no tiene que lidiar con el trabajo pesado e indiferenciado de mantener una red neuronal convolucional (CNN) y al mismo tiempo puede usar dicha CNN para su caso de uso. Después de experimentar con diferentes configuraciones y parámetros, ICL utilizó un algoritmo de red totalmente convolucional (FCN) con un red de análisis de escenas piramidales (PSPNet) para entrenar el modelo. Esto permitió a ICL finalizar la construcción del modelo dentro de una semana del compromiso de creación del prototipo.
Una vez que se ha entrenado un modelo, se debe implementar para que pueda utilizarse para el monitoreo del evaluador. En línea con la capacitación del modelo, este proceso está completamente automatizado y orquestado utilizando Funciones de paso de AWS y AWS Lambda. Una vez que el modelo se implementa con éxito en el punto final de SageMaker, las imágenes entrantes de las cámaras cambian de tamaño para ajustarse al formato de entrada del modelo y luego se introducen en el punto final para realizar predicciones utilizando funciones Lambda. El resultado de la predicción de la segmentación semántica, así como la detección de desbordamiento, se almacenan en AmazonDynamoDB y Amazon S3 para análisis posteriores. Si se detecta desbordamiento, Servicio de notificación simple de Amazon (Amazon SNS) o funciones Lambda se pueden utilizar para mitigar automáticamente el desbordamiento y controlar los carriles correspondientes en el cribador afectado. El siguiente diagrama ilustra esta arquitectura.
Conclusión
Esta publicación describió cómo ICL, una empresa minera israelí, desarrolló su propio enfoque de visión por computadora para el monitoreo automatizado de equipos mineros mediante cámaras. Primero mostramos cómo abordar tal desafío desde un punto de vista organizacional centrado en la habilitación, luego brindamos una visión detallada de cómo se construyó el modelo utilizando AWS. Aunque el desafío del monitoreo puede ser exclusivo de ICL, el enfoque general de construir un prototipo junto con especialistas de AWS se puede aplicar a desafíos similares, particularmente para organizaciones que no tienen el conocimiento necesario de AWS.
Si desea aprender cómo crear un prototipo a escala de producción de su caso de uso, comuníquese con el equipo de su cuenta de AWS para discutir un compromiso de creación de prototipos.
Sobre los autores
Markus Bestehorn Lidera los equipos de ingeniería y creación de prototipos para clientes en Alemania, Austria, Suiza e Israel para AWS. Tiene un doctorado en informática y está especializado en la creación de soluciones complejas de aprendizaje automático e IoT.
David Abekasis Lidera el equipo de ciencia de datos en ICL Group con pasión por educar a otros sobre análisis de datos y aprendizaje automático mientras ayuda a resolver desafíos comerciales. Tiene una maestría en ciencia de datos y un MBA. Tuvo la suerte de investigar datos de series espaciales y temporales en el ámbito de la agricultura de precisión.
Ion Cleopas es un arquitecto sénior de prototipos de aprendizaje automático con una maestría en ciencia de datos y big data. Ayuda a los clientes de AWS a crear soluciones innovadoras de IA/ML habilitando a sus equipos técnicos en tecnologías de AWS mediante el desarrollo conjunto de prototipos para casos de uso desafiantes de aprendizaje automático, allanando su camino hacia la producción.
Mirón Perel es director principal de desarrollo empresarial de aprendizaje automático en Amazon Web Services. Miron asesora a empresas de IA generativa en la construcción de sus modelos de próxima generación.