El manejo y análisis de grandes cantidades de datos se denomina procesamiento de datos a gran escala. Implica extraer conocimientos valiosos, tomar decisiones informadas y resolver problemas complejos. Es crucial en varios campos, incluidos los negocios, la ciencia, la atención médica y más. La elección de herramientas y métodos depende de los requisitos específicos de la tarea de procesamiento de datos y de los recursos disponibles. Los lenguajes de programación como Python, Java y Scala se utilizan a menudo para el procesamiento de datos a gran escala. En este contexto, también son valiosos marcos como Apache Flink, Apache Kafka y Apache Storm.
Los investigadores han creado un nuevo marco de código abierto llamado fondant para simplificar y acelerar el procesamiento de datos a gran escala. Tiene varias herramientas integradas para descargar, explorar y procesar datos. También incluye componentes para descarga a través de URL y descarga de imágenes.
El desafío actual con la IA generativa, como Stable Diffusion y Dall-E, se basa en cientos de millones de imágenes de la Internet pública, incluidas obras protegidas por derechos de autor. Esto crea riesgos e incertidumbres legales para los usuarios de estas imágenes y es injusto para los titulares de derechos de autor que tal vez no quieran que su trabajo patentado se reproduzca sin consentimiento.
Para abordarlo, los investigadores han desarrollado un proceso de procesamiento de datos para crear 500 millones de conjuntos de datos de imágenes Creative Commons para entrenar los modelos de generación de imágenes de difusión latente. Los canales de procesamiento de datos son pasos y tareas diseñados para recopilar, procesar y mover datos de una fuente a otra, donde pueden almacenarse y analizarse para diversos fines.
La creación de canales de procesamiento de datos personalizados implica varios pasos y el enfoque específico puede variar según sus fuentes de datos, requisitos de procesamiento y herramientas. Los investigadores utilizan el método de bloques de construcción para crear canalizaciones personalizadas. Diseñaron las tuberías Fondant para mezclar componentes reutilizables y componentes personalizados. Además, lo implementaron en un entorno de producción y configuraron la automatización para el procesamiento regular de datos.
Fondant-cc-25m contiene 25 millones de URL de imágenes con información de licencia Creative Commons a las que se puede acceder fácilmente de una sola vez. Los investigadores han publicado un programa de instalación detallado paso a paso para usuarios locales. Para ejecutar las canalizaciones localmente, los usuarios deben tener Docker instalado en sus sistemas con al menos 8 GB de RAM asignados a su entorno Docker.
Como el conjunto de datos publicado puede contener información personal confidencial, los investigadores solo diseñaron los conjuntos de datos para incluir información pública no personal para respaldar la realización y publicación de su investigación de acceso abierto. Dicen que el proceso de filtrado para el conjunto de datos aún está en progreso y están dispuestos a recibir contribuciones de otros investigadores para contribuir a la creación de canales anónimos para el proyecto. Los investigadores dicen que en el futuro quieren agregar diferentes componentes como deduplicación basada en imágenes, subtítulos automáticos, estimación de la calidad visual, detección de marcas de agua, detección de rostros, detección de texto y mucho más.
Revisar la Artículo de blog y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 31k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
También estamos en WhatsApp. Únase a nuestro canal de IA en Whatsapp.
Arshad es pasante en MarktechPost. Actualmente cursa su carrera internacional. Maestría en Física del Instituto Indio de Tecnología Kharagpur. Comprender las cosas hasta el nivel fundamental conduce a nuevos descubrimientos que conducen al avance de la tecnología. Le apasiona comprender la naturaleza fundamentalmente con la ayuda de herramientas como modelos matemáticos, modelos de aprendizaje automático e inteligencia artificial.