Muchas ramas de la biología, incluidas la ecología, la biología evolutiva y la biodiversidad, recurren cada vez más a las imágenes digitales y la visión por computadora como herramientas de investigación. La tecnología moderna ha mejorado enormemente su capacidad para analizar grandes cantidades de imágenes de museos, cámaras trampa y plataformas de ciencia ciudadana. Estos datos luego se pueden utilizar para delimitar especies, comprender los mecanismos de adaptación, estimar la estructura y abundancia de la población y monitorear y conservar la biodiversidad.
Sin embargo, encontrar y entrenar un modelo apropiado para una tarea determinada y etiquetar manualmente suficientes datos para la especie particular y el estudio en cuestión siguen siendo desafíos importantes cuando se intenta emplear la visión por computadora para resolver una cuestión biológica. Esto requiere una gran cantidad de tiempo y conocimientos de aprendizaje automático.
Investigadores de la Universidad Estatal de Ohio, Microsoft, la Universidad de California Irvine y el Instituto Politécnico Rensselaer están investigando la construcción de un modelo de este tipo de la visión fundamental del Árbol de la Vida en este esfuerzo. Este modelo debe cumplir estos requisitos para ser generalmente aplicable a tareas biológicas del mundo real. Antes que nada, debe poder acomodar a los investigadores que investigan una amplia variedad de clados, no solo uno, e idealmente generalizar a todo el árbol de la vida. Además, debería adquirir representaciones detalladas de imágenes de criaturas porque, en el campo de la biología, es común encontrar organismos visualmente similares, como especies estrechamente relacionadas dentro del mismo género o especies que imitan las apariencias de otras por el mismo motivo. de aptitud. Debido a la organización de los seres vivos en grupos amplios (como animales, hongos y plantas) y de grano muy fino en el Árbol de la Vida, este nivel de granularidad es significativo. Finalmente, los resultados excelentes en el régimen de pocos datos (es decir, de disparo cero o de pocos disparos) son cruciales debido al alto costo de la recopilación y el etiquetado de datos en biología.
Los modelos actuales de visión de dominio general entrenados en cientos de millones de imágenes no funcionan adecuadamente cuando se aplican a la biología y la ecología evolutivas, aunque estos objetivos no son nuevos para la visión por computadora. Los investigadores han identificado dos obstáculos principales para la creación de un modelo básico de visión en biología. Para empezar, se necesitan mejores conjuntos de datos previos al entrenamiento, ya que los que ya están disponibles son inadecuados en términos de tamaño, diversidad o granularidad de las etiquetas. En segundo lugar, como los algoritmos de preentrenamiento actuales no abordan bien los tres objetivos principales, es necesario encontrar mejores métodos de preentrenamiento que aprovechen las características únicas del dominio biológico.
Teniendo en cuenta estos objetivos y los obstáculos para su realización, el equipo presenta lo siguiente:
- TREE OF LIFE-10M, un enorme conjunto de datos de imágenes de biología MLready
- BIOCLIP es un modelo basado en visión para el árbol de la vida entrenado utilizando taxones apropiados en TREEOFLIFE-10M.
Un conjunto de datos de imágenes biológicas extenso y variado que está listo para ML es TREEOFLIFE-10M. Con más de 10 millones de fotografías que abarcan 454.000 taxones en el Árbol de la Vida, los investigadores han seleccionado y publicado el conjunto de datos de imágenes biológicas listo para ML más grande hasta la fecha con las etiquetas taxonómicas adjuntas.2 Solo 2,7 millones de fotografías representan 10.000 taxones compuestos iNat21, la mayor colección de imágenes de biología listas para ML. Los conjuntos de datos de alta calidad existentes, como iNat21 y BIOSCAN-1M, se incorporan a TREEOFLIFE-10M. La mayor parte de la diversidad de datos en TREEOFLIFE-10M proviene de la Enciclopedia de la Vida (eol.org), que contiene fotografías recientemente seleccionadas de esa fuente. La jerarquía taxonómica y las clasificaciones taxonómicas superiores de cada imagen en TREEOFLIFE-10M están anotadas en el mayor grado posible. BIOCLIP y otros modelos para el futuro de la biología se pueden entrenar con la ayuda de TREEOFLIFE-10M.
BIOCLIP es una representación del Árbol de la Vida basada en la vista. Un enfoque común y sencillo para entrenar modelos de visión en conjuntos de datos etiquetados a gran escala como TREEOFLIFE10M es aprender a predecir índices taxonómicos a partir de imágenes utilizando un objetivo de clasificación supervisado. ResNet50 y Swin Transformer también utilizan esta estrategia. Sin embargo, esto ignora y no utiliza el complejo sistema de etiquetas taxonómicas: los taxones no están aislados sino que están interrelacionados dentro de una taxonomía completa. Por lo tanto, es posible que un modelo entrenado utilizando una clasificación supervisada básica no pueda clasificar taxones desconocidos o generalizar bien a taxones que no estaban presentes durante el entrenamiento. En cambio, el equipo sigue un nuevo enfoque que combina la extensa taxonomía biológica de BIOCLIP con el aprendizaje contrastivo multimodal estilo CLIP. Al utilizar el objetivo de aprendizaje contrastivo CLIP, pueden aprender a asociar imágenes con sus respectivos nombres taxonómicos después de “aplanar” la taxonomía desde Kingdom hasta el rango de taxón más distal en una cadena conocida como nombre taxonómico. Cuando se utilizan nombres taxonómicos de taxones que no son visibles, BIOCLIP también puede realizar una clasificación de tiro cero.
El equipo también sugiere y demuestra que una técnica de entrenamiento de tipos de texto mixtos es beneficiosa; esto significa que mantienen la generalización de los nombres de la taxonomía pero tienen más margen para ser flexibles al realizar pruebas combinando múltiples tipos de texto (por ejemplo, nombres científicos con nombres comunes) durante el entrenamiento. Por ejemplo, los usuarios intermedios aún pueden utilizar nombres de especies comunes y BIOCLIP funcionará excepcionalmente bien. Su evaluación exhaustiva de BIOCLIP se basa en diez conjuntos de datos de clasificación de imágenes detalladas que abarcan flora, fauna e insectos y un conjunto de datos de ESPECIES RARAS especialmente seleccionado que no se utilizó durante el entrenamiento. BIOCLIP supera significativamente a CLIP y OpenCLIP, lo que resulta en una mejora absoluta promedio del 17% en circunstancias de pocos disparos y del 18% en circunstancias de cero disparos, respectivamente. Además, su análisis intrínseco puede explicar la mejor generalización de BIOCLIP, lo que muestra que ha aprendido una representación jerárquica que se ajusta al Árbol de la Vida.
La formación de BIOCLIP sigue centrada en la clasificación, aunque el equipo ha utilizado el objetivo CLIP para aprender representaciones visuales de cientos de miles de taxones de forma eficaz. Para permitir que BIOCLIP extraiga representaciones detalladas a nivel de rasgos, planean incorporar fotografías de grado de investigación de inaturalist.org, que tiene 100 millones de fotografías o más, y recopilar descripciones textuales más detalladas de las apariencias de las especies en trabajos futuros.
Revisar la Papel, Proyectoy GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Dhanshree Shenwai es ingeniero en informática y tiene una buena experiencia en empresas de tecnología financiera que cubren el ámbito financiero, tarjetas y pagos y banca con un gran interés en las aplicaciones de IA. Le entusiasma explorar nuevas tecnologías y avances en el mundo en evolución de hoy que facilita la vida de todos.