Para determinar si dos sistemas biológicos o artificiales procesan información de manera similar, se utilizan varias medidas de similitud, como la regresión lineal, la alineación centrada del núcleo (CKA), la similitud de Bures normalizada (NBS) y la distancia angular de Procrustes. A pesar de su popularidad, los factores que contribuyen a las altas puntuaciones de similitud y lo que define una buena puntuación aún están por determinar. Estas métricas se aplican comúnmente para comparar representaciones de modelos con la actividad cerebral, con el objetivo de encontrar modelos con características similares al cerebro. Sin embargo, es incierto si estas medidas capturan las propiedades computacionales relevantes y se necesitan pautas más claras para elegir la métrica adecuada para cada contexto.
Trabajos recientes han destacado la necesidad de orientación práctica sobre la selección de medidas de similitud representacional, que este estudio aborda ofreciendo un nuevo marco de evaluación. El enfoque optimiza conjuntos de datos sintéticos para maximizar su similitud con los registros neuronales, lo que permite un análisis sistemático de cómo las diferentes métricas priorizan diversas características de los datos. A diferencia de los métodos anteriores que se basan en modelos previamente entrenados, esta técnica comienza con ruido no estructurado, lo que revela cómo las medidas de similitud dan forma a la información relevante para la tarea. El marco es independiente del modelo y se puede aplicar a diferentes conjuntos de datos neuronales, identificando patrones consistentes y propiedades fundamentales de medidas de similitud.
Investigadores del MIT, NYU y HIH Tübingen desarrollaron una herramienta para analizar medidas de similitud optimizando conjuntos de datos sintéticos para maximizar su similitud con los datos neuronales. Descubrieron que las puntuaciones altas de similitud no necesariamente reflejan información relevante para la tarea, especialmente en medidas como CKA. Diferentes métricas priorizan distintos aspectos de los datos, como los componentes principales, que pueden afectar su interpretación. Su estudio también destaca la falta de umbrales consistentes para puntuaciones de similitud entre conjuntos de datos y medidas, enfatizando la precaución al usar estas métricas para evaluar la alineación entre modelos y sistemas neuronales.
Para medir la similitud entre dos sistemas, se comparan representaciones de características de un área del cerebro o capa de modelo mediante puntuaciones de similitud. Los conjuntos de datos X e Y se analizan y remodelan si hay dinámicas temporales involucradas. Se utilizan varios métodos, como CKA, Angular Procrustes y NBS, para calcular estas puntuaciones. El proceso implica optimizar conjuntos de datos sintéticos (Y) para que se parezcan a conjuntos de datos de referencia (X) maximizando sus puntuaciones de similitud. A lo largo de la optimización, la información relevante para la tarea se decodifica a partir de los datos sintéticos y los componentes principales de X se evalúan para determinar qué tan bien Y los captura.
La investigación examina lo que define una puntuación de similitud ideal mediante el análisis de cinco conjuntos de datos neuronales, destacando que las puntuaciones óptimas dependen de la medida elegida y del conjunto de datos. En un conjunto de datos, Mante 2013, las buenas puntuaciones varían significativamente desde menos de 0,5 hasta cerca de 1. También muestra que las puntuaciones altas de similitud, especialmente en CKA y regresión lineal, no siempre reflejan que la información relacionada con la tarea esté codificada de manera similar a los datos neuronales. Algunos conjuntos de datos optimizados incluso superan los datos originales, posiblemente debido a técnicas avanzadas de eliminación de ruido, aunque se necesita más investigación para validarlo.
El estudio destaca limitaciones significativas en las medidas de similitud comúnmente utilizadas, como CKA y regresión lineal, para comparar modelos y conjuntos de datos neuronales. Las puntuaciones altas de similitud no necesariamente indican que los conjuntos de datos sintéticos codifiquen de manera efectiva información relevante para la tarea similar a los datos neuronales. Los hallazgos muestran que la calidad de las puntuaciones de similitud depende de la medida y el conjunto de datos específicos, sin un umbral consistente para lo que constituye una puntuación “buena”. La investigación introduce una nueva herramienta para analizar estas medidas y sugiere que los profesionales deben interpretar cuidadosamente las puntuaciones de similitud, enfatizando la importancia de comprender la dinámica subyacente de estas métricas.
Mira el Papel, Proyectoy GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[Upcoming Live Webinar- Oct 29, 2024] La mejor plataforma para ofrecer modelos optimizados: motor de inferencia Predibase (promocionado)
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.