Un codificador (sistema óptico) asigna objetos a imágenes sin ruido, cuyo ruido transforma en mediciones. Nuestro estimador de información utiliza sólo estas mediciones ruidosas y un modelo de ruido para cuantificar qué tan bien las mediciones distinguen los objetos.
Muchos sistemas de imágenes producen mediciones que los humanos nunca ven o no pueden interpretar directamente. Su teléfono inteligente procesa datos sin procesar del sensor a través de algoritmos antes de producir la foto final. Los escáneres de resonancia magnética recopilan mediciones del espacio de frecuencia que requieren reconstrucción antes de que los médicos puedan verlas. Los coches autónomos procesan datos de cámaras y LiDAR directamente con redes neuronales.
Lo que importa en estos sistemas no es cómo se ven las mediciones, sino cuánta información útil contienen. La IA puede extraer esta información incluso cuando está codificada de manera que los humanos no pueden interpretar.
Y, sin embargo, rara vez evaluamos directamente el contenido de la información. Las métricas tradicionales como la resolución y la relación señal-ruido evalúan aspectos individuales de la calidad por separado, lo que dificulta la comparación de sistemas que compensan estos factores. La alternativa común, entrenar redes neuronales para reconstruir o clasificar imágenes, combina la calidad del hardware de imágenes con la calidad del algoritmo.
Desarrollamos un marco que permite la evaluación directa y la optimización de sistemas de imágenes en función de su contenido de información. En nuestro artículo NeurIPS 2025, mostramos que esta métrica de información predice el rendimiento del sistema en cuatro dominios de imágenes, y que su optimización produce diseños que coinciden con los métodos de punta a punta de última generación y al mismo tiempo requieren menos memoria, menos computación y ningún diseño de decodificador para tareas específicas.
¿Por qué información mutua?
La información mutua cuantifica en qué medida una medición reduce la incertidumbre sobre el objeto que la produjo. Dos sistemas con la misma información mutua son equivalentes en su capacidad para distinguir objetos, incluso si sus medidas parecen completamente diferentes.
Este número único captura el efecto combinado de la resolución, el ruido, el muestreo y todos los demás factores que afectan la calidad de la medición. Una imagen borrosa y ruidosa que conserva las características necesarias para distinguir objetos puede contener más información que una imagen nítida y limpia que pierde esas características.
La información unifica métricas de calidad tradicionalmente separadas. Tiene en cuenta el ruido, la resolución y la sensibilidad espectral juntos en lugar de tratarlos como factores independientes.
Los intentos anteriores de aplicar la teoría de la información a las imágenes enfrentaron dos problemas. El primer enfoque trataba los sistemas de imágenes como canales de comunicación ilimitados, ignorando las limitaciones físicas de lentes y sensores. Esto produjo estimaciones tremendamente inexactas. El segundo enfoque requería modelos explícitos de los objetos de los que se obtenían imágenes, lo que limitaba la generalidad.
Nuestro método evita ambos problemas al estimar la información directamente a partir de las mediciones.
Estimación de información a partir de mediciones.
Estimar información mutua entre variables de alta dimensión es notoriamente difícil. Los requisitos de muestra crecen exponencialmente con la dimensionalidad y las estimaciones sufren de un alto sesgo y varianza.
Sin embargo, los sistemas de imágenes tienen propiedades que permiten descomponer este difícil problema en subproblemas más simples. La información mutua se puede escribir como:
\[I(X; Y) = H(Y) – H(Y \mid X)\]
El primer término, $H(Y)$, mide la variación total en las mediciones tanto de las diferencias de objetos como del ruido. El segundo término, $H(Y \mid X)$, mide la variación debida únicamente al ruido.
La información mutua equivale a la diferencia entre la variación total de la medición y la variación exclusiva del ruido.
Los sistemas de imágenes tienen ruido bien caracterizado. El ruido de los fotones sigue una distribución de Poisson. El ruido de la lectura electrónica es gaussiano. Esta física del ruido conocida significa que podemos calcular $H(Y \mid X)$ directamente, dejando solo $H(Y)$ para aprender de los datos.
Para $H(Y)$, ajustamos un modelo probabilístico (por ejemplo, un transformador u otro modelo autorregresivo) a un conjunto de datos de mediciones. El modelo aprende la distribución de todas las medidas posibles. Probamos tres modelos que abarcan compensaciones entre eficiencia y precisión: un proceso gaussiano estacionario (el más rápido), un gaussiano completo (intermedio) y un PixelCNN autorregresivo (el más preciso). El enfoque proporciona un límite superior a la información verdadera; cualquier error de modelado sólo puede sobreestimar, nunca subestimar.
Validación en cuatro dominios de imágenes.
Las estimaciones de información deberían predecir el rendimiento del decodificador si capturan lo que limita los sistemas reales. Probamos esta relación en cuatro aplicaciones de imágenes.
Las estimaciones de información predicen el rendimiento del decodificador en fotografía en color, radioastronomía, imágenes sin lentes y microscopía. Una mayor información produce consistentemente mejores resultados en las tareas posteriores.
Fotocromía. Las cámaras digitales codifican el color mediante conjuntos de filtros que restringen cada píxel para detectar solo ciertas longitudes de onda. Comparamos tres diseños de filtros: el patrón tradicional de Bayer, una disposición aleatoria y una disposición aprendida. Las estimaciones de información clasificaron correctamente qué diseños producirían mejores reconstrucciones de color, coincidiendo con las clasificaciones de la demostración de redes neuronales sin requerir ningún algoritmo de reconstrucción.
Radioastronomía. Los conjuntos de telescopios logran una alta resolución angular combinando señales de sitios de todo el mundo. Seleccionar ubicaciones óptimas para los telescopios es computacionalmente difícil porque el valor de cada sitio depende de todos los demás. Las estimaciones de información predijeron la calidad de la reconstrucción en todas las configuraciones de telescopios, lo que permitió la selección del sitio sin una costosa reconstrucción de imágenes.
Imágenes sin lentes. Las cámaras sin lentes reemplazan la óptica tradicional con máscaras moduladoras de luz. Sus medidas no guardan ningún parecido visual con las escenas. Las estimaciones de información predijeron la precisión de la reconstrucción a través de una lente, un conjunto de microlentes y un diseño de difusor en varios niveles de ruido.
Microscopía. Los microscopios de matriz de LED utilizan iluminación programable para generar diferentes modos de contraste. Las estimaciones de información se correlacionaron con la precisión de las redes neuronales a la hora de predecir la expresión de proteínas a partir de imágenes celulares, lo que permitió la evaluación sin costosos experimentos de etiquetado de proteínas.
En todos los casos, una mayor información significó un mejor rendimiento posterior.
Diseñando sistemas con IDEAL
Las estimaciones de información pueden hacer más que evaluar los sistemas existentes. Nuestro método de aprendizaje de análisis de codificador basado en información (IDEAL) utiliza un ascenso de gradiente en estimaciones de información para optimizar los parámetros del sistema de imágenes.
IDEAL optimiza los parámetros del sistema de imágenes a través de retroalimentación de gradiente sobre estimaciones de información, sin requerir una red de decodificadores.
El enfoque estándar para el diseño de imágenes computacionales, la optimización de un extremo a otro, entrena conjuntamente el hardware de imágenes y un decodificador de red neuronal. Esto requiere retropropagación a través de todo el decodificador, lo que crea limitaciones de memoria y posibles dificultades de optimización.
IDEAL evita estos problemas optimizando únicamente el codificador. Lo probamos en el diseño de filtros de color. A partir de una disposición aleatoria de los filtros, IDEAL mejoró progresivamente el diseño. El resultado final coincidió con la optimización de un extremo a otro tanto en el contenido de la información como en la calidad de la reconstrucción.
IDEAL iguala el rendimiento de optimización de un extremo a otro y evita la complejidad del decodificador durante el entrenamiento.
Trascendencia
La evaluación basada en información crea nuevas posibilidades para una evaluación rigurosa de sistemas de imágenes en condiciones del mundo real. Los enfoques actuales requieren una evaluación visual subjetiva, datos reales que no están disponibles durante la implementación o métricas aisladas que pasan por alto la capacidad general. Nuestro método proporciona una métrica objetiva y unificada a partir de mediciones únicamente.
La eficiencia computacional de IDEAL sugiere posibilidades para diseñar sistemas de imágenes que antes eran intratables. Al evitar la retropropagación del decodificador, el enfoque reduce los requisitos de memoria y la complejidad del entrenamiento. Exploramos estas capacidades más ampliamente en el trabajo de seguimiento.
El marco puede extenderse más allá de las imágenes a otros dominios de detección. Cualquier sistema que pueda modelarse como codificación determinista con características de ruido conocidas podría beneficiarse de la evaluación y el diseño basados en información, incluidos sensores electrónicos, biológicos y químicos.
Esta publicación se basa en nuestro artículo de NeurIPS 2025 “Diseño de sistemas de imágenes basado en información”. El código está disponible en GitHub. Un resumen en vídeo está disponible en el sitio web del proyecto.