Los ojos, dice el viejo refrán, son la ventana del alma, pero cuando se trata de imágenes deepfake, pueden ser una ventana a la irrealidad.
Así lo revela una nueva investigación realizada en la Universidad de Hull, en el Reino Unido, que aplicó técnicas que se suelen utilizar para observar galaxias lejanas para determinar si las imágenes de rostros humanos eran reales o no. La idea surgió cuando Kevin Pimbblet, profesor de astrofísica En la Universidad, estaba estudiando imágenes faciales creadas por los generadores de arte de inteligencia artificial (IA) Midjourney y Stable Diffusion. Se preguntó si podría usar la física para determinar qué imágenes eran falsas y cuáles eran reales. “Se me ocurrió que los reflejos en los ojos eran lo más obvio que había que mirar”, le dijo a Space.com.
Los deepfakes son imágenes o vídeos falsos de personas creados mediante el entrenamiento de la IA con montañas de datos. Al generar imágenes de un rostro humano, la IA utiliza su vasto conocimiento para construir un rostro irreal, píxel a píxel; estos rostros pueden construirse desde cero o basándose en personas reales. En el caso de estos últimos, a menudo se utilizan con fines maliciosos. Sin embargo, dado que las fotos reales contienen reflejos, la IA los añade, pero a menudo hay diferencias sutiles en ambos ojos.
Con el deseo de seguir su instinto, Pimbblet reclutó a Adejumoke Owolabi, un estudiante de maestría en la Universidad, para que lo ayudara a desarrollar un software que pudiera escanear rápidamente los ojos de los sujetos en varias imágenes para ver si esos reflejos coincidían. La pareja construyó un programa para evaluar las diferencias entre los globos oculares izquierdo y derecho en fotos de personas, reales e irreales. Los rostros reales provenían de un conjunto de datos diverso de 70.000 rostros en Flickr, mientras que los deepfakes fueron creados por la inteligencia artificial que sustenta el sitio web. Esta persona no existeun sitio web que genera imágenes realistas de personas que creerías que existen, pero no es así.
Relacionado: El proyecto de vídeo sobre el «desastre» del Apolo 11 pone de relieve el creciente peligro de la tecnología deepfake
Es evidente cuando sabes que está ahí: actualicé Esta persona no existe cinco veces y estudié el reflejo de los ojos. Los rostros eran impresionantes. A simple vista, no había nada que sobresaliera que sugiriera que eran falsos.
Una inspección más detallada reveló algunas diferencias casi imperceptibles en la iluminación de ambos globos oculares. No parecían coincidir exactamente. En un caso, la IA generó un hombre con gafas; el reflejo en sus lentes también parecía un poco extraño.
Sin embargo, lo que mi ojo no podía cuantificar era lo diferentes que eran los reflejos. Para hacer una evaluación de este tipo, se necesitaría una herramienta que pudiera identificar violaciones a las reglas precisas de la óptica. Aquí es donde entra en juego el software de Pimbblet y Owolabi. Utilizaron dos técnicas de la astronomía Manual de estrategias, “Parámetros CAS” y “el índice de Gini”.
En astronomíaLos parámetros CAS pueden determinar la estructura de una galaxia examinando la concentración, la asimetría y la suavidad (o “aglomeración”) de un perfil de luz. Por ejemplo, una galaxia elíptica tendrá un valor C alto y valores A y S bajos: su luz se concentra en su centro, pero tiene una capa más difusa, lo que la hace más suave y más simétrica. Sin embargo, la pareja descubrió que CAS no era tan útil para detectar deepfakes. La concentración funciona mejor con un solo punto de luz, pero los reflejos a menudo aparecen como parches de luz dispersos en un globo ocular. La asimetría sufre un problema similar: esos parches hacen que el reflejo sea asimétrico y Pimbblet dijo que era difícil obtener esta medida “correctamente”.
El coeficiente de Gini funcionó mucho mejor. Es una forma de medir la desigualdad en un espectro de valores. Puede utilizarse para calcular una gama de resultados relacionados con la desigualdad, como la distribución de la riqueza, la esperanza de vida o, quizás lo más común, los ingresos. En este caso, se aplicó el coeficiente de Gini a la desigualdad de píxeles.
“Gini toma toda la distribución de píxeles, puede ver si los valores de los píxeles se distribuyen de manera similar entre la izquierda y la derecha, y es un enfoque no paramétrico sólido para adoptar en este caso”, dijo Pimbblet.
El trabajo se presentó en la reunión de la Royal Astronomical Society en la Universidad de Hull el 15 de julio, pero aún no ha sido revisado por pares ni publicado. Los dos investigadores están trabajando para convertir el estudio en una publicación.
Pimbblet afirma que el software es simplemente una prueba de concepto en esta etapa. El software aún detecta falsos positivos y falsos negativos, con una tasa de error de aproximadamente tres de cada diez. Además, hasta ahora solo se ha probado en un único modelo de IA. “No hemos probado con otros modelos, pero este sería un siguiente paso obvio”, afirma Pimbblet.
Dan Miller, psicólogo de la Universidad James Cook de Australia, dijo que los hallazgos del estudio ofrecen información útil, pero advirtió que puede no ser especialmente relevante para mejorar la detección humana de deepfakes, al menos no todavía, porque el método requiere un sofisticado modelado matemático de la luz. Sin embargo, señaló que “los hallazgos podrían informar el desarrollo de software de detección de deepfakes”.
Y el software parece ser necesario, dada la sofisticación de las falsificaciones. un estudio de 2023Miller evaluó la capacidad de los participantes para detectar un video deepfake y proporcionó a un grupo una lista de artefactos visuales (como sombras o iluminación) a los que debían prestar atención. Pero la investigación descubrió que la intervención no funcionó en absoluto. Los sujetos solo pudieron detectar los videos falsos tan bien como un grupo de control al que no se le habían dado los consejos (esto sugiere que mi miniexperimento personal anterior podría ser un caso atípico).
Todo el campo de la IA parece haber avanzado a la velocidad de la luz desde que ChatGPT se lanzó a fines de 2022. Pimbblet sugiere que el enfoque de la pareja funcionaría con otros generadores de imágenes de IA, pero señala que también es probable que los modelos más nuevos puedan “resolver el problema de la iluminación física”.
Esta investigación también plantea una pregunta interesante: si la IA puede generar reflexiones que pueden evaluarse con métodos basados en la astronomía… ¿podría utilizarse también para generar galaxias enteras?
Pimbblet dice que ha habido incursiones en ese ámbito. Señala Un estudio de 2017 que evaluó qué tan bien las “redes generativas antagónicas” o GAN (la tecnología que sustenta a los generadores de IA como Midjourney o ChatGPT) podían recapitular galaxias a partir de datos degradados. Telescopios de observación en Tierra y en espacio Puede verse limitada por el ruido y el fondo, lo que provoca desenfoque y pérdida de calidad (Incluso las impresionantes imágenes del telescopio espacial James Webb requiere algo de limpieza).
En el estudio de 2017, los investigadores entrenaron un gran modelo de IA con imágenes de galaxias y luego utilizaron el modelo para intentar recuperar imágenes degradadas. No siempre fue perfecto, pero sin duda fue posible recuperar características de las galaxias a partir de imágenes de baja calidad.
Un estudio preimpreso, en 2019, utilizó de manera similar GAN para simular completo galaxias.
Los investigadores sugieren que el trabajo sería útil a medida que llegan enormes cantidades de datos de las misiones de observación. el universoNo hay forma de examinarlo todo, por lo que quizá tengamos que recurrir a la IA. Generar estas galaxias con IA podría, a su vez, entrenar a la IA para que busque tipos específicos de galaxias. actual Galaxias en enormes conjuntos de datos. Todo esto suena un poco distópico, pero también lo es detectar rostros irreales con cambios sutiles en los reflejos de sus ojos.