Ayudar a los detectores de texto con IA a mantenerse al día con las condiciones cambiantes | Noticias del MIT

Un profesor que crea que el trabajo final de un estudiante puede haber sido escrito mediante un modelo de lenguaje grande (LLM) puede utilizar una herramienta para detectar texto generado por inteligencia artificial para ayudar a confirmar sus sospechas. Pero es posible que el profesor quiera pensárselo dos veces antes de poner toda su confianza en el detector.

Investigadores del MIT y la Universidad de Cornell demostraron que estas herramientas de detección, que son en sí mismas modelos de IA, pueden ser engañadas por texto generado por IA disfrazado para que parezca escrito por un humano. Los detectores también pueden no identificar el texto de IA debido a cambios naturales en los hábitos de escritura a lo largo del tiempo o la aparición de nuevos LLM.

En un nuevo artículo, los investigadores demostraron cómo una técnica de entrenamiento especial hace que un detector de IA sea más preciso y resistente al engaño, incluso cuando la escritura humana y de la IA cambia constantemente.

Emplearon un método llamado adaptación en tiempo de prueba, que permite que un modelo de detección implementado aprenda de datos nuevos sin etiquetar ajustando su funcionamiento interno sobre la marcha. De esta manera, el modelo se adapta a entradas invisibles sin necesidad de volver a entrenarlo desde cero.

En los experimentos, un detector comercial sólo pudo identificar alrededor del 27 por ciento del texto generado por IA que había sido disfrazado, mientras que el nuevo enfoque logró una precisión del 93 por ciento.

Este método podría ayudar a los educadores, editores, editores y gerentes de contratación a identificar escritos generados por LLM que las personas intentan hacer pasar como escritos por humanos. También podrían utilizarlo expertos en ciberseguridad para prevenir estafas de phishing por correo electrónico o identificar fraudes en la optimización de motores de búsqueda.

“Hay muchos contextos de alto riesgo en los que la gente realmente se preocupa por la identidad del autor, desde publicaciones científicas hasta concursos de cuentos. Hemos demostrado que la adaptación en el momento de la prueba permite que el detector de IA sea mucho más robusto, incluso con un comportamiento hostil continuo por parte de los usuarios de IA”, dice el coautor del estudio Manish Raghavan, profesor de desarrollo profesional Drew Houston (2005) en la Sloan School of Management del MIT, quien también ocupa un puesto compartido en el Schwarzman College of Computing del MIT en el Departamento de Ingeniería Eléctrica. e Informática (EECS), y es investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS).

En el artículo lo acompañan el autor principal Kevin Ren, estudiante de posgrado en Cornell Tech, y el autor principal Nikhil Garg, profesor asistente en Cornell Tech. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.

Engañar a los detectores

La proliferación de LLM que generan texto similar a un humano ha dado lugar a una gran cantidad de herramientas comerciales de detección de inteligencia artificial para ayudar a las personas a identificar si un escrito fue escrito por un humano.

Pero estas herramientas de detección pueden fallar cuando el texto que evalúan difiere significativamente del texto que les enseñaron a identificar. Esto se conoce como cambio de distribución.

Los desarrolladores de detectores suelen entrenar sus modelos recopilando texto de Internet que saben que es generado por IA o por humanos. Entrenan al modelo para notar la diferencia.

Sin embargo, una vez que se libere el detector, las personas podrían cambiar la forma en que escriben o la forma en que usan la IA para generar texto.

Por ejemplo, un humano en 2030 puede escribir sobre diferentes temas usando nuevas analogías que no eran comunes para alguien que escribía en 2010. Un detector entrenado con datos de 2010 podría no estar familiarizado con este nuevo estilo de escritura y marcar incorrectamente el texto escrito por humanos como generado por IA.

El lanzamiento de un modelo de detección también crea un juego del gato y el ratón entre sus desarrolladores y los usuarios que quieren evitarlo. Estas personas pueden ejecutar texto generado por IA a través de una herramienta de software “humanizador” automatizada que lo modifica para que parezca escrito por humanos ante el detector.

“Después de que la empresa lanza un modelo, aparecen un grupo de ‘humanizadores’ para tratar de superarlo, por lo que la empresa intenta incorporar este texto humanizado en su entrenamiento para que el detector pueda identificarlo, y así sucesivamente. Es como enjuagar y repetir. El ciclo puede continuar para siempre”, dice Ren.

Los investigadores exploraron si la adaptación al tiempo de prueba (TTA) puede hacer que un detector de IA sea resistente a estos cambios de distribución.

Adaptación en acción

En TTA, en lugar de congelar el modelo para que no pueda cambiar durante la implementación, los investigadores permiten que ese modelo se adapte a los datos entrantes después de su publicación. Para un detector de texto de IA, estos datos son nuevos fragmentos de texto cargados por los usuarios.

Estos datos no están etiquetados, por lo que los desarrolladores del detector no saben qué datos fueron escritos por humanos versus modelos de IA. Pero estos nuevos datos representan la escritura humana y de IA contemporánea: exactamente lo que los desarrolladores quieren que el modelo pueda predecir.

Con suficientes ejemplos, el detector aprende a identificar patrones para determinar qué datos son generados por IA y cuáles son generados por humanos.

Los investigadores estudiaron TTA creando conjuntos de datos que contienen una cierta cantidad de texto generado por IA y por humanos, pero no proporcionan esas etiquetas al modelo. También utilizaron LLM para generar algunos ejemplos que se asemejan a texto escrito por IA para evadir específicamente un detector.

Luego realizaron el proceso de capacitación de TTA y probaron el modelo con datos reales.

En experimentos diseñados para imitar el cambio natural del lenguaje humano a lo largo del tiempo, un detector que utilizó TTA tuvo una precisión del 85 por ciento, mientras que los métodos tradicionales solo lograron una precisión del 73 por ciento.

Y cuando se trataba de escritura diseñada para frustrar las herramientas de detección, los métodos existentes sólo podían identificar alrededor del 27 por ciento, mientras que TTA permitió que el modelo detectara más del 93 por ciento del texto disfrazado.

“TTA tiene el potencial de ayudar realmente a los modelos de detección de IA implementados en términos de poder abordar de manera proactiva este comportamiento iterativo de ‘juego’ por parte de usuarios adversarios de IA”, dice Ren.

Adaptarse a los cambios en el comportamiento de la escritura humana es un problema de TTA más difícil, ya que los cambios son más lentos y ocurren de maneras más sutiles, añade.

Los investigadores advierten que es posible que la TTA no siempre sea una solución eficaz, ya que los futuros LLM producen un lenguaje que suena más natural y se vuelve más difícil encontrar texto humano verificable para usar en la capacitación.

“No está del todo claro si este será un problema que tenga solución”, dice Raghavan. “Hay algunas preguntas importantes y abiertas sobre cómo se debe pensar sobre la ciencia, la escritura y el arte en un mundo donde es inviable distinguir entre el contenido generado por humanos y el contenido de IA”.

En el futuro, los investigadores quieren explorar dominios estratégicos similares donde TTA podría ser útil y crear mejores herramientas de evaluación comparativa para ayudar a los ingenieros a mejorar estos modelos de detección de IA de manera dinámica.

Este proyecto utilizó créditos API proporcionados por Pangram para utilizar sus detectores de texto de IA.