Las respuestas generadas por IA están socavando los estudios de investigación de crowdsourcing

Los cuestionarios en línea están siendo inundados por respuestas generadas por IA, lo que puede contaminar una fuente de datos vital para los científicos.

Plataformas como los participantes prolíficos de los pagos pequeñas sumas para responder preguntas planteadas por los investigadores. Son populares entre los académicos como una forma fácil de reunir a los participantes para estudios de comportamiento.

Anne-Marie Nussberger y sus colegas del Instituto Max Planck para el Desarrollo Humano en Berlín, Alemania, decidieron investigar con qué frecuencia los encuestados usan inteligencia artificial después de notar ejemplos en su propio trabajo. “Las tasas de incidencia que estábamos observando fueron realmente impactantes”, dice ella.

Descubrieron que el 45 por ciento de los participantes a los que se les hizo una sola pregunta abierta sobre contenido prolífico copiado y pegado en la caja, una indicación, creen, que las personas estaban haciendo la pregunta a un chatbot de IA para ahorrar tiempo.

Una investigación adicional del contenido de las respuestas sugirió contar más obvios sobre el uso de AI, como el lenguaje “demasiado detallado” o “claramente no humano”. “A partir de los datos que recopilamos a principios de este año, parece que se contamina una proporción sustancial de estudios”, dice ella.

En un estudio posterior con Prolific, los investigadores agregaron trampas diseñadas para atrapar a aquellos que usan chatbots. Dos recaptchas, pequeñas pruebas basadas en patrones diseñadas para distinguir a los humanos de los bots, captaron el 0.2 por ciento de los participantes. Una recaptcha más avanzada, que utilizó información sobre la actividad pasada de los usuarios, así como el comportamiento actual, eliminó otro 2.7 por ciento de los participantes. Una pregunta en el texto que era invisible para los humanos pero legibles para los bots pidiéndoles que incluyan la palabra “avellana” en su respuesta, capturó otro 1.6 por ciento, mientras evitaba que cualquier copia y pegado identificara otro 4.7 por ciento de las personas.

“Lo que debemos hacer no es desconfiar de la investigación en línea por completo, sino para responder y reaccionar”, dice Nussberger. Esa es responsabilidad de los investigadores, que deberían tratar las respuestas con más sospechas y tomar contramedidas para detener el comportamiento habilitado para AI, dice ella. “Pero realmente importante, también creo que hay mucha responsabilidad en las plataformas. Necesitan responder y tomar este problema muy en serio”.

Prolífico no respondió a Nuevo científicoSolicitud de comentarios.

“La integridad de la investigación conductual en línea ya estaba siendo desafiada por los participantes de los sitios de encuestas que se tergiversaron o utilizan bots para ganar efectivo o cupones, y mucho menos la validez de las respuestas remotas autoinformadas para comprender la psicología y el comportamiento humano complejos”, dice “, dice Matt Hodgkinsonun consultor independiente en ética de investigación. “Los investigadores necesitan hacer colectivamente formas de verificar de forma remota la participación humana o regresar al enfoque anticuado del contacto cara a cara”.