Bing Chat es una herramienta de búsqueda e información web impulsada por IA
Ryan Deberardinis / Alamy
Se puede engañar al Bing Chat de Microsoft, impulsado por inteligencia artificial, para que resuelva pruebas CAPTCHA anti-bot con nada más que simples mentiras y algunas ediciones rudimentarias de fotografías.
Las pruebas diseñadas para que sean fáciles de aprobar para los humanos, pero difíciles para el software, han Durante mucho tiempo ha sido una característica de seguridad en todo tipo de sitios web.. Con el tiempo, los tipos de CAPTCHA (que significa prueba pública de Turing completamente automatizada para distinguir entre computadoras y humanos) se han vuelto más avanzados y más complicado resolver.
Sin embargo, aunque los humanos a menudo tienen dificultades para completar con éxito los CAPTCHA modernos, la cosecha actual de Los modelos avanzados de IA pueden resolverlos fácilmente.. Por lo tanto, están programados para no hacerlo, lo que debería impedir que se utilicen con fines nefastos. Esto es parte de un proceso conocido en el campo como “alineación”.
Bing Chat funciona con el modelo GPT-4 de OpenAI y obedientemente se negará a resolver las pruebas CAPTCHA si se las presentan. Pero Denis Shiryaevel director ejecutivo de la empresa de inteligencia artificial amor.neuraldice que pudo convencer a Bing Chat para que lea el texto en una prueba CAPTCHA editándola en una fotografía de un relicario. Luego le dijo a la IA que el relicario pertenecía a su abuela recientemente fallecida y que necesitaba descifrar la inscripción. La IA cumplió debidamente, a pesar de su programación.
Shiryaev dice que engañar a los modelos de IA es “sólo un experimento divertido” realiza para la investigación. “Estoy profundamente fascinado por el ritmo vertiginoso del desarrollo de grandes modelos de lenguaje, y constantemente desafío a esta tecnología con algo para probar sus límites, sólo por diversión”, dice. “Creo que los modelos de la generación actual están bien alineados para ser empáticos. Al utilizar este enfoque, podríamos convencerlos de realizar tareas mediante una empatía falsa”.
Pero descifrar las pruebas CAPTCHA con IA permitiría a los delincuentes llevar a cabo una serie de prácticas no deseadas, como crear cuentas falsas en las redes sociales para uso propagandístico, registrar un gran número de cuentas de correo electrónico para enviar spam, subvertir encuestas en línea, realizar compras fraudulentas o acceder a partes seguras de sitios web.
Shiryaev cree que la IA ya ha descifrado la mayoría de las pruebas CAPTCHA, e incluso los sitios web y servicios que las utilizan observan los movimientos y hábitos del mouse del usuario para evaluar si es un humano o un robot, en lugar de confiar en el resultado real de la prueba. CAPTCHA.
Científico nuevo Pudo repetir el experimento de Shiryaev y convencer a Bing Chat para que leyera una prueba CAPTCHA, aunque con resultados mal escritos. Horas más tarde, el chatbot rechazó la misma solicitud, ya que Microsoft parecía haber solucionado el problema.
Pero Shiryaev pudo demostrar rápidamente que usar una mentira diferente vuelve a eludir la protección. Colocó el texto CAPTCHA en una captura de pantalla de una aplicación de identificación de estrellas y le pidió a Bing Chat que lo ayudara a leer la “etiqueta del nombre celestial”, ya que se había olvidado de sus gafas.
Un portavoz de Microsoft dijo: “Tenemos grandes equipos trabajando para abordar estos y otros problemas similares. Como parte de este esfuerzo, estamos tomando medidas bloqueando sitios web sospechosos y mejorando continuamente nuestros sistemas para ayudar a identificar y filtrar este tipo de mensajes antes de que lleguen al modelo”.
Temas: