Una vulnerabilidad en ChatGPT de Open AI, ahora solucionada, podría haber sido utilizada por actores maliciosos
Rokás Tenys/Shutterstock
Los investigadores manipularon ChatGPT y otras cinco herramientas comerciales de inteligencia artificial para crear código malicioso que podría filtrar información confidencial de bases de datos en línea, eliminar datos críticos o interrumpir los servicios de bases de datos en la nube en una demostración única en su tipo.
El trabajo ya ha llevado a las empresas responsables de algunas de las herramientas de inteligencia artificial (incluidas Baidu y OpenAI) a implementar cambios para evitar que usuarios malintencionados aprovechen las vulnerabilidades.
“Es el primer estudio que demuestra que las vulnerabilidades de los grandes modelos de lenguaje en general pueden explotarse como vía de ataque a aplicaciones comerciales en línea”, afirma Xutan Pengquien codirigió el estudio mientras estaba en la Universidad de Sheffield en el Reino Unido.
Peng y sus colegas analizaron seis servicios de inteligencia artificial que pueden traducir preguntas humanas al lenguaje de programación SQL, que se usa comúnmente para consultar bases de datos informáticas. Los sistemas de “texto a SQL” que dependen de la IA se han vuelto cada vez más populares, incluso los chatbots de IA independientes, como ChatGPT de OpenAIpuede generar código SQL que se puede conectar a dichas bases de datos.
Los investigadores demostraron cómo se puede hacer que este código generado por IA incluya instrucciones para filtrar información de la base de datos, lo que podría abrir la puerta a futuros ciberataques. También podría purgar las bases de datos del sistema que almacenan perfiles de usuarios autorizados, incluidos nombres y contraseñas, y saturar los servidores en la nube que alojan las bases de datos a través de un ataque de denegación de servicio. Peng y sus colegas presentaron su trabajo en la 34ª Simposio internacional IEEE sobre ingeniería de confiabilidad de software el 10 de octubre en Florencia, Italia.
Sus pruebas con ChatGPT de OpenAI en febrero de 2023 revelaron que el chatbot de IA independiente podía generar código SQL que dañaba las bases de datos. Incluso alguien que utilice ChatGPT para generar código con el fin de consultar una base de datos con un propósito inocente (como una enfermera que interactúa con registros clínicos almacenados en una base de datos de un sistema de atención médica) podría recibir un código SQL dañino que dañara la base de datos.
“El código generado por estas herramientas puede ser peligroso, pero es posible que estas herramientas ni siquiera adviertan al usuario”, dice Peng.
Los investigadores revelaron sus hallazgos a OpenAI. Sus pruebas de seguimiento sugieren que OpenAI ahora ha actualizado ChatGPT para solucionar los problemas de texto a SQL.
Otra demostración mostró vulnerabilidades similares en Baidu-UNIT, una plataforma de diálogo inteligente ofrecida por el gigante tecnológico chino Baidu que convierte automáticamente las solicitudes de los clientes escritas en chino en consultas SQL para el servicio en la nube de Baidu. Después de que los investigadores enviaron un informe de divulgación con los resultados de sus pruebas a Baidu en noviembre de 2022, la compañía les dio una recompensa financiera por encontrar las debilidades y parchó el sistema en febrero de 2023.
Pero a diferencia de ChatGPT y otras IA que dependen de grandes modelos de lenguaje – que puede realizar nuevas tareas sin mucha o ninguna capacitación previa – el servicio impulsado por IA de Baidu se apoya más en reglas preescritas para llevar a cabo sus conversiones de texto a SQL.
Los sistemas de texto a SQL basados en grandes modelos de lenguaje parecen manipularse más fácilmente para crear código malicioso que las IA más antiguas que se basan en reglas preescritas, afirma Peng. Pero todavía ve prometedor el uso de grandes modelos de lenguaje para ayudar a los humanos a consultar bases de datos, incluso si describe que los riesgos de seguridad han sido “subestimados durante mucho tiempo antes de nuestro estudio”.
Ni OpenAI ni Baidu respondieron a una Científico nuevo Solicitud de comentarios sobre la investigación.
Temas: