La capacidad de automatizar y ayudar en la codificación tiene el potencial de transformar el desarrollo de software, haciéndolo más rápido y eficiente. Sin embargo, el desafío es garantizar que estos modelos produzcan código útil y seguro. El intrincado equilibrio entre funcionalidad y seguridad es fundamental, especialmente cuando el código generado podría ser explotado de manera maliciosa.

En aplicaciones prácticas, los LLM suelen tener dificultades cuando se trata de instrucciones ambiguas o maliciosas. Estos modelos pueden generar código que, sin darse cuenta, incluya vulnerabilidades de seguridad o facilite ataques dañinos. Este problema no es solo teórico; estudios del mundo real han demostrado riesgos significativos. Por ejemplo, una investigación sobre Copilot de GitHub reveló que aproximadamente el 40 % de los programas generados contenían vulnerabilidades. Mitigar estos riesgos es esencial para aprovechar todo el potencial de los LLM en la codificación y, al mismo tiempo, mantener la seguridad.

Los métodos actuales para mitigar estos riesgos incluyen el ajuste fino de los LLM con conjuntos de datos centrados en la seguridad y la implementación de detectores basados ​​en reglas para identificar patrones de código inseguro. Si bien el ajuste fino es beneficioso, a menudo resulta insuficiente contra indicaciones de ataque altamente sofisticadas. La creación de datos de calidad relacionados con la seguridad para el ajuste fino puede ser costosa y requerir muchos recursos, e involucra a expertos con profundos conocimientos de programación y ciberseguridad. Aunque son efectivos, los sistemas basados ​​en reglas pueden no cubrir todas las posibles vulnerabilidades, lo que deja brechas que pueden explotarse.

Los investigadores de Salesforce Research presentaron un nuevo marco llamado PROCESAREste marco está diseñado para mejorar la seguridad y la utilidad del código generado por los LLM. INDICT emplea un mecanismo único que implica diálogos internos de críticas entre dos críticos: uno centrado en la seguridad y el otro en la utilidad. Este sistema de doble crítico permite que el modelo reciba una retroalimentación completa, lo que le permite refinar su resultado de manera iterativa. Los críticos están equipados con fuentes de conocimiento externas, como fragmentos de código relevantes y herramientas como búsquedas web e intérpretes de código, para brindar críticas más informadas y efectivas.

El marco INDICT opera a través de dos etapas principales: retroalimentación preventiva y post hoc. Durante la etapa preventiva, el crítico orientado a la seguridad evalúa los riesgos potenciales de generar el código. Por el contrario, el crítico orientado a la utilidad se asegura de que el código se alinee con los requisitos de la tarea prevista. Esta etapa implica consultar fuentes de conocimiento externas para complementar las evaluaciones de los críticos. La etapa post hoc revisa el código generado después de su ejecución, lo que permite a los críticos proporcionar retroalimentación adicional en función de los resultados observados. Este enfoque de dos etapas garantiza que el modelo anticipe los problemas potenciales y aprenda de los resultados de la ejecución para mejorar los resultados futuros.

La evaluación de INDICT implicó la realización de pruebas en ocho tareas distintas en ocho lenguajes de programación utilizando LLM que van desde 7 mil millones a 70 mil millones de parámetros. Los resultados demostraron mejoras significativas tanto en las métricas de seguridad como de utilidad. En concreto, el marco logró una mejora absoluta del 10 % en la calidad del código en todos los modelos probados. Por ejemplo, en el benchmark CyberSecEval-1, INDICT mejoró la seguridad del código generado hasta en un 30 %, y las medidas de seguridad indicaron que más del 90 % de los resultados eran seguros. La métrica de utilidad también mostró mejoras sustanciales, ya que los modelos mejorados con INDICT superaron a las líneas de base de última generación en hasta un 70 %.

El éxito de INDICT radica en su capacidad de proporcionar críticas detalladas y contextuales que guían a los LLM a producir un mejor código. El marco garantiza que el código generado sea seguro y funcional al integrar seguridad y comentarios útiles. Este enfoque ofrece una solución más sólida a los desafíos de la generación de código por parte de los LLM.

En conclusión, INDICT presenta un marco innovador para mejorar la seguridad y la utilidad del código generado por LLM. INDICT aborda el equilibrio crítico entre funcionalidad y seguridad en la generación de código empleando un sistema de doble crítico y aprovechando fuentes de conocimiento externas. El impresionante desempeño del marco en múltiples puntos de referencia y lenguajes de programación resalta su potencial para establecer nuevos estándares para la IA responsable en la codificación.

Revisar la Papel. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.

Únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!.

Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..

No olvides unirte a nuestro Subreddit de más de 46 000 millones de usuarios

Asif Razzaq es el director ejecutivo de Marktechpost Media Inc. Como ingeniero y emprendedor visionario, Asif está comprometido con aprovechar el potencial de la inteligencia artificial para el bien social. Su iniciativa más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad de noticias sobre aprendizaje automático y aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.