Las preocupaciones sobre la privacidad se han convertido en un tema importante en la investigación de la IA, particularmente en el contexto de los modelos de lenguajes grandes (LLM). Se encuestó al SAFR AI Lab de la Harvard Business School para explorar el intrincado panorama de los problemas de privacidad asociados con los LLM. Los investigadores se centraron en modelos de equipos rojos para resaltar los riesgos de privacidad, integrar la privacidad en el proceso de capacitación, eliminar datos de manera eficiente de los modelos entrenados y mitigar los problemas de derechos de autor. Su énfasis recae en la investigación técnica, que abarca el desarrollo de algoritmos, pruebas de teoremas y evaluaciones empíricas.
La encuesta destaca los desafíos que supone distinguir la “memorización” deseable de los casos que infringen la privacidad. Los investigadores discuten las limitaciones de los filtros de memorización palabra por palabra y las complejidades de la ley de uso legítimo para determinar la violación de los derechos de autor. También destacan las estrategias técnicas de mitigación de los investigadores, como el filtrado de datos para evitar la infracción de derechos de autor.
La encuesta proporciona información sobre varios conjuntos de datos utilizados en la formación de LLM, incluidos AG News Corpus y BigPatent-G, que consisten en artículos de noticias y documentos de patentes estadounidenses. Los investigadores también discuten el discurso legal que rodea las cuestiones de derechos de autor en los LLM, enfatizando la necesidad de más soluciones y modificaciones para implementar estos modelos de manera segura sin correr el riesgo de violaciones de derechos de autor. Reconocen la dificultad de cuantificar la novedad creativa y el uso previsto, lo que subraya las complejidades de determinar la violación de los derechos de autor.
Los investigadores discuten el uso de privacidad diferencial, que agrega ruido a los datos para evitar la identificación de usuarios individuales. También analizan el aprendizaje federado, que permite entrenar modelos en fuentes de datos descentralizadas sin comprometer la privacidad. La encuesta también destaca el desaprendizaje automático, que implica eliminar datos confidenciales de modelos entrenados para cumplir con las normas de privacidad.
Los investigadores demuestran la eficacia de la privacidad diferencial para mitigar los riesgos de privacidad asociados con los LLM. También muestran que el aprendizaje federado puede entrenar modelos en fuentes de datos descentralizadas sin comprometer la privacidad. La encuesta destaca el desaprendizaje automático para eliminar datos confidenciales de modelos entrenados para cumplir con las normas de privacidad.
La encuesta proporciona una descripción general completa de los desafíos de privacidad en los modelos de lenguajes grandes, y ofrece información técnica y estrategias de mitigación. Subraya la necesidad de continuar con la investigación y el desarrollo para abordar la intrincada intersección de la privacidad, los derechos de autor y la tecnología de inteligencia artificial. La metodología propuesta ofrece soluciones prometedoras para mitigar los riesgos de privacidad asociados con los LLM, y el rendimiento y los resultados demuestran la eficacia de estas soluciones. La encuesta destaca la importancia de abordar las preocupaciones de privacidad en los LLM para garantizar la implementación segura y ética de estos modelos.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Muhammad Athar Ganaie, pasante de consultoría en MarktechPost, es un defensor del aprendizaje profundo eficiente, con especial atención en la capacitación dispersa. Cursando un M.Sc. en Ingeniería Eléctrica, con especialización en Ingeniería de Software, combina conocimientos técnicos avanzados con aplicaciones prácticas. Su esfuerzo actual es su tesis sobre «Mejora de la eficiencia en el aprendizaje por refuerzo profundo», que muestra su compromiso de mejorar las capacidades de la IA. El trabajo de Athar se encuentra en la intersección «Capacitación escasa en DNN» y «Aprendizaje por refuerzo profundo».