Recientemente, GPT-4 y otros modelos de lenguaje grande (LLM) han demostrado una capacidad impresionante de procesamiento del lenguaje natural (NLP) para memorizar grandes cantidades de información, posiblemente incluso más que los humanos. El éxito de los LLM al manejar cantidades masivas de datos ha llevado al desarrollo de modelos de procesos generativos que son más breves, coherentes e interpretables: un “modelo mundial”, por así decirlo.
Se obtienen conocimientos adicionales de la capacidad de los LLM para comprender y controlar contextos estratégicos complejos; Por ejemplo, investigaciones anteriores han demostrado que los transformadores entrenados para predecir la siguiente ficha en juegos de mesa como Otelo crean modelos detallados del estado actual del juego. Los investigadores han descubierto la capacidad de los LLM para aprender representaciones que reflejan nociones perceptivas y simbólicas y rastrear los estados booleanos de los sujetos dentro de ciertas situaciones. Con esta doble capacidad, los LLM pueden almacenar cantidades masivas de datos y organizarlos de manera que imiten los procesos de pensamiento humano, lo que los convierte en bases de conocimiento ideales.
Falacias fácticas, la posibilidad de crear contenido dañino e información desactualizada son algunas de las limitaciones de los LLM debido a sus límites de formación. Se necesitará tiempo y dinero para capacitar a todos para solucionar estos problemas. En respuesta, en los últimos años ha habido una proliferación de enfoques de edición de conocimientos centrados en LLM, que permiten ajustes eficientes del modelo sobre la marcha. Comprender cómo los LLM muestran y procesan la información es fundamental para garantizar la equidad y seguridad de los sistemas de Inteligencia Artificial (IA); Esta técnica se centra en áreas específicas de cambio sin afectar el rendimiento general. El objetivo principal de este trabajo es estudiar la historia y el estado actual de la edición de conocimientos para los LLM.
Una nueva investigación realizada por un equipo de investigadores de la Universidad de Zhejiang, la Universidad Nacional de Singapur, la Universidad de California, Ant Group y Alibaba Group proporciona el paso inicial para proporcionar una descripción general del diseño de Transformers, la forma en que los LLM almacenan conocimiento y enfoques relacionados. como el ajuste eficiente de parámetros, el aumento del conocimiento, el aprendizaje continuo y el desaprendizaje automático. Después de eso, el equipo sienta las bases, define oficialmente el problema de la edición del conocimiento y proporciona una nueva taxonomía que reúne teorías de la educación y las ciencias cognitivas para ofrecer una perspectiva coherente sobre las técnicas de edición del conocimiento. En particular, clasifican las estrategias de edición de conocimiento para LLM de la siguiente manera: editar métodos de conocimiento interno, fusionar conocimiento en el modelo y recurrir a conocimiento externo.
Los investigadores presentan sus criterios de clasificación en su artículo de la siguiente manera:
- Aprovechar información de otras fuentes: este método es análogo a la fase de reconocimiento de la cognición humana, que, tras el encuentro inicial con nueva información, requiere exposición a la información dentro de un contexto apropiado.
- Integración de datos experienciales en el modelo: al establecer paralelismos entre la información entrante y el conocimiento actual del modelo, este método es similar a la fase de asociación en los procesos cognitivos humanos. Una representación del conocimiento aprendido se combinaría o se utilizaría en lugar del resultado o resultado intermedio de los métodos.
- Revisar la información inherente: Revisar el conocimiento de esta manera es similar a pasar por la “fase de dominio” de aprender algo nuevo. Implica que el modelo utilice constantemente modificaciones de peso LLM para incorporar conocimiento en sus parámetros.
Posteriormente, en este artículo se someten a experimentos exhaustivos doce conjuntos de datos de procesamiento del lenguaje natural. El rendimiento, la usabilidad, los mecanismos subyacentes y otras cuestiones se consideran cuidadosamente en su diseño.
Para proporcionar una comparación justa y mostrar qué tan bien funcionan estos métodos en entornos de inserción, modificación y borrado de información, los investigadores construyen un nuevo punto de referencia llamado KnowEdit y describen los resultados empíricos de las técnicas de edición de conocimiento de LLM de última generación.
Los investigadores demuestran cómo la edición de conocimientos afecta tanto a las tareas generales como a la edición de conocimientos multitarea, lo que sugiere que los métodos modernos de edición de conocimientos actualizan con éxito los hechos con poco impacto en las capacidades cognitivas y la adaptabilidad del modelo en diferentes dominios del conocimiento. En los LLM modificados, encuentran que una o más columnas en la capa de valor están muy enfocadas. Se ha sugerido que los LLM pueden recuperar respuestas recuperando información de su corpus previo a la capacitación o mediante un proceso de razonamiento de varios pasos.
Los hallazgos sugieren que los procesos de localización de conocimientos, como el análisis causal, se centran en áreas relacionadas con la entidad en cuestión y no en todo el contexto fáctico. Además, el equipo también explora el potencial de que la edición de conocimientos para los LLM tenga repercusiones imprevistas, lo cual es un elemento importante en el que hay que pensar detenidamente.
Por último, exploran la amplia gama de usos de la edición de conocimientos, analizando sus posibilidades desde varios ángulos. Estos usos incluyen IA confiable, aprendizaje automático eficiente, contenido generado por IA (AIGC) y agentes individualizados en la interacción persona-computadora. Los investigadores esperan que este estudio pueda generar nuevas líneas de investigación sobre los LLM con miras a la eficiencia y la creatividad. Han publicado todos sus recursos (incluidos códigos, divisiones de datos y puntos de control de modelos capacitados) al público para facilitar e inspirar más estudios.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Unirse nuestro SubReddit de más de 35.000 ml, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Dhanshree Shenwai es ingeniero en informática y tiene una buena experiencia en empresas de tecnología financiera que cubren el ámbito financiero, tarjetas y pagos y banca con un gran interés en las aplicaciones de IA. Le entusiasma explorar nuevas tecnologías y avances en el mundo en evolución de hoy que facilita la vida de todos.