Introducción
cómo examinar y manipular la red neuronal de un LLM. Este es el tema de la investigación sobre la interpretabilidad mecanicista y puede responder a muchas preguntas interesantes.
Recuerde: un LLM es una red neuronal artificial profunda, formada por neuronas y pesos que determinan qué tan fuertemente están conectadas esas neuronas. ¿Qué hace que una red neuronal llegue a su conclusión? ¿Cuánta de la información que procesa considera y analiza adecuadamente?
Este tipo de preguntas se han investigado en una gran cantidad de publicaciones, al menos desde que las redes neuronales profundas comenzaron a mostrarse prometedoras. Para ser claros, la interpretabilidad mecanicista existía antes que los LLM y ya era un aspecto interesante de la investigación de la IA explicable con redes neuronales profundas anteriores. Por ejemplo, identificar las características destacadas que hacen que una CNN llegue a una clasificación de objeto determinada o a la dirección de dirección del vehículo puede ayudarnos a comprender qué tan confiable es la red en situaciones críticas para la seguridad.
Pero con los LLM, el tema realmente despegó y se volvió mucho más interesante. ¿Las capacidades cognitivas similares a las humanas de los LLM son reales o falsas? ¿Cómo viaja la información a través de la red neuronal? ¿Existe conocimiento oculto dentro de un LLM?
En esta publicación encontrarás:
Un repaso sobre la arquitectura LLM Una introducción a los métodos de interpretabilidad Casos de uso Una discusión de investigaciones anteriores
En un artículo siguiente, veremos el código Python para aplicar algunas de estas habilidades, visualizar las activaciones de la red neuronal y más.
Actualización: el diseño de un LLM
Para los fines de este artículo, necesitamos una comprensión básica de los puntos de la red neuronal a los que vale la pena conectarse para obtener información posiblemente útil en el proceso. Por lo tanto, esta sección es un recordatorio rápido de los componentes de un LLM.
Los LLM utilizan una secuencia de tokens de entrada para predecir el siguiente token.
Tokenizer: Inicialmente, las oraciones se segmentan en tokens. El objetivo del vocabulario de tokens es convertir las subpalabras utilizadas con frecuencia en tokens únicos. Cada token tiene una identificación única.
Sin embargo, los tokens pueden resultar confusos y complicados, ya que proporcionan una representación inexacta de muchas cosas, incluidos números y caracteres individuales. Pedirle a un LLM que calcule o cuente letras es algo bastante injusto. (Con esquemas de integración especializados, su rendimiento puede mejorar[1].)
Incrustación: se utiliza una tabla de búsqueda para asignar cada ID de token a un vector de incrustación de una dimensionalidad determinada. La tabla de búsqueda se aprende (es decir, se deriva durante el entrenamiento de la red neuronal) y tiende a colocar tokens concurrentes más juntos en el espacio de incrustación. La dimensionalidad de los vectores de incrustación es un compromiso importante entre las capacidades de los LLM y el esfuerzo informático. Dado que, de otro modo, el orden de los tokens no sería evidente en los pasos posteriores, se agrega codificación posicional a estas incrustaciones. En la codificación posicional rotativa, se puede utilizar el coseno de la posición del token. Los vectores de incrustación de todos los tokens de entrada proporcionan la matriz que procesa el LLM, los estados ocultos iniciales. Como el LLM opera con esta matriz, que se mueve a través de capas como flujo residual (también conocido como estado oculto o espacio de representación), funciona en un espacio latente.
Modalidades distintas al texto: los LLM pueden trabajar con modalidades distintas al texto. En estos casos, el tokenizador y la incrustación se cambian para adaptarse a diferentes modalidades, como sonido o imágenes.
Bloques transformadores: varios bloques transformadores (docenas) refinan el flujo residual, agregando contexto y significado adicional. Cada capa transformadora consta de un componente de atención.[2]y un componente MLP. Estos componentes reciben el estado oculto normalizado. Luego, la salida se agrega a la corriente residual.
Atención: múltiples cabezas de atención (también docenas) agregan información ponderada desde los tokens de origen a los tokens de destino (en el flujo residual). La “naturaleza” de cada cabeza de atención se parametriza a través de tres matrices aprendidas WQ, WK, WV, que esencialmente deciden en qué se especializa la cabeza de atención. Las consultas, claves y valores se calculan multiplicando estas matrices por los estados ocultos de todos los tokens. Luego, el peso de atención se calcula para cada token de destino a partir del softmax de los productos escalados de la consulta y los vectores clave de los tokens de origen. Este peso de atención describe la fuerza de la relación entre el origen y el destino para una especialización determinada de la cabeza de atención. Finalmente, el cabezal genera una suma ponderada de los vectores de valor del token de origen, y todas las salidas del cabezal se concatenan y pasan a través de una proyección de salida aprendida WO. MLP: una red feedforward totalmente conectada. Esta operación lineal-no lineal-lineal se aplica de forma independiente en cada posición. Las redes MLP suelen contener una gran parte de los parámetros de un LLM.
Las redes MLP almacenan gran parte del conocimiento. Las capas posteriores tienden a contener conocimientos más semánticos y menos superficiales.[3]. Esto es relevante a la hora de decidir dónde investigar o intervenir. (Con algo de esfuerzo, estas representaciones de conocimiento se pueden modificar en un LLM capacitado mediante la modificación del peso.[4]o intervención en corrientes residuales[5].)
Desintegración: los valores finales del flujo residual se normalizan y se asignan linealmente al tamaño del vocabulario para producir los logits para cada posición del token de entrada. Normalmente, solo necesitamos la predicción para el token que sigue al último token de entrada, por lo que usamos ese. La función softmax convierte los logits de la posición final en una distribución de probabilidad. Luego se selecciona una opción de esta distribución (por ejemplo, la más probable o una opción basada en muestreo) como el siguiente token predicho.
Si desea obtener más información sobre cómo funcionan los LLM y obtener más intuición, Stephen McAleese[6]la explicación es excelente.
Ahora que analizamos la arquitectura, la pregunta que cabe es: ¿Qué significan los estados intermitentes de la corriente residual? ¿Cómo se relacionan con el resultado del LLM? ¿Por qué funciona esto?
Introducción a los métodos de interpretabilidad.
Echemos un vistazo a nuestra caja de herramientas. ¿Qué componentes nos ayudarán a responder nuestras preguntas y qué métodos podemos aplicar para analizarlas? Nuestras opciones incluyen:
Neuronas:
Pudimos observar la activación de neuronas individuales. Atención:
Pudimos observar la salida de cabezas de atención individuales en cada capa.
Pudimos observar las consultas, claves, valores y pesos de atención de cada cabezal de atención para cada posición y capa.
Podríamos observar las salidas concatenadas de todas las cabezas de atención en cada capa. MLP:
Pudimos observar la salida de MLP en cada capa.
Pudimos observar las activaciones neuronales dentro de las redes MLP.
Podríamos observar la media/varianza de LayerNorm para realizar un seguimiento de la escala, la saturación y los valores atípicos. Corriente residual:
Pudimos observar la corriente residual en cada posición, en cada capa.
Podríamos desintegrar la corriente residual en capas intermedias, para observar qué pasaría si nos detuviéramos allí; las capas anteriores a menudo producen predicciones más superficiales. (Este es un diagnóstico útil, pero no completamente confiable: el mapeo de desincrustación se entrenó para la capa final).
También podemos derivar información adicional:
Sondas y clasificadores lineales: Podemos construir un sistema que clasifique el flujo residual registrado en un grupo u otro, o mida alguna característica dentro del mismo. Atribuciones basadas en gradientes: podemos calcular el gradiente de una salida elegida con respecto a algunos o todos los valores neuronales. La magnitud del gradiente indica qué tan sensible es la predicción a los cambios en esos valores.
Todo esto se puede hacer mientras un LLM estático determinado ejecuta una inferencia en un mensaje determinado o mientras intervenimos activamente:
Comparación de múltiples inferencias: podemos cambiar, entrenar, modificar o cambiar el LLM o hacer que procese diferentes indicaciones y registrar la información antes mencionada. Ablación: podemos poner a cero neuronas, cabezas, bloques MLP o vectores en el flujo residual y observar cómo afecta el comportamiento. Por ejemplo, esto nos permite medir la contribución de una cabeza, una neurona o una vía a la predicción de tokens. Dirección: Podemos dirigir activamente el LLM reemplazando o modificando activaciones en el flujo residual.
Casos de uso
Los métodos de interpretabilidad discutidos representan un vasto arsenal que se puede aplicar a muchos casos de uso diferentes.
Mejora del rendimiento del modelo o dirección del comportamiento mediante dirección de activación: por ejemplo, además de un mensaje del sistema, el comportamiento de un modelo se puede dirigir hacia un determinado rasgo o centrarse dinámicamente, sin cambiar el modelo. Explicabilidad: se pueden utilizar métodos como vectores de dirección, codificadores automáticos dispersos y seguimiento de circuitos para comprender qué hace el modelo y por qué en función de sus activaciones. Seguridad: detectar y desalentar características no deseadas durante el entrenamiento o implementar supervisión en tiempo de ejecución para interrumpir un modelo que se está desviando. Detectar capacidades nuevas o riesgosas. Detección de deriva: durante el desarrollo del modelo, es importante comprender cuándo un modelo recién entrenado se comporta de manera diferente y en qué medida. Mejora de la capacitación: comprender la contribución de aspectos del comportamiento del modelo a su rendimiento general optimiza el desarrollo del modelo. Por ejemplo, durante el entrenamiento se pueden desalentar los pasos innecesarios de la Cadena de Pensamiento, lo que conduce a modelos más pequeños, más rápidos o potencialmente más potentes. Aprendizajes científicos y lingüísticos: utilice los modelos como objeto de estudio para comprender mejor la IA, la adquisición del lenguaje y la cognición.
Investigación de interpretabilidad de LLM
El campo de la interpretabilidad se ha desarrollado constantemente durante los últimos años, respondiendo preguntas interesantes a lo largo del camino. Hace apenas tres años, no estaba claro si los aprendizajes que se describen a continuación se manifestarían o no. Esta es una breve historia de ideas clave:
Aprendizaje en contexto y comprensión de patrones: durante la capacitación de LLM, algunas cabezas de atención obtienen la capacidad de colaborar como identificadores de patrones, lo que mejora en gran medida las capacidades de aprendizaje en contexto de un LLM.[7]. Por lo tanto, algunos aspectos de los LLM representan algoritmos que habilitan capacidades aplicables fuera del espacio de los datos de entrenamiento. Comprensión del mundo: ¿los LLM memorizan todas sus respuestas o comprenden el contenido para formar un modelo mental interno antes de responder? Este tema ha sido muy debatido y la primera evidencia convincente de que los LLM crean un modelo mundial interno se publicó a finales de 2022. Para demostrarlo, los investigadores recuperaron el estado del tablero del juego Othello del flujo residual [8, 9]. Muchas más indicaciones siguieron rápidamente. Se identificaron neuronas del espacio y del tiempo.[10]. Memorización o generalización: ¿los LLM simplemente regurgitan lo que han visto antes o razonan por sí mismos? La evidencia aquí era algo confusa.[11]. Intuitivamente, los LLM más pequeños forman modelos mundiales más pequeños (es decir, en 2023, la evidencia de la generalización fue menos convincente que en 2025). Los puntos de referencia más nuevos [12, 13] tienen como objetivo limitar la contaminación con material que puede estar dentro de los datos de entrenamiento de un modelo y centrarse específicamente en la capacidad de generalización. Su desempeño allí sigue siendo sustancial.
Los LLM desarrollan habilidades de generalización más profundas para algunos conceptos durante su formación. Para cuantificarlo se utilizaron indicadores provenientes de métodos de interpretabilidad.[14]. Superposición: las redes neuronales adecuadamente entrenadas comprimen el conocimiento y los algoritmos en aproximaciones. Debido a que hay más características que dimensiones para indicarlas, esto da como resultado la llamada superposición, donde las neuronas polisemánticas pueden contribuir a múltiples características de un modelo.[15]. Consulte Superposición: lo que dificulta la explicación de la red neuronal (Shuyang) para obtener una explicación de este fenómeno. Básicamente, debido a que las neuronas actúan en múltiples funciones, interpretar su activación puede resultar ambiguo y difícil. Ésta es una de las principales razones por las que la investigación sobre la interpretabilidad se centra más en la corriente residual que en la activación de neuronas polisemánticas individuales. Ingeniería de representación: más allá de los hechos superficiales, como los estados del tablero, el espacio y el tiempo, es posible identificar direcciones vectoriales semánticamente significativas dentro del flujo residual.[16]. Una vez que se identifica una dirección, se puede examinar o modificar. Esto puede utilizarse, entre otras cosas, para identificar o influir en comportamientos ocultos. Conocimiento latente: ¿los LLM poseen conocimiento interno que guardan para sí mismos? Lo hacen, y los métodos para descubrir el conocimiento latente tienen como objetivo extraerlo [17, 18]. Si un modelo sabe algo que no se refleja en su resultado de predicción, esto es muy relevante para la explicabilidad y la seguridad. Se han realizado intentos de auditar estos objetivos ocultos, que pueden insertarse en un modelo de forma inadvertida o intencionada, con fines de investigación.[19]. Dirección: el flujo residual se puede manipular con un vector de activación adicional para cambiar el comportamiento del modelo de forma específica.[20]. Para determinar este vector de dirección, se puede registrar la corriente residual durante dos ejecuciones consecutivas (inferencias) con indicaciones opuestas y restar una de la otra. Por ejemplo, esto puede cambiar el estilo de la salida generada de feliz a triste, o de seguro a peligroso. El vector de activación normalmente se inyecta en una capa intermedia de la red neuronal. De manera similar, se puede utilizar un vector de dirección para medir con qué fuerza responde un modelo en una dirección determinada.
Se intentaron métodos de dirección para reducir las mentiras, las alucinaciones y otras tendencias indeseables de los LLM. Sin embargo, no siempre funciona de forma fiable. Se han realizado esfuerzos para desarrollar medidas de qué tan bien se puede guiar un modelo hacia un concepto determinado.[21]. Ajedrez: el estado del tablero de las partidas de ajedrez, así como la estimación del nivel de habilidad del oponente por parte del modelo de lenguaje, también se pueden recuperar del flujo residual.[22]. También se utilizó la modificación del vector que representa el nivel de habilidad esperado para mejorar el rendimiento del modelo en el juego. Rechazos: se descubrió que los rechazos podrían prevenirse o provocarse utilizando vectores de dirección.[23]. Esto sugiere que algunos comportamientos de seguridad pueden ser linealmente accesibles. Emoción: los LLM pueden derivar estados emocionales de un texto de entrada determinado, que se pueden medir. Los resultados son consistentes y psicológicamente plausibles a la luz de la teoría de la evaluación cognitiva.[24]. Esto es interesante porque sugiere que los LLM pueden reflejar muchas de nuestras tendencias humanas en sus modelos mundiales. Características: Como se mencionó anteriormente, las neuronas en un LLM no son muy útiles para comprender lo que sucede internamente.
Inicialmente, OpenAI intentó adivinar GPT-4 a qué características responden las neuronas en función de su activación en respuesta a diferentes textos de ejemplo.[25]. En 2023, Anthropic y otros se unieron a este tema importante y aplicaron redes neuronales de codificador automático para automatizar la interpretación del flujo residual [26, 27]. Su trabajo permite mapear la corriente residual en características monosemánticas que describen un atributo interpretable de lo que está ocurriendo. Sin embargo, más tarde se demostró que no todas estas características son unidimensionalmente lineales.[28].
La automatización del análisis de características sigue siendo un tema de interés e investigación, y se está trabajando más en esta área.[29].
Actualmente, Anthropic, Google y otros contribuyen activamente a Neuronpedia, la meca de los investigadores que estudian la interpretabilidad. Alucinaciones: los LLM a menudo producen declaraciones falsas o "alucinan". Se han utilizado intervenciones mecanicistas para identificar las causas de las alucinaciones y mitigarlas [30, 31].
También se han identificado características adecuadas para sondear e influir en las alucinaciones.[32]. En consecuencia, el modelo tiene cierto "autoconocimiento" de cuándo produce declaraciones incorrectas. Seguimiento de circuitos: en los LLM, el análisis de circuitos, es decir, el análisis de la interacción de las cabezas de atención y los MLP, permite la atribución específica de comportamientos a dichos circuitos [33, 34]. Con este método, los investigadores pueden determinar no sólo dónde se encuentra la información dentro del flujo residual sino también cómo la calculó el modelo dado. Se están realizando esfuerzos para hacerlo a mayor escala. Comparaciones e ideas del cerebro humano: la actividad neuronal de los humanos se ha comparado con las activaciones en el modelo de voz a texto Whisper de OpenAI[35]. Se encontraron similitudes sorprendentes. Sin embargo, esto no debe sobreinterpretarse; puede ser simplemente una señal de que los LLM han adquirido estrategias efectivas. La investigación de interpretabilidad permite, en primer lugar, realizar tales análisis. Vista autorreferencial en primera persona y afirmaciones de conciencia: Curiosamente, la supresión de características asociadas con el engaño condujo a más afirmaciones de conciencia y declaraciones autorreferenciales más profundas por parte de los LLM.[36]. Una vez más, los resultados no deben sobreinterpretarse, pero es interesante considerarlos a medida que los LLM se vuelven más capaces y nos desafían con más frecuencia.
Esta revisión demostró el poder de las intervenciones causales sobre las activaciones internas. En lugar de depender de observaciones correlacionales de un sistema de caja negra, el sistema puede diseccionarse y analizarse.
Conclusión
La interpretabilidad es un área de investigación apasionante que proporciona conocimientos sorprendentes sobre el comportamiento y las capacidades de un LLM. Incluso puede revelar interesantes paralelismos con la cognición humana. Muchos comportamientos de LLM (en su mayoría limitados) se pueden explicar para un modelo determinado para producir conocimientos valiosos. Sin embargo, la gran cantidad de modelos y la cantidad de posibles preguntas a formular probablemente nos impidan descifrar completamente cualquier modelo grande (o incluso todos ellos), ya que la enorme inversión de tiempo puede simplemente no producir beneficios suficientes. Esta es la razón por la que se están produciendo cambios hacia el análisis automatizado, para aplicar sistemáticamente el conocimiento mecanicista.
Estos métodos son valiosas adiciones a nuestra caja de herramientas tanto en la industria como en la investigación, y todos los usuarios de futuros sistemas de IA pueden beneficiarse de estos conocimientos incrementales. Permiten mejoras en la confiabilidad, explicabilidad y seguridad.
Contacto
Este es un tema complejo y extenso, y me alegran las sugerencias, comentarios y correcciones. No dude en enviar un mensaje a jvm (arroba) tagvision.com
Referencias
[1]McLeish, Sean, Arpit Bansal, Alex Stein, Neel Jain, John Kirchenbauer, Brian R. Bartoldson, Bhavya Kailkhura y otros. 2024. "Los transformadores pueden hacer aritmética con las incrustaciones adecuadas". Avances en sistemas de procesamiento de información neuronal 37: 108012–41. doi:10.52202/079017–3430.[2]Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser e Illia Polosukhin. 2017. "Todo lo que necesitas es atención". Avances en los sistemas de procesamiento de información neuronal 2017-diciembre (Nips): 5999–6009.[3]Geva, Mor, Roei Schuster, Jonathan Berant y Omer Levy. 2021. “Las capas de alimentación directa de los transformadores son memorias de valores clave”. doi:10.48550/arXiv.2012.14913.[4]Meng, Kevin, Arnab Sen Sharma, Alex Andonian, Yonatan Belinkov y David Bau. 2023. “Edición masiva de memoria en un transformador”. doi:10.48550/arXiv.2210.07229.[5]Hernández, Evan, Belinda Z Li y Jacob Andreas. "Inspeccionar y editar representaciones del conocimiento en modelos de lenguaje". https://github.com/evandez/REMEDI.[6]Stephen McAleese. 2025. "Comprensión de los LLM: conocimientos de la interpretabilidad mecanicista". https://www.lesswrong.com/posts/XGHf7EY3CK4KorBpw/understanding-llms-insights-from-mechanistic[7]Olsson, et al., “In-context Learning and Induction Heads”, Transformer Circuits Thread, 2022. https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html[8]Li, Kenneth, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister y Martin Wattenberg. 2023. “Representaciones del mundo emergente: exploración de un modelo de secuencia entrenado en una tarea sintética”. https://arxiv.org/abs/2210.13382v4.[9]Nanda, Neel, Andrew Lee y Martin Wattenberg. 2023. “Representaciones lineales emergentes en modelos mundiales de modelos de secuencia autosupervisados”. https://arxiv.org/abs/2309.00941v2[10]Gurnee, Wes y Max Tegmark. 2023. “Los modelos lingüísticos representan el espacio y el tiempo”. https://arxiv.org/abs/2310.02207v1.[11]Wu, Zhaofeng, Linlu Qiu, Alexis Ross, Ekin Akyürek, Boyuan Chen, Bailin Wang, Najoung Kim, Jacob Andreas y Yoon Kim. 2023. "¿Razonar o recitar? Explorar las capacidades y limitaciones de los modelos lingüísticos mediante tareas contrafactuales". https://arxiv.org/abs/2307.02477v1.[12]"Una investigación de la solidez de los LLM en razonamiento matemático: evaluación comparativa con transformación matemáticamente equivalente de problemas matemáticos avanzados". 2025. https://openreview.net/forum?id=Tos7ZSLujg[13]White, Colin, Samuel Dooley, Manley Roberts, Arka Pal, Ben Feuer, Siddhartha Jain, Ravid Shwartz-Ziv y otros. 2025. "LiveBench: un punto de referencia de LLM desafiante y limitado por la contaminación". doi:10.48550/arXiv.2406.19314.[14]Nanda, Neel, Lawrence Chan, Tom Lieberum, Jess Smith y Jacob Steinhardt. 2023. "Medidas de progreso para Grokking mediante interpretabilidad mecanicista". doi:10.48550/arXiv.2301.05217.[15]Elhage, Nelson, Tristan Hume, Catherine Olsson, Nicholas Schiefer, Tom Henighan, Shauna Kravec, Zac Hatfield-Dodds, et al. 2022. “Modelos de juguete de superposición”. https://arxiv.org/abs/2209.10652v1 (18 de febrero de 2024).[16]Zou, Andy, Long Phan, Sarah Chen, James Campbell, Phillip Guo, Richard Ren, Alexander Pan, et al. 2023. “INGENIERÍA DE REPRESENTACIÓN: UN ENFOQUE DE ARRIBA HACIA ABAJO PARA LA TRANSPARENCIA DE LA IA”.[17]Burns, Collin, Haotian Ye, Dan Klein y Jacob Steinhardt. 2022. “DESCUBRIR CONOCIMIENTOS LATENTES EN MODELOS DE LENGUAJE SIN SUPERVISIÓN”.[18]Cywiński, Bartosz, Emil Ryd, Senthooran Rajamanoharan y Neel Nanda. 2025. "Hacia la obtención de conocimientos latentes de los LLM con interpretabilidad mecanicista". doi:10.48550/arXiv.2505.14352.[19]Marks, Samuel, Johannes Treutlein, Trenton Bricken, Jack Lindsey, Jonathan Marcus, Siddharth Mishra-Sharma, Daniel Ziegler, et al. “AUDITAR MODELOS DE LENGUAJE PARA OBJETIVOS OCULTOS”.[20]Turner, Alexander Matt, Lisa Thiergart, David Udell, Gavin Leech, Ulisse Mini y Monte MacDiarmid. 2023. "Adición de activación: dirección de modelos de lenguaje sin optimización". https://arxiv.org/abs/2308.10248v3.[21]Rütte, Dimitri von, Sotiris Anagnostidis, Gregor Bachmann y Thomas Hofmann. 2024. “Guía de un modelo de lenguaje a través del espacio latente”. doi:10.48550/arXiv.2402.14433.[22]Karvonen, Adam. "Modelos del mundo emergente y estimación de variables latentes en modelos de lenguaje de juego de ajedrez". https://github.com/adamkarvonen/chess.[23]Arditi, Andy, Oscar Obeso, Aaquib Syed, Daniel Paleka, Nina Panickssery, Wes Gurnee y Neel Nanda. 2024. “El rechazo en los modelos lingüísticos está mediado por una única dirección”. doi:10.48550/arXiv.2406.11717.[24]Tak, Ala N., Amin Banayeeanzade, Anahita Bolourani, Mina Kian, Robin Jia y Jonathan Gratch. 2025. “Interpretabilidad mecanicista de la inferencia de emociones en modelos de lenguaje grandes”. doi:10.48550/arXiv.2502.05489.[25]Steven Bills, Nick Cammarata, Dan Mossing, Henk Tillman, Leo Gao, Gabriel Goh, Ilya Sutskever, Jan Leike, Jeff y William Saunders Wu. 2023. "Los modelos de lenguaje pueden explicar las neuronas en modelos de lenguaje". https://openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html.[26]"Hacia la monosemanticidad: descomposición de modelos lingüísticos con aprendizaje de diccionarios". https://transformer-circuits.pub/2023/monosemantic-features/index.html.[27]Cunningham, Hoagy, Aidan Ewart, Logan Riggs, Robert Huben y Lee Sharkey. 2023. “LOS CODIFICADORES AUTOMÁTICOS DISPAROS ENCUENTRAN CARACTERÍSTICAS ALTAMENTE INTERPRETABLES EN LOS MODELOS DE LENGUAJE”.[28]Engels, Joshua, Eric J. Michaud, Isaac Liao, Wes Gurnee y Max Tegmark. 2025. "No todas las características del modelo de lenguaje son unidimensionalmente lineales". doi:10.48550/arXiv.2405.14860.[29]Shaham, Tamar Rott, Sarah Schwettmann, Franklin Wang, Achyuta Rajaram, Evan Hernandez, Jacob Andreas y Antonio Torralba. 2025. "Un agente de interpretabilidad automatizado multimodal". doi:10.48550/arXiv.2404.14394.[30]Chen, Shiqi, Miao Xiong, Junteng Liu, Zhengxuan Wu, Teng Xiao, Siyang Gao y Junxian He. 2024. “La nitidez en contexto como alertas: una perspectiva de representación interna para la mitigación de las alucinaciones”. doi:10.48550/arXiv.2403.01548.[31]Yu, Lei, Meng Cao, Jackie CK Cheung y Yue Dong. 2024. “Comprensión mecanicista y mitigación de las alucinaciones no fácticas del modelo del lenguaje”. En Hallazgos de la Asociación de Lingüística Computacional: EMNLP 2024, eds. Yaser Al-Onaizan, Mohit Bansal y Yun-Nung Chen. Miami, Florida, EE.UU.: Asociación de Lingüística Computacional, 7943–56. doi:10.18653/v1/2024.findings-emnlp.466.[32]Ferrando, Javier, Oscar Obeso, Senthooran Rajamanoharan y Neel Nanda. 2025. "¿CONOCE ESTA ENTIDAD? CONCIENCIA DEL CONOCIMIENTO Y ALUCINACIONES EN MODELOS DE LENGUAJE".[33]Lindsey, et al., Sobre la biología de un modelo de lenguaje grande (2025), Circuitos transformadores[34]Wang, Kevin, Alexandre Variengien, Arthur Conmy, Buck Shlegeris y Jacob Steinhardt. 2022. "Interpretabilidad en la naturaleza: un circuito para la identificación indirecta de objetos en GPT-2 Small". http://arxiv.org/abs/2211.00593.[35]"Descifrar el procesamiento del lenguaje en el cerebro humano a través de representaciones LLM". https://research.google/blog/deciphering-language-processing-in-the-human-brain-through-llm-representations/[36]Berg, Cameron, Diogo de Lucena y Judd Rosenblatt. 2025. "Los modelos de lenguaje grandes informan sobre experiencias subjetivas bajo procesamiento autorreferencial". doi:10.48550/arXiv.2510.24797.