Aunque la gran mayoría de nuestras explicaciones obtienen una puntuación baja, creemos que ahora podemos utilizar técnicas de aprendizaje automático para mejorar aún más nuestra capacidad de producir explicaciones. Por ejemplo, descubrimos que podíamos mejorar las puntuaciones al:
- Iterando sobre explicaciones. Podemos aumentar las puntuaciones pidiéndole a GPT-4 que presente posibles contraejemplos y luego revisando las explicaciones a la luz de sus activaciones.
- Usar modelos más grandes para dar explicaciones. La puntuación promedio aumenta a medida que aumentan las capacidades del modelo explicativo. Sin embargo, incluso GPT-4 ofrece peores explicaciones que los humanos, lo que sugiere que hay margen de mejora.
- Cambiando la arquitectura del modelo explicado. Los modelos de entrenamiento con diferentes funciones de activación mejoraron las puntuaciones de explicación.
Estamos abriendo nuestros conjuntos de datos y herramientas de visualización para explicaciones escritas en GPT-4 de las 307,200 neuronas en GPT-2, así como código para explicación y puntuación. utilizando modelos disponibles públicamente en la API de OpenAI. Esperamos que la comunidad de investigación desarrolle nuevas técnicas para generar explicaciones con puntuaciones más altas y mejores herramientas para explorar GPT-2 utilizando explicaciones.
Encontramos más de 1.000 neuronas con explicaciones que obtuvieron una puntuación de al menos 0,8, lo que significa que, según GPT-4, representan la mayor parte del comportamiento de activación superior de la neurona. La mayoría de estas neuronas bien explicadas no son muy interesantes. Sin embargo, también encontramos muchas neuronas interesantes que GPT-4 no entendía. Esperamos que a medida que mejoren las explicaciones podamos descubrir rápidamente una comprensión cualitativa interesante de los cálculos del modelo.