Los métodos no supervisados no logran obtener conocimiento porque realmente priorizan características destacadas. Los componentes arbitrarios se ajustan a la estructura de coherencia. Se necesitan mejores criterios de evaluación. Se anticipan problemas de identificación persistentes en futuros métodos no supervisados.
Los investigadores de Google DeepMind y Google Research abordan problemas en el descubrimiento de conocimiento no supervisado con LLM, centrándose particularmente en métodos que utilizan sondas entrenadas en datos de activación de LLM generados a partir de pares de contraste. Estos pares consisten en textos que terminan en Sí y No. Se aplica un paso de normalización para mitigar la influencia de características destacadas asociadas con estas terminaciones. Introduce la hipótesis de que si existe conocimiento en los LLM, probablemente se represente como credenciales que se adhieren a leyes de probabilidad.
El estudio aborda los desafíos en el descubrimiento de conocimiento no supervisado mediante el uso de LLM, reconociendo su competencia en las tareas pero enfatizando la dificultad de acceder al conocimiento latente debido a resultados potencialmente inexactos. Introduce la búsqueda consistente en contraste (CCS) como un método no supervisado, cuestionando su precisión para generar conocimiento latente. Proporciona comprobaciones rápidas para evaluar estrategias futuras y subraya problemas persistentes que distinguen la capacidad de un modelo de la de los personajes simulados.
La investigación examina dos métodos de aprendizaje no supervisado para el descubrimiento de conocimientos:
- CRC-TPC, que es un enfoque basado en PCA que aprovecha activaciones contrastivas y componentes principales superiores
- Un método de k-medias que emplea dos grupos con desambiguación de la dirección de la verdad.
La regresión logística, que utiliza datos etiquetados, sirve como método de techo. Una línea de base aleatoria, que utiliza una sonda con parámetros inicializados aleatoriamente, actúa como método mínimo. Estos métodos se comparan por su eficacia para descubrir conocimientos latentes dentro de grandes modelos de lenguaje, ofreciendo un marco de evaluación integral.
Los métodos no supervisados actuales aplicados a las activaciones de LLM no logran revelar el conocimiento latente, sino que enfatizan con precisión las características destacadas. Los hallazgos experimentales revelan que los clasificadores generados por estos métodos predicen características en lugar de habilidades. El análisis teórico cuestiona la especificidad del método CCS para la obtención de conocimiento, afirmando su aplicabilidad a características binarias arbitrarias. Considera que los enfoques no supervisados existentes son insuficientes para el descubrimiento de conocimientos latentes y propone controles de cordura de los planes. En los próximos enfoques no supervisados se anticipan problemas persistentes de identificación, como distinguir el conocimiento del modelo de los personajes simulados.
En conclusión, el estudio se puede resumir en los siguientes puntos:
- El estudio revela las limitaciones de los métodos no supervisados actuales para descubrir conocimiento latente en las activaciones de LLM.
- Los investigadores dudan de la especificidad del método CCS y sugieren que sólo puede aplicarse a características binarias arbitrarias. Proponen controles de cordura para evaluar planes.
- El estudio enfatiza la necesidad de mejorar los enfoques no supervisados para el descubrimiento de conocimientos latentes.
- Estos enfoques deberían abordar problemas de identificación persistentes y distinguir el conocimiento del modelo de los personajes simulados.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 34k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Hola, mi nombre es Adnan Hassan. Soy pasante de consultoría en Marktechpost y pronto seré aprendiz de gestión en American Express. Actualmente estoy cursando una doble titulación en el Instituto Indio de Tecnología, Kharagpur. Me apasiona la tecnología y quiero crear nuevos productos que marquen la diferencia.