Web de actualidad independiente
mi anterior artículoHablé sobre cómo la interpretabilidad mecanicista reinventa la atención en un transformadores para ser aditivos sin ninguna concatenación. Aquí, profundizaré en esta perspectiva y mostraré cómo resuena con…
Los modelos de lenguaje grande (LLM) a veces aprenden cosas que no queremos que aprendan y comprendan. Es importante encontrar formas de eliminar o ajustar este conocimiento para mantener la…
La creación de arquitecturas de aprendizaje profundo requiere muchos recursos porque implica un gran espacio de diseño, largos períodos de creación de prototipos y cálculos costosos relacionados con la capacitación…
Interpretabilidad mecanicista en la predicción de tokens repetidos. El desarrollo de modelos de lenguaje a gran escala, especialmente ChatGPT, ha dejado a quienes han experimentado con él, incluido yo mismo,…