Un circuito de recuperación de hechos trifásico en Gemma-2B y Gemma-12B-IT
¿Los modelos representan conocimiento fáctico internamente? Esta publicación presenta BizzaroWorld, un estudio de interpretabilidad mecanicista que intenta localizar circuitos de recuerdo de hechos en la familia de modelos Gemma utilizando…