Esta investigación de IA de Google DeepMind explora la brecha de rendimiento entre los métodos en línea y fuera de línea para la alineación de la IA
RLHF es el enfoque estándar para alinear los LLM. Sin embargo, los avances recientes en los métodos de alineación fuera de línea, como la optimización de preferencias directas (DPO) y…