ORPO: Optimización de preferencias sin el paso de ajuste fino supervisado (SFT)
Un método de alineación mucho más económico que funciona tan bien como DPO Generado con DALL-E En la actualidad existen muchos métodos para alinear los modelos de lenguaje grandes (LLM)…