La propuesta de la suite LLaMA [2] de modelos de lenguajes grandes (LLM) provocó un aumento en las publicaciones sobre el tema de los LLM de código abierto. En muchos casos, el objetivo de estos trabajos era producir LLM más pequeños y de código abierto (para fines de investigación) a bajo costo y que tuvieran una calidad comparable a los modelos propietarios como ChatGPT y GPT-4. Estos modelos adoptan una estrategia de imitación, que afina un LLM base sobre datos de diálogo sintéticos de un LLM más potente. A pesar de ser baratos de entrenar, estos modelos parecían funcionar de manera comparable a los LLM propietarios como ChatGPT. Como resultado, la comunidad de investigación de aprendizaje profundo adoptó rápidamente la opinión de que los LLM de código abierto dominarán el futuro. reproducir variantes de código abierto de modelos propietarios fue fácil y rentable!
“¿Los LLM más poderosos serán de código cerrado o se distribuirán gratuitamente para que cualquiera pueda usarlos, modificarlos y ampliarlos?” – de [1]
Desafortunadamente, las evaluaciones preliminares realizadas en estos modelos, que se basaron en calificaciones proporcionadas por otros LLM (por ejemplo, GPT-4) o trabajadores humanos, fueron algo superficiales. ¿El rendimiento de los modelos de imitación realmente coincide con el de modelos como ChatGPT? Para responder a esta pregunta con mayor rigor, estudiaremos investigaciones recientes que analizan si los modelos de imitación realmente eliminan el “foso” alrededor de los LLM propietarios. Curiosamente, veremos que estas reproducciones baratas de poderosos LLM obtienen buenos resultados en las evaluaciones humanas debido a su capacidad para aprender el estilo de un poderoso LLM. Sin embargo, carecen de factibilidad y obtienen malos resultados cuando se los somete a evaluaciones más amplias y específicas. En realidad, Los modelos de imitación no funcionan tan bien como los modelos propietarios como ChatGPT.
“La premisa de la imitación de modelos es que una vez que un LM propietario está disponible a través de API, se puede recopilar un conjunto de datos de resultados de API y utilizarlo para ajustar un LM de código abierto”. – de [1]