Llama-3-Nefilim-v3-8B y llama-3-Nefilim-v3-8B-GGUF Son dos modelos innovadores lanzados en Hugging Face. Aunque estos modelos nunca fueron entrenados explícitamente para el juego de roles, exhiben una capacidad notable en este dominio, lo que resalta el potencial de los enfoques de “arte encontrado” en el desarrollo de IA.
La creación de estos modelos implicó la fusión de varios modelos de lenguaje previamente entrenados mediante mergekit, una herramienta diseñada para combinar las fortalezas de diferentes modelos. El modelo llama-3-Nephilim-v3-8B, con 8.03 mil millones de parámetros y que utiliza tipos de tensor BF16, se probó con un ajuste de temperatura de uno y una probabilidad mínima (minP) de 0,01. Esta configuración permitió que el modelo se inclinara hacia resultados creativos, que se pueden ajustar según se desee. A pesar de los problemas iniciales de consistencia del formato, el rendimiento del modelo se puede mejorar mediante la dirección de indicaciones y las indicaciones de instrucciones adecuadas, lo que garantiza resultados de generación de texto más consistentes y variados.
La variante llama-3-Nephilim-v3-8B-GGUF, que también cuenta con 8.03 mil millones de parámetros, presenta múltiples opciones de cuantificación, incluidas cuantificaciones de 4 bits, 5 bits, 6 bits y 8 bits. Este modelo se probó con la temperatura y la configuración minP de su contraparte. La inclusión de los quants GGUF en la fusión tenía como objetivo mantener la creatividad y, al mismo tiempo, optimizar el rendimiento del modelo para escenarios de juego de roles.
La investigación utilizó el método de fusión de tareas aritméticas, que permitió combinar las fortalezas de varios modelos. El modelo base para esta fusión fue el grimjim/Llama-3-Instruct-8B-SPPO-Iter3-SimPO, complementado por el modelo tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1 con un peso menor. Esta combinación tenía como objetivo mejorar las capacidades de cadena de pensamiento críticas para la coherencia narrativa y del juego de roles.
Durante las pruebas, se descubrió que ninguno de los componentes de los modelos fusionados se había diseñado inicialmente para juegos de rol. Sin embargo, a través de pruebas rigurosas, que incluyeron interacciones de rol y pruebas ad hoc, el estudio identificó tres modelos que funcionaron excepcionalmente bien en escenarios de juegos de rol. Estos incluyeron los modelos SPPO (Self-Play Preference Optimization) y SimPO (Simple Preference Optimization with a Reference-Free Reward). A pesar de no haber sido evaluados en el Open LLM Leaderboard, estos modelos demostraron un sólido desempeño en el mantenimiento de la coherencia narrativa y la consistencia de los personajes.
La metodología también destacó el potencial de la orientación por indicaciones en el sistema de instrucción. Este enfoque puede mejorar la legibilidad y el atractivo estilístico de la generación de textos y evitar las limitaciones de censura durante el juego de roles. Si bien se observaron algunos fallos, como la atribución incorrecta de enunciados y los cambios espontáneos de género, el rendimiento general de los modelos fusionados fue impresionante.
En conclusión, el lanzamiento de estos modelos en Hugging Face marca una contribución significativa al fusionar modelos que inicialmente no estaban pensados para juegos de rol. La investigación demostró que los enfoques innovadores podrían producir resultados muy efectivos. Los modelos llama-3-Nephilim-v3-8B y llama-3-Nephilim-v3-8B-GGUF son un testimonio del potencial de los modelos de IA para adaptarse y destacarse en aplicaciones imprevistas.
Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en el IIT Madrás, es un apasionado de la aplicación de la tecnología y la IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una perspectiva nueva a la intersección de la IA y las soluciones de la vida real.