En un importante avance para la IA, Together AI ha introducido un enfoque innovador de mezcla de agentes (MoA), Together MoA. Este nuevo modelo aprovecha las fortalezas colectivas de múltiples modelos de lenguajes grandes (LLM) para mejorar la calidad y el rendimiento de última generación, estableciendo nuevos puntos de referencia en IA.
MoA emplea una arquitectura en capas, y cada capa comprende varios agentes LLM. Estos agentes utilizan resultados de la capa anterior como información auxiliar para generar respuestas refinadas. Este método permite a MoA integrar diversas capacidades y conocimientos de varios modelos, lo que da como resultado un modelo combinado más sólido y versátil. La implementación ha demostrado ser exitosa, logrando una puntuación notable del 65,1 % en el punto de referencia AlpacaEval 2.0, superando al líder anterior, GPT-4o, que obtuvo una puntuación del 57,5 %.
Una idea fundamental que impulsa el desarrollo de MoA es el concepto de “colaboratividad” entre los LLM. Este fenómeno sugiere que un LLM tiende a generar mejores respuestas cuando se le presentan resultados de otros modelos, incluso si esos modelos son menos capaces. Al aprovechar esta información, la arquitectura de MoA clasifica los modelos en “proponentes” y “agregadores”. Los proponentes generan respuestas de referencia iniciales, ofreciendo perspectivas diversas y matizadas, mientras que los agregadores sintetizan estas respuestas en resultados de alta calidad. Este proceso iterativo continúa a través de varias capas hasta que se logra una respuesta integral y refinada.
El marco Together MoA ha sido probado rigurosamente en múltiples puntos de referencia, incluidos AlpacaEval 2.0, MT-Bench y FLASK. Los resultados son impresionantes: Together MoA logró las primeras posiciones en las tablas de clasificación de AlpacaEval 2.0 y MT-Bench. En particular, en AlpacaEval 2.0, Together MoA logró un margen de mejora absoluta del 7,6%, del 57,5% (GPT-4o) al 65,1% utilizando únicamente modelos de código abierto. Esto demuestra el rendimiento superior del modelo en comparación con las alternativas de código cerrado.
Además de su éxito técnico, Together MoA está diseñado teniendo en cuenta la rentabilidad. Al analizar las compensaciones costo-rendimiento, la investigación indica que la configuración Together MoA proporciona el mejor equilibrio, ofreciendo resultados de alta calidad a un costo razonable. Esto es particularmente evidente en la configuración Together MoA-Lite, que, a pesar de tener menos capas, iguala el costo del GPT-4o y logra una calidad superior.
El éxito de MoA se atribuye a los esfuerzos de colaboración de varias organizaciones de la comunidad de IA de código abierto, incluidas Meta AI, Mistral AI, Microsoft, Alibaba Cloud y DataBricks. Sus contribuciones al desarrollo de modelos como Meta Llama 3, Mixtral, WizardLM, Qwen y DBRX han sido fundamentales para este logro. Además, puntos de referencia como AlpacaEval, MT-Bench y FLASK, desarrollados por Tatsu Labs, LMSYS y KAIST AI, desempeñaron un papel crucial en la evaluación del desempeño de MoA.
De cara al futuro, Together AI planea optimizar aún más la arquitectura MoA explorando varias opciones de modelos, indicaciones y configuraciones. Un área clave de enfoque será reducir la latencia del tiempo hasta el primer token, lo cual es una dirección futura emocionante para esta investigación. Su objetivo es mejorar las capacidades de MoA en tareas centradas en el razonamiento, solidificando aún más su posición como líder en innovación en IA.
En conclusión, Together MoA representa un avance significativo en el aprovechamiento de la inteligencia colectiva de los modelos de código abierto. Su enfoque en capas y su espíritu colaborativo ejemplifican el potencial para mejorar los sistemas de IA, haciéndolos más capaces, robustos y alineados con el razonamiento humano. La comunidad de IA anticipa con impaciencia la continua evolución y aplicación de esta innovadora tecnología.
Revisar la Papel, GitHuby Blog. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.
Únete a nuestro Canal de telegramas y LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 44k+ ML
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.