Ha habido un rápido crecimiento en el panorama de código abierto para modelos de lenguajes grandes (LLM) después del lanzamiento del modelo Llama3 y su sucesor, Llama 2, por parte de Meta en 2023. Este lanzamiento ha llevado al desarrollo de múltiples LLM innovadores. Estos modelos han jugado un papel importante en este campo dinámico al influir significativamente en el procesamiento del lenguaje natural (PNL). Este artículo destaca los LLM de código abierto más influyentes, como el escaso modelo Mixture of Experts de Mistral, Mixtral-8x7B, la serie multilingüe Qwen1.5 de Alibaba Cloud, Smaug de Abacus AI y los modelos Yi de 01.AI que se centran en la calidad de los datos.
La aparición de modelos de IA en dispositivos, como los LLM, ha transformado el panorama de la PNL, proporcionando numerosos beneficios en comparación con los métodos tradicionales basados en la nube. Sin embargo, el verdadero potencial se ve al combinar la IA en el dispositivo con modelos basados en la nube, lo que da como resultado una nueva idea llamada colaboración en la nube en el dispositivo. Los sistemas de IA pueden alcanzar nuevos niveles de rendimiento, escalabilidad y flexibilidad combinando el poder de los modelos en el dispositivo y basados en la nube. Al utilizar ambos modelos juntos, los recursos computacionales se pueden asignar de manera eficiente: las tareas privadas más livianas se administran mediante modelos en el dispositivo, y los modelos basados en la nube asumen operaciones más pesadas o más complejas.
Los investigadores de Nexa AI presentan Octopus v4, un enfoque sólido que utiliza tokens funcionales para integrar múltiples modelos de código abierto, cada uno optimizado para tareas específicas. Octopus v4 utiliza tokens funcionales para dirigir las consultas de los usuarios de manera eficiente hacia el modelo vertical más adecuado y ajusta de manera óptima el formato de consulta para mejorar el rendimiento. Octopus v4, una versión mejorada de sus predecesores (los modelos Octopus v1, v2 y v3), muestra un rendimiento sobresaliente en la selección, comprensión de parámetros y reestructuración de consultas. Además, el modelo Octopus y los tokens funcionales se utilizan para describir el uso de gráficos como una estructura de datos flexible que se coordina eficientemente con varios modelos de código abierto.
En la arquitectura del sistema de un gráfico complejo donde cada nodo representa un modelo de lenguaje, utilizando múltiples modelos Octopus para la coordinación, a continuación se muestran los componentes de este sistema:
- Implementación del nodo trabajador: cada nodo trabajador representa un modelo de lenguaje independiente. Los investigadores utilizaron una arquitectura sin servidor para estos nodos y recomendaron específicamente Kubernetes por sus sólidas capacidades de escalado automático.
- Implementación del nodo maestro: el nodo maestro puede usar un modelo base con menos de 10 mil millones de parámetros. En este artículo, los investigadores utilizaron un modelo 3B durante la experimentación.
- Comunicación: los nodos trabajadores y maestros se distribuyen en múltiples dispositivos, lo que permite múltiples unidades. Por lo tanto, se necesita una conexión a Internet para transferir datos entre nodos.
En la evaluación exhaustiva del sistema Octopus v4, se compara su rendimiento con otros modelos útiles utilizando el punto de referencia MMLU para demostrar su eficacia. En este sistema se utilizan dos LM compactos: el parámetro 3B Octopus v4 y otro modelo de lenguaje de trabajo con hasta 8B parámetros. Un ejemplo de la consulta del usuario para este modelo es:
Consulta: ¿Dime el resultado de la derivada de x^3 cuando x es 2?
Respuesta:
En conclusión, los investigadores de Nexa AI propusieron Octopus v4, un enfoque sólido que utiliza tokens funcionales para integrar múltiples modelos de código abierto, cada uno optimizado para tareas específicas. Además, se compara el rendimiento del sistema Octopus v4 con otros modelos de renombre utilizando el benchmark MMLU para demostrar su efectividad. Para trabajos futuros, los investigadores planean mejorar este marco utilizando múltiples modelos verticales específicos e incluyendo los modelos avanzados Octopus v4 con capacidad multiagente.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 41k+ ML
Sajjad Ansari es un estudiante de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA centrándose en comprender el impacto de las tecnologías de IA y sus implicaciones en el mundo real. Su objetivo es articular conceptos complejos de IA de una manera clara y accesible.
