Un área prominente de exploración implica permitir que los grandes modelos de idiomas (LLM) funcionen en colaboración. Los sistemas de múltiples agentes impulsados por LLM ahora están siendo examinados por su potencial para coordinar problemas desafiantes al dividir las tareas y trabajar simultáneamente. Esta dirección ha llamado la atención debido a su potencial para aumentar la eficiencia y reducir la latencia en aplicaciones en tiempo real.
Un problema común en los sistemas LLM colaborativos es la comunicación secuencial basada en turnos de los agentes. En tales sistemas, cada agente debe esperar a que otros completen sus pasos de razonamiento antes de continuar. Esto ralentiza el procesamiento, especialmente en situaciones que exigen respuestas rápidas. Además, los agentes a menudo duplican esfuerzos o generan resultados inconsistentes, ya que no pueden ver los pensamientos en evolución de sus compañeros durante la generación. Esta latencia y redundancia reducen la practicidad de implementar LLM de múltiples agentes, particularmente cuando el tiempo y el cálculo están limitados, como los dispositivos de borde.
La mayoría de las soluciones actuales se han basado en técnicas de muestreo secuencial o independientemente paralelas para mejorar el razonamiento. Métodos como la cadena de pensamiento que solicitan a los modelos de ayuda a resolver problemas de manera estructurada, pero a menudo vienen con un mayor tiempo de inferencia. Enfoques como el árbol de pensamientos y los gráficos de pensamientos se expanden en esto ramificando caminos de razonamiento. Sin embargo, estos enfoques aún no permiten la adaptación mutua en tiempo real entre los agentes. Las configuraciones de múltiples agentes han explorado métodos de colaboración, pero principalmente a través de intercambios de mensajes alternos, lo que nuevamente introduce retrasos. Algunos sistemas avanzados proponen una programación dinámica compleja o configuraciones basadas en roles, que no están optimizadas para una inferencia eficiente.
La investigación de MediaTek Research introdujo un nuevo método llamado Group Think. Este enfoque permite que múltiples agentes de razonamiento dentro de un solo LLM funcionen simultáneamente, observando los resultados parciales de los demás a nivel de token. Cada hilo de razonamiento se adapta a los pensamientos en evolución de los demás a mitad de la generación. Este mecanismo reduce la duplicación y permite a los agentes cambiar la dirección si otro hilo está mejor posicionado para continuar una línea específica de razonamiento. El pensamiento grupal se implementa a través de un mecanismo de atención a nivel de token que permite a cada agente atender tokens previamente generados de todos los agentes, apoyando la colaboración en tiempo real.
El método funciona asignando a cada agente su propia secuencia de índices de token, lo que permite que sus salidas se entrelazen en la memoria. Estos tokens entrelazados se almacenan en un caché compartido accesible para todos los agentes durante la generación. Este diseño permite una atención eficiente entre los hilos de razonamiento sin cambios arquitectónicos en el modelo de transformador. La implementación funciona tanto en dispositivos personales como en centros de datos. En los dispositivos locales, utiliza efectivamente el cálculo inactivo mediante el lote de múltiples salidas de agentes, incluso con un tamaño por lotes de uno. En los centros de datos, Group Think permite que se procesen múltiples solicitudes juntas, entrelazando tokens entre los agentes mientras mantiene la dinámica de atención correcta.
Las pruebas de rendimiento demuestran que el pensamiento del grupo mejora significativamente la latencia y la calidad de la producción. En tareas de enumeración, como enumerar 100 nombres distintos, logró resultados casi completos más rápidamente que los enfoques convencionales de la cadena de pensamiento. La aceleración fue proporcional al número de pensadores; Por ejemplo, cuatro pensadores redujeron la latencia por un factor de aproximadamente cuatro. En problemas de división y conquista, utilizando el algoritmo Floyd-Warshall en un gráfico de cinco nodos, cuatro pensadores redujeron el tiempo de finalización a la mitad del de un solo agente. Group piense en los desafíos de generación de código resuelto en las tareas de programación de manera más efectiva que los modelos de referencia. Con cuatro o más pensadores, el modelo produjo segmentos de código correctos mucho más rápido que los modelos de razonamiento tradicional.
Esta investigación muestra que los LLM existentes, aunque no están capacitados explícitamente para la colaboración, ya pueden demostrar comportamientos de razonamiento de grupos emergentes bajo la configuración del grupo. En los experimentos, los agentes naturalmente diversificaron su trabajo para evitar la redundancia, a menudo dividiendo las tareas por tema o área de enfoque. Estos hallazgos sugieren que la eficiencia y la sofisticación del grupo creen que podrían mejorarse aún más con una capacitación dedicada en datos colaborativos.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.