Hoy en día, plataformas como abrazando la cara han facilitado que una amplia gama de usuarios, desde investigadores de inteligencia artificial hasta aquellos con experiencia limitada en aprendizaje automático, accedan y utilicen modelos de lenguaje grande (LLM) previamente entrenados para diferentes entidades. Cuando varias organizaciones o entidades comparten tareas de interés similares pero no pueden intercambiar directamente sus datos locales debido a regulaciones de privacidad, aprendizaje federado (FL) surge como una solución destacada para aprovechar los datos colectivos de estas entidades. FL también proporciona una sólida protección de la privacidad, mantiene seguras sus ideas de modelos y les permite crear modelos personalizados utilizando diferentes métodos.
En este trabajo, los investigadores han establecido un proceso integral de evaluación comparativa de extremo a extremo, agilizando los procesos de preprocesamiento de conjuntos de datos, ejecutando o simulando ajustes finos federados y evaluando el rendimiento en el contexto del ajuste fino del Modelo de Lenguaje Grande (LLM) federado. diseñado para diversos fines de demostración de capacidades.
La imagen de arriba muestra la arquitectura de FS-LLM, que consta de tres módulos principales: LLMBENCHMARKS, LLM-ALGZOO y LLM-TRAINER. El equipo ha desarrollado implementaciones sólidas de algoritmos federados de ajuste fino de parámetros eficientes (PEFT) e interfaces de programación versátiles para facilitar futuras extensiones, lo que permite a los LLM operar de manera efectiva en escenarios de aprendizaje federado (FL) con una mínima sobrecarga de comunicación y cálculo, incluso cuando se trata de LLM de código cerrado.
Se proporciona un tutorial detallado en su sitio web.: federadoscope.io
Puedes probar FederatedScope a través de Zona de juegos FederatedScope o colaboración de google.
Su enfoque también incorpora técnicas de aceleración y estrategias de uso eficiente de los recursos para ajustar los LLM bajo limitaciones de recursos, junto con subrutinas flexibles y conectables para la investigación interdisciplinaria, como la aplicación de LLM en entornos personalizados de aprendizaje federado.
La investigación incluye una serie de experimentos extensos y reproducibles que validan la efectividad de FS-LLM y establecen puntos de referencia para LLM avanzados, utilizando algoritmos de ajuste fino de parámetros eficientes de última generación dentro de un contexto federado. . Con base en los hallazgos de estos resultados experimentales, esbozamos algunas direcciones prometedoras para futuras investigaciones en el ajuste del LLM federado para avanzar en la comunidad FL y LLM.
Revisar la Papel y Código. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 30.000 ml, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Se proporciona un tutorial detallado en su sitio web.: federadoscope.io
Puedes probar FederatedScope a través de Zona de juegos FederatedScope o colaboración de google.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Janhavi Lande, se graduó en Ingeniería Física del IIT Guwahati, promoción de 2023. Es una futura científica de datos y ha estado trabajando en el mundo de la investigación ml/ai durante los últimos dos años. Lo que más le fascina es este mundo en constante cambio y su constante exigencia de que los humanos se mantengan al día. En su pasatiempo le gusta viajar, leer y escribir poemas.