El procesamiento del lenguaje natural (PNL) ha evolucionado rápidamente en los últimos años y los transformadores han surgido como una innovación revolucionaria. Sin embargo, todavía existen desafíos notables al utilizar herramientas de PNL para desarrollar aplicaciones para tareas como búsqueda semántica, respuesta a preguntas o incrustación de documentos. Una cuestión clave ha sido la necesidad de modelos que no sólo funcionen bien sino que también funcionen de manera eficiente en una variedad de dispositivos, especialmente aquellos con recursos computacionales limitados, como las CPU. Los modelos tienden a requerir una potencia de procesamiento sustancial para lograr una alta precisión, y esta compensación a menudo deja a los desarrolladores elegir entre rendimiento y practicidad. Además, implementar modelos grandes con funcionalidades especializadas puede resultar engorroso debido a las limitaciones de almacenamiento y los costosos requisitos de alojamiento. En respuesta, las innovaciones continuas son esenciales para seguir impulsando las herramientas de PNL hacia una mayor eficiencia, rentabilidad y usabilidad para una audiencia más amplia.
Hugging Face acaba de lanzar la frase Transformers v3.3.0
Hugging Face acaba de ser lanzado Transformadores de frases v3.3.0¡Y es una actualización importante con avances significativos! Esta última versión está repleta de características que abordan los cuellos de botella en el rendimiento, mejoran la usabilidad y ofrecen nuevos paradigmas de capacitación. En particular, la actualización v3.3.0 ofrece una innovadora aceleración de 4,5 veces para la inferencia de la CPU al integrar la cuantificación estática int8 de OpenVINO. También hay adiciones para facilitar la capacitación mediante indicaciones para mejorar el rendimiento, integración de técnicas de ajuste fino de parámetros eficientes (PEFT) y capacidades de evaluación perfecta a través de NanoBEIR. El lanzamiento muestra el compromiso de Hugging Face no solo de mejorar la precisión sino también de mejorar la eficiencia computacional, haciendo que estos modelos sean más accesibles en una amplia gama de casos de uso.
Detalles técnicos y beneficios
Las mejoras técnicas en Sentence Transformers v3.3.0 giran en torno a hacer que los modelos sean más prácticos para la implementación manteniendo altos niveles de precisión. La integración de la cuantización estática posterior al entrenamiento de OpenVINO permite que los modelos se ejecuten 4,78 veces más rápido en CPU con una caída de rendimiento promedio de solo el 0,36%. Esto supone un punto de inflexión para los desarrolladores que implementan entornos basados en CPU, como dispositivos perimetrales o servidores estándar, donde los recursos de GPU son limitados o no están disponibles. Un nuevo método, export_static_quantized_openvino_modelse ha introducido para simplificar la cuantificación.
Otra característica importante es la introducción de formación con indicaciones. Simplemente agregando cadenas como “consulta:” o “documento:” como indicaciones durante el entrenamiento, el rendimiento en las tareas de recuperación mejora significativamente. Por ejemplo, los experimentos muestran una mejora del 0,66% al 0,90% en NDCG@10, una métrica para evaluar la calidad de la clasificación, sin ninguna sobrecarga computacional adicional. La incorporación de compatibilidad con PEFT significa que los adaptadores de entrenamiento sobre los modelos básicos ahora son más flexibles. PEFT permite el entrenamiento eficiente de componentes especializados, lo que reduce los requisitos de memoria y permite una implementación económica de múltiples configuraciones desde un único modelo base. Se han introducido siete nuevos métodos para agregar o cargar adaptadores, lo que facilita la administración de diferentes adaptadores y el cambio entre ellos sin problemas.
Por qué esta versión es importante
La versión v3.3.0 aborda las necesidades apremiantes de los profesionales de PNL que buscan equilibrar la eficiencia, el rendimiento y la usabilidad. La introducción de la cuantificación OpenVINO es crucial para implementar modelos de transformadores en entornos de producción con capacidades de hardware limitadas. Por ejemplo, la mejora de velocidad de 4,78 veces en la inferencia basada en CPU hace posible utilizar incrustaciones de alta calidad en aplicaciones en tiempo real donde anteriormente el costo computacional habría sido prohibitivo. La capacitación basada en indicaciones también ilustra cómo ajustes relativamente menores pueden generar ganancias significativas en el desempeño. Una mejora del 0,66% al 0,90% en las tareas de recuperación es una mejora notable, especialmente cuando no tiene costo adicional.
La integración PEFT permite una mayor escalabilidad en el entrenamiento y la implementación de modelos. Es particularmente beneficioso en entornos donde se comparten recursos o donde es necesario entrenar modelos especializados con una carga computacional mínima. La nueva capacidad de evaluar en NanoBEIR, una colección de 13 conjuntos de datos centrados en tareas de recuperación, agrega una capa adicional de garantía de que los modelos entrenados con v3.3.0 pueden generalizarse bien en diversas tareas. Este marco de evaluación permite a los desarrolladores validar sus modelos en escenarios de recuperación del mundo real, ofreciendo una comprensión comparativa de su rendimiento y facilitando el seguimiento de las mejoras a lo largo del tiempo.
Conclusión
El lanzamiento de Sentence Transformers v3.3.0 de Hugging Face es un importante paso adelante para hacer que la PNL de última generación sea más accesible y utilizable en diversos entornos. Con mejoras sustanciales en la velocidad de la CPU a través de la cuantificación de OpenVINO, capacitación basada en indicaciones para mejorar el rendimiento sin costo adicional y la introducción de PEFT para una administración de modelos más escalable, esta actualización cumple todos los requisitos para los desarrolladores. Garantiza que los modelos no sólo sean potentes sino también eficientes, versátiles y más fáciles de integrar en diversos escenarios de implementación. Hugging Face continúa superando los límites, haciendo que las tareas complejas de PNL sean más viables para aplicaciones del mundo real y al mismo tiempo fomenta la innovación que beneficia tanto a los investigadores como a los profesionales de la industria.
Mira el Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[AI Magazine/Report] Lea nuestro último informe sobre ‘MODELOS DE LENGUAS PEQUEÑAS‘
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.