LLMWare.aipionero en la implementación y ajuste de modelos de lenguaje pequeño (SLM), anunció hoy el lanzamiento de Depósito de modelos en Hugging Face, una de las colecciones más grandes de SLM optimizados para PC Intel. Con más de 100 modelos que abarcan múltiples casos de uso, como chat, codificación, matemáticas, llamadas de funciones y modelos integrados, Depósito de modelos tiene como objetivo proporcionar a la comunidad de IA de código abierto una colección sin precedentes de los últimos SLM optimizados para PC basadas en Intel en formatos OpenVINO y ONNX de Intel.
Usando LLMWare Depósito de modelos combinado con LLMWare biblioteca de código abierto que proporciona un conjunto de herramientas completo para el desarrollo de un extremo a otro de flujos de trabajo habilitados para IA, los desarrolladores pueden crear flujos de trabajo de recuperación aumentada (RAG) y basados en agentes utilizando SLM en formato OpenVINO para usuarios de hardware Intel. OpenVINO es una biblioteca de código abierto para optimizar e implementar capacidades de inferencia de modelos de aprendizaje profundo, incluidos modelos de lenguaje grandes y pequeños. Diseñado específicamente para reducir las demandas de recursos para una implementación eficiente en una variedad de plataformas, incluidas las PC en el dispositivo y con IA, OpenVINO admite la inferencia de modelos en CPU, GPU y NPU Intel.
De manera similar, ONNX proporciona un formato de código abierto para modelos de IA, tanto de aprendizaje profundo como de aprendizaje automático tradicional, con un enfoque actual en las capacidades necesarias para la inferencia. ONNX se puede encontrar en muchos marcos, herramientas y hardware y tiene como objetivo permitir la interoperabilidad entre diferentes marcos.
En un informe técnico reciente, LLMware descubrió que la implementación de modelos de lenguaje pequeño cuantificados de 4 bits (parámetros 1B-9B) en el formato OpenVINO maximiza el rendimiento de la inferencia de modelos en las PC Intel AI. Cuando se probó en una computadora portátil Dell con Intel Core Ultra 9 (Meteor Lake), utilizando un modelo BLING-Tiny-Llama de parámetros de 1.1B, el formato cuantificado OpenVINO condujo a velocidades de inferencia que son hasta 7,6 veces más rápidas que PyTorch y hasta 7,5 veces más rápidas que PyTorch. más rápido que GGUF.
La comparación utiliza consistentemente la prueba RAG de 21 preguntas de LLMWare. El tiempo de procesamiento muestra el tiempo de ejecución total de las 21 preguntas:
Información detallada sobre LLMwareLa metodología de prueba de se puede encontrar en el documento técnico.
El objetivo de LLMWare es proporcionar una poderosa capa de abstracción para trabajar con diversas capacidades de inferencia. Al admitir OpenVINO, ONNX y Llama.cpp, todo en una plataforma, los desarrolladores pueden aprovechar los formatos de modelo que tienen mayor rendimiento con las capacidades de hardware específicas de sus usuarios previstos. Con Model Depot, los desarrolladores de PC Intel pueden acceder a SLM que están específicamente optimizados para realizar inferencias en hardware Intel.
Proporciona soporte OpenVINO y ONNX para los SLM más populares en la actualidad, incluidos Microsoft Phi-3, Mistal, Llama, Yi y Qwen, así como la función especializada de LLMWare que llama a modelos SLIM diseñados para flujos de trabajo de varios pasos y la familia de modelos DRAGON y BLING especializados en RAG. LLMWare proporciona a los desarrolladores los SLM para crear de manera fácil y fluida flujos de trabajo que mejoran la productividad y maximizan las capacidades locales de las PC con IA.
Optimizadas con potentes GPU y NPU integradas que brindan la capacidad de hardware para permitir que las aplicaciones de IA se implementen en el dispositivo, las PC con IA permiten a las empresas implementar muchas aplicaciones de IA livianas localmente sin exponer datos confidenciales ni necesitar copias de datos en sistemas externos. Esto desbloquea enormes beneficios de mayor seguridad y ahorros de costos significativos.
LLMware También anunció recientemente su colaboración estratégica con Intel con el lanzamiento del Model HQ en versión limitada para vista previa privada. Diseñado específicamente para PC con IA con procesadores Intel Core Ultra, el modelo HQ proporciona un kit sin código listo para usar para ejecutar, crear e implementar aplicaciones habilitadas para IA con UI/UX integrada y flujo de trabajo de agente con poco código para facilitar la aplicación. creación. Con funciones integradas de Chatbot y búsqueda y análisis de documentos, la aplicación viene lista para usar, con la capacidad de iniciar flujos de trabajo personalizados directamente en el dispositivo. Model HQ también viene con muchas características de seguridad listas para la empresa, como Model Vault para controles de seguridad de modelos, Model Safety Monitor para detección de toxicidad y sesgos, detector de alucinaciones, datos de explicabilidad de IA, kit de herramientas de auditoría y cumplimiento, filtros de privacidad y mucho más.
“En LLMWare, creemos firmemente en reducir el centro de gravedad de la IA para permitir una implementación local, privada, descentralizada y autohospedada, con modelos de alta calidad y canales de datos optimizados para implementaciones seguras, controladas y con costos optimizados de dispositivos livianos. , aplicaciones RAG, Agent y Chat personalizadas para empresas de todos los tamaños. Estamos encantados de lanzar la colección Model Depot en código abierto para ampliar el acceso a los modelos empaquetados OpenVino y ONNX para respaldar el lanzamiento de PC con IA en los próximos meses”, dijo Darren Oberst, director de tecnología de LLMWare.
“El auge de la IA generativa desbloquea nuevas experiencias de aplicaciones que no estaban disponibles con generaciones anteriores de algoritmos de procesamiento de datos. La combinación única de una potente plataforma de PC con IA y un software de optimización como OpenVINO es una forma de obtener las mejores características para la implementación de LLM de propiedad local y privada sin pensar en los detalles de optimización. La plataforma de LLMWare va un paso más allá al permitir el uso de bloques de construcción de software y modelos previamente entrenados para implementar el procesamiento de datos dentro de la aplicación final y ahorrar tiempo de comercialización. La combinación de la plataforma OpenVINO y LLMWare realmente desbloquea las capacidades de IA generativa de mejor rendimiento en el borde de las aplicaciones”, afirmó Yury Gorbachev, miembro de Intel y arquitecto de OpenVINO en Intel.
Por favor visite LLMWare GitHub y abrazando la cara sitios por su biblioteca completa en código abierto y colección de modelos de lenguajes pequeños, así como llmware.ai para obtener los últimos informes técnicos y blogs.
Gracias a Bloques de IA para el artículo educativo/liderazgo intelectual. Bloques de IA nos ha apoyado en este contenido/artículo.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.