A medida que los modelos de idiomas continúan creciendo en tamaño y complejidad, también lo hacen los requisitos de recursos necesarios para entrenarlos e implementarlos. Si bien los modelos a gran escala pueden lograr un rendimiento notable en una variedad de puntos de referencia, a menudo son inaccesibles para muchas organizaciones debido a las limitaciones de infraestructura y los altos costos operativos. Esta brecha entre la capacidad y la implementación presenta un desafío práctico, particularmente para las empresas que buscan incrustar modelos de idiomas en sistemas en tiempo real o entornos sensibles a los costos.
En los últimos años, modelos de lenguaje pequeño (SLMS) han surgido como una solución potencial, ofreciendo la memoria reducida y los requisitos de cálculo sin comprometer completamente el rendimiento. Aún así, muchos SLM luchan por proporcionar resultados consistentes en diversas tareas, y su diseño a menudo implica compensaciones que limitan la generalización o la usabilidad.
ServiceNow AI se libera APRIEL-5B: Un paso hacia la IA práctica a escala
Para abordar estas preocupaciones, ServiceNow Ai ha publicado Apriel-5buna nueva familia de modelos de lenguaje pequeño diseñado con un enfoque en el rendimiento de la inferencia, la eficiencia de capacitación y la versatilidad de dominio cruzado. Con 4.8 mil millones de parámetrosApriel-5B es lo suficientemente pequeño como para implementarse en un hardware modesto, pero aún funciona de manera competitiva en una gama de tareas de seguimiento de instrucciones y razonamiento.
La familia Apriel incluye dos versiones:
- Apriel-5b-baseun modelo previamente destinado a un mayor ajuste o incrustación en tuberías.
- Apriel-5b-Instructouna versión ajustada a instrucciones alineada para el chat, el razonamiento y la finalización de la tarea.
Ambos modelos se lanzan bajo el Licencia de MITApoyando la experimentación abierta y una adopción más amplia en la investigación y los casos de uso comercial.
Diseño arquitectónico y aspectos destacados técnicos
APRIEL-5B fue entrenado 4.5 billones de tokensun conjunto de datos cuidadosamente construido para cubrir múltiples categorías de tareas, incluida la comprensión del lenguaje natural, el razonamiento y las capacidades multilingües. El modelo utiliza una arquitectura densa optimizada para la eficiencia de inferencia, con características técnicas clave como:
- INCREGOS POSICIONALES ROTARIOS (cuerda) con una ventana de contexto de 8,192 fichasApoyo a las tareas de secuencia larga.
- Flashattention-2habilitando un cálculo de atención más rápido y una mejor utilización de la memoria.
- Atención agrupada (GQA)Reducción de la sobrecarga de la memoria durante la decodificación autorregresiva.
- Capacitar Bfloat16que garantiza la compatibilidad con los aceleradores modernos mientras mantiene la estabilidad numérica.
Estas decisiones arquitectónicas permiten que Apriel-5B mantenga la capacidad de respuesta y la velocidad sin depender de hardware especializado o paralelización extensa. La versión ajustada por instrucciones se ajustó a los conjuntos de datos curados y técnicas supervisadas, lo que le permite funcionar bien en una gama de tareas de seguimiento de instrucciones con una solicitud mínima.
Insights de evaluación y comparaciones de referencia
APRIEL-5B-Instructo se ha evaluado con varios modelos abiertos ampliamente utilizados, incluido Meta’s Llama 3.1–8B, OLMO-2–7B de Allen AI y Mistral-Nemo-12B. A pesar de su tamaño más pequeño, Apriel muestra resultados competitivos en múltiples puntos de referencia:
- Supera a ambos Olmo-2–7b-Instructo y Mistral-Nemo-12b-Instructo en promedio en tareas de uso general.
- Muestra resultados más fuertes que LLAMA-3.1–8B-Instructo en tareas centradas en matemáticas y Si evalúaque evalúa la consistencia de seguimiento de la instrucción.
- Requiere significativamente menos recursos de cómputo2.3x menos horas de GPU—En Olmo-2–7b, subrayando su eficiencia de entrenamiento.
Estos resultados sugieren que Apriel-5B llega a un punto medio productivo entre la implementación ligera y la versatilidad de las tareas, particularmente en dominios donde el rendimiento en tiempo real y los recursos limitados son consideraciones clave.
Conclusión: una adición práctica al ecosistema modelo
APRIEL-5B representa un enfoque reflexivo para el diseño del modelo pequeño, uno que enfatiza el equilibrio en lugar de la escala. Al centrarse en el rendimiento de la inferencia, la eficiencia de la capacitación y el rendimiento de la instrucción central, ServiceNow AI ha creado una familia modelo que es fácil de implementar, adaptable a los casos de uso variados y está disponible abiertamente para la integración.
Su fuerte rendimiento en los puntos de referencia de matemáticas y razonamiento, combinado con una licencia permisiva y un perfil de cómputo eficiente, hace que Apriel-5B sea una opción convincente para los equipos que construyen capacidades de IA en productos, agentes o flujos de trabajo. En un campo cada vez más definido por la accesibilidad y la aplicabilidad del mundo real, APRIEL-5B es un paso práctico hacia adelante.
Verificar ServiceNow-AI/Apriel-5B-Base y ServiceNow-AI/Apriel-5B-Instructo. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
