En el panorama actual de la IA generativa, las “leyes de escala” generalmente han dictado que más parámetros equivalen a más inteligencia. Sin embargo, Liquid AI está desafiando esta convención con el lanzamiento de LFM2.5-350M. Este modelo es en realidad un estudio de caso técnico sobre densidad de inteligencia con entrenamiento previo adicional (de 10T a 28T tokens) y aprendizaje por refuerzo a gran escala.
La importancia del LFM2.5-350M radica en su arquitectura y eficiencia en la capacitación. Si bien la mayoría de las empresas de IA se han centrado en modelos de frontera, Liquid AI se dirige al ‘borde’ (dispositivos con memoria y computación limitadas) al demostrar que un modelo de 350 millones de parámetros puede superar a modelos de más del doble de su tamaño en varios puntos de referencia evaluados.
Arquitectura: la columna vertebral híbrida LIV
El principal diferenciador técnico del LFM2.5-350M es su alejamiento de la arquitectura Transformer pura. Utiliza una estructura híbrida construida sobre sistemas lineales de entrada variable (LIV).
Los Transformers tradicionales dependen completamente de mecanismos de autoatención, que sufren problemas de escala cuadrática: a medida que crece la ventana de contexto, aumentan la memoria y los requisitos computacionales para la caché de valor clave (KV). Liquid AI aborda esto mediante el uso de una columna vertebral híbrida que consta de:
10 bloques de convolución LIV de doble puerta: manejan la mayor parte del procesamiento de secuencia. Las LIV funcionan de manera similar a las redes neuronales recurrentes (RNN) avanzadas, pero están diseñadas para ser más paralelizables y estables durante el entrenamiento. Mantienen una memoria de estado constante, lo que reduce la sobrecarga de E/S. 6 bloques de atención de consultas agrupadas (GQA): al integrar una pequeña cantidad de bloques de atención, el modelo conserva la recuperación de alta precisión y el manejo del contexto de largo alcance sin la sobrecarga de memoria completa de un transformador estándar.
Este enfoque híbrido permite que el LFM2.5-350M admita una ventana de contexto de 32k (32,768 tokens) mientras mantiene una huella de memoria extremadamente reducida.
Densidad de rendimiento e inteligencia
El LFM2.5-350M fue preentrenado con 28 billones de tokens con una relación entrenamiento-parámetro extremadamente alta. Esto garantiza que el recuento limitado de parámetros del modelo se utilice en su máximo potencial, lo que da como resultado una alta “densidad de inteligencia”.
Puntos de referencia y casos de uso
El LFM2.5-350M es un modelo especializado diseñado para tareas de agente de alta velocidad en lugar de razonamiento de propósito general.
La alta puntuación IFEval indica que el modelo es eficiente a la hora de seguir instrucciones complejas y estructuradas, lo que lo hace adecuado para el uso de herramientas, llamadas a funciones y extracción de datos estructurados (p. ej., JSON). Sin embargo, la documentación establece explícitamente que LFM2.5-350M no se recomienda para matemáticas, codificación compleja o escritura creativa. Para esas tareas, siguen siendo necesarias las capacidades de razonamiento de un mayor número de parámetros.
Optimización de hardware y eficiencia de inferencia
Un obstáculo importante para los desarrolladores de IA es el “muro de la memoria”, el cuello de botella creado al mover datos entre el procesador y la memoria. Debido a que el LFM2.5-350M utiliza LIV y GQA, reduce drásticamente el tamaño de la caché KV, lo que aumenta el rendimiento. En una única GPU NVIDIA H100, el modelo puede alcanzar un rendimiento de 40,4 000 tokens de salida por segundo con alta simultaneidad.
El equipo de Liquid AI informa resultados de inferencia de baja memoria específicos del dispositivo que hacen viable la implementación local:
NPU Snapdragon 8 Elite: 169 MB de memoria máxima con RunAnywhere Q4. GPU Snapdragon: 81 MB de memoria máxima con RunAnywhere Q4. Raspberry Pi 5: 300 MB usando Cactus Engine int8.
Conclusiones clave
Densidad de inteligencia extrema: al entrenar un modelo de parámetros de 350 millones en 28 billones de tokens, el equipo de Liquid AI logró una relación token-parámetro súper alta de 80 000:1, lo que le permitió superar a los modelos de más del doble de su tamaño en varios puntos de referencia. Arquitectura LIV híbrida: el modelo se aleja de los transformadores puros mediante el uso de sistemas de variación de entrada lineal (LIV) combinados con una pequeña cantidad de bloques de atención de consultas agrupadas (GQA), lo que reduce significativamente la sobrecarga de memoria de la caché KV. Eficiencia de vanguardia: está diseñado para implementación local con una ventana de contexto de 32k y una huella de memoria notablemente baja, que alcanza tan solo 81 MB en GPU móviles y 169 MB en NPU a través de motores de inferencia especializados. Capacidad de agencia especializada: el modelo está altamente optimizado para seguir instrucciones (IFEval: 76.96) y usar herramientas, aunque no se recomienda explícitamente para codificación compleja, matemáticas o escritura creativa. Rendimiento masivo: la eficiencia arquitectónica permite una utilidad de alta velocidad, procesando hasta 40,4 000 tokens de salida por segundo en un solo H100, lo que lo hace ideal para la extracción de datos de gran volumen y la clasificación en tiempo real.
Consulta los detalles técnicos y el peso del modelo. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.