Microsoft ha anunciado el lanzamiento de Harrier-OSS-v1, una familia de tres modelos de incrustación de texto multilingüe diseñados para proporcionar representaciones semánticas de alta calidad en una amplia gama de idiomas. El lanzamiento incluye tres escalas distintas: un modelo de parámetros de 270M, un modelo de 0.6B y un modelo de 27B.
Los modelos Harrier-OSS-v1 lograron resultados de última generación (SOTA) en Multilingual MTEB (Massive Text Embedding Benchmark) v2. Para los profesionales de la IA, este lanzamiento marca un hito importante en la tecnología de recuperación de código abierto, ya que ofrece una gama escalable de modelos que aprovechan las arquitecturas LLM modernas para tareas de integración.
Arquitectura y Fundación
La familia Harrier-OSS-v1 se aleja de las arquitecturas de codificadores bidireccionales tradicionales (como BERT) que han dominado el panorama de la integración durante años. En cambio, estos modelos utilizan arquitecturas de solo decodificador, similares a las que se encuentran en los modelos de lenguaje grande (LLM) modernos.
El uso de fundamentos exclusivos del decodificador representa un cambio en la forma en que se procesa el contexto. En un modelo causal (solo decodificador), cada token solo puede atender a los tokens que le preceden. Para derivar un único vector que represente toda la entrada, Harrier utiliza la agrupación de último token. Esto significa que el estado oculto del último token de la secuencia se utiliza como representación agregada del texto, que luego se somete a la normalización L2 para garantizar que el vector tenga una magnitud consistente.
Especificaciones técnicas
Los modelos Harrier-OSS-v1 se caracterizan por sus diferentes dimensiones de incrustación y su soporte constante para entradas de contexto largo. La siguiente tabla proporciona un desglose de las especificaciones técnicas:
La ventana de contexto de 32,768 (32k) tokens en los tres tamaños es una característica importante para los sistemas de generación aumentada de recuperación (RAG). La mayoría de los modelos de integración tradicionales están limitados a 512 o 1024 tokens. La ventana ampliada permite a los desarrolladores de IA incrustar documentos o archivos de código significativamente más grandes sin la necesidad de una fragmentación agresiva, lo que a menudo resulta en una pérdida de coherencia semántica.
Implementación: incorporaciones basadas en instrucciones
Uno de los detalles operativos más importantes para los desarrolladores de IA es que Harrier-OSS-v1 es una familia de integración ajustada a instrucciones. Para lograr el rendimiento evaluado, el modelo requiere que se proporcionen instrucciones específicas de la tarea en el momento de la consulta.
La implementación sigue una lógica específica:
Lado de la consulta: todas las consultas deben ir precedidas de una instrucción de tarea de una oración que defina la intención (por ejemplo, recuperar un texto semánticamente similar o encontrar una traducción). Lado del documento: los documentos deben codificarse sin instrucciones.
Un formato de consulta de ejemplo se vería así:
Este enfoque basado en instrucciones permite que el modelo ajuste su espacio vectorial dinámicamente según la tarea, mejorando la precisión de la recuperación en diferentes dominios, como la búsqueda web o la minería de texto bitexto.
Formación y Destilación del Conocimiento
El desarrollo de la familia Harrier-OSS-v1 implicó un proceso de formación de varias etapas. Si bien el modelo 27B proporciona el mayor número de parámetros y dimensionalidad (5376), el equipo de Microsoft utilizó técnicas especializadas para mejorar el rendimiento de las variantes más pequeñas.
Los modelos 270M y 0.6B se entrenaron adicionalmente utilizando la destilación de conocimientos de modelos de integración más grandes. La destilación de conocimientos es una técnica en la que se entrena un modelo de “estudiante” para replicar las distribuciones de salida o representaciones de características de un modelo de “maestro” de alto rendimiento. Este proceso permite que los modelos Harrier más pequeños logren una mayor calidad de integración de lo que normalmente se esperaría de sus recuentos de parámetros, lo que los hace más eficientes para implementaciones donde la memoria o la latencia son un factor.
Rendimiento en MTEB v2 multilingüe
Multilingual MTEB v2 es un punto de referencia integral que evalúa modelos en diversas tareas, que incluyen:
Clasificación: Identificar la categoría de un texto. Agrupación: Agrupación de documentos similares. Clasificación por parejas: Determinar si dos oraciones son paráfrasis. Recuperación: Encontrar el documento más relevante para una consulta determinada.
Al lograr resultados SOTA en este punto de referencia en el momento del lanzamiento, la familia Harrier demuestra un alto nivel de competencia en la recuperación multilingüe. Esto es particularmente valioso para aplicaciones globales donde un sistema puede necesitar procesar consultas y documentos en diferentes idiomas dentro del mismo espacio vectorial.
Conclusiones clave
SOTA multilingüe escalable: la familia incluye tres modelos (270M, 0.6B y 27B) que lograron resultados de vanguardia en la prueba comparativa MTEB v2 multilingüe a partir de su fecha de lanzamiento. Fundación solo decodificador: alejándose de los codificadores de estilo BERT, estos modelos utilizan arquitecturas solo decodificador con agrupación de último token y normalización L2. Contexto ampliado de 32k: todos los modelos admiten una ventana de contexto de 32,768 tokens, lo que permite la representación de documentos de formato largo o bases de código sin la pérdida semántica asociada con una fragmentación agresiva. Recuperación dependiente de instrucciones: el mejor rendimiento requiere instrucciones del lado de la consulta (una descripción de la tarea de una oración antepuesta a la entrada), mientras que los documentos deben codificarse sin instrucciones. Calidad mediante destilación: los modelos más pequeños 270M (640 dim) y 0,6B (1024 dim) se entrenaron utilizando la destilación de conocimientos de modelos de incrustación más grandes para mejorar la calidad de su representación semántica en relación con el recuento de parámetros.
Consulte los pesos del modelo aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.