¿Puede un recuperador compacto de interacción tardía indexar una vez y ofrecer una búsqueda multilingüe precisa con inferencia rápida? Liquid AI lanzó LFM2-ColBERT-350M, un recuperador compacto de interacción tardía para búsquedas multilingües y entre idiomas. Los documentos se pueden indexar en un idioma, las consultas se pueden escribir en muchos idiomas y el sistema los recupera con alta precisión. El equipo de Liquid AI informa una velocidad de inferencia a la par de modelos que son 2,3 veces más pequeños, lo que se atribuye a la columna vertebral LFM2. El modelo está disponible con una demostración de Hugging Face y una tarjeta de modelo detallada para su integración en sistemas de recuperación de generación aumentada.
¿Qué significa la interacción tardía y por qué es importante?
La mayoría de los sistemas de producción utilizan codificadores bi-codificadores para velocidad o codificadores cruzados para mayor precisión. La interacción tardía pretende combinar ambas ventajas. Las consultas y los documentos se codifican por separado a nivel de token. El sistema compara vectores de tokens en el momento de la consulta mediante operaciones como MaxSim. Esto preserva las interacciones de tokens detalladas sin el costo total de la atención cruzada conjunta. Permite el cálculo previo de los documentos y mejora la precisión en el momento de la clasificación. Puede servir como recuperador de primera etapa y también como clasificador en una sola pasada.
Especificación del modelo
LFM2-ColBERT-350M tiene 350 millones de parámetros totales. Hay 25 capas, con 18 bloques de convolución, 6 bloques de atención y 1 capa densa. La longitud del contexto es de 32k tokens. El tamaño del vocabulario es 65.536. La función de similitud es MaxSim. La dimensionalidad de salida es 128. La precisión del entrenamiento es BF16. La licencia es LFM Open License v1.0.
Idiomas, apoyados y evaluados.
El modelo admite 8 idiomas. Estos son inglés, árabe, chino, francés, alemán, japonés, coreano y español. La evaluación agrega italiano y portugués, lo que lleva la matriz a 9 idiomas para realizar comparaciones cruzadas de idiomas de documentos y consultas. Esta distinción es relevante al planificar implementaciones que deben cubrir mercados de clientes específicos.
Configuración de la evaluación y resultados clave
Liquid AI amplía el punto de referencia NanoBEIR con japonés y coreano y publica la extensión de reproducibilidad. En esta configuración, LFM2-ColBERT-350M muestra una capacidad multilingüe más sólida que el modelo básico de interacción tardía en esta clase, que es GTE-ModernColBERT-v1 con parámetros de 150M. Los mayores avances se producen en alemán, árabe, coreano y japonés, mientras que el rendimiento en inglés se mantiene.
Conclusiones clave
La puntuación a nivel de token con MaxSim preserva las interacciones detalladas y al mismo tiempo mantiene codificadores separados, de modo que las incrustaciones de documentos se pueden precalcular y consultar de manera eficiente. Los documentos se pueden indexar en un idioma y recuperar en muchos. La tarjeta modelo enumera 8 idiomas admitidos, mientras que las evaluaciones abarcan 9 idiomas para pares multilingües. En la extensión multilingüe NanoBEIR, LFM2-ColBERT-350M supera la línea base de interacción tardía anterior (GTE-ModernColBERT-v1 en 150M) y mantiene el rendimiento en inglés. La velocidad de inferencia se reporta a la par con modelos 2,3 veces más pequeños en todos los tamaños de lote, atribuido a la columna vertebral LFM2.
Notas editoriales
LFM2-ColBERT-350M de Liquid AI aplica ColBERT de interacción tardía con MaxSim, codifica consultas y documentos por separado, luego califica vectores de token en el momento de la consulta, lo que preserva las interacciones a nivel de token y permite incrustaciones de documentos precalculados para escalar. Tiene como objetivo la recuperación multilingüe y entre idiomas, indexar una vez y realizar consultas en muchos idiomas, con evaluaciones descritas en una extensión multilingüe NanoBEIR. El equipo de Liquid AI informa una velocidad de inferencia a la par de modelos 2,3 veces más pequeños, atribuida a la columna vertebral de LFM2. En general, la interacción tardía a nanoescala parece estar lista para la producción para ensayos RAG multilingües.
Consulte los pesos de los modelos, la demostración y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.