Nomic ha anunciado el lanzamiento de “Nomic Inbred multimodal“, Un modelo de incrustación innovador que logra un rendimiento de última generación en tareas de recuperación de documentos visuales. El nuevo modelo procesa a la perfección el texto, las imágenes y las capturas de pantalla, estableciendo una nueva puntuación alta en la marca de referencia de Vidore-V2 para la recuperación de documentos visuales. crucial.
Desarrollo de nuevos caminos en la recuperación de documentos visuales
El modelo NOMIC IncRiD Multimodal 7B ha logrado un impresionante puntaje de 62.7 NDCG@5 en el punto de referencia Vidore-V2, que representa una mejora de 2.8 puntos sobre los modelos anteriores de mejor rendimiento. Este avance marca un hito significativo en la evolución de las integridades multimodales para el procesamiento de documentos.
A diferencia de los sistemas de recuperación tradicionales que se basan principalmente en el texto extraído y, a menudo, se pierden elementos visuales cruciales, el nuevo modelo de Nomic captura la riqueza total de los documentos al incorporar directamente los componentes de texto y visual. Este enfoque elimina la necesidad de tuberías de procesamiento complejas y propensas a errores comúnmente utilizadas en el análisis de documentos.
Resolver desafíos de documentos del mundo real
Los documentos son inherentemente multimodal, transmitiendo información a través de texto, figuras, diseños de página, tablas e incluso fuentes. Los sistemas tradicionales solo de texto luchan con esta complejidad, a menudo requieren codificadores separados para entradas visuales y de texto o tuberías de preprocesamiento complejas.
Nomic Inbred Multimodal proporciona una solución elegante al soportar las entradas de texto e imágenes entrelazadas en un solo modelo, lo que lo hace ideal para:
- Documentos de PDF y trabajos de investigación
- Capturas de pantalla de aplicaciones y sitios web
- Contenido visualmente rico donde importa el diseño
- Documentos multilingües donde el contexto visual es importante
Un ecosistema de incrustación completo
Con el lanzamiento de Nomic Incorpor Multimodal, Nomic ha finalizado un conjunto integral de modelos de incrustación que logran un rendimiento de vanguardia en múltiples dominios:
- Nomic Inbred multimodal: La última incorporación que logra un rendimiento de última generación en texto, imágenes y capturas de pantalla entrelazadas. Es ideal para flujos de trabajo de recuperación de documentos.
- Texto de incrustación nomic v2: Un poderoso modelo de texto multilingüe que incrusta que logra un rendimiento de última generación en el punto de referencia de Miracl. Es ideal para flujos de trabajo de recuperación de texto en cualquier idioma.
- Código de incrustación nómica: Un modelo de incrustación especializado para aplicaciones de búsqueda de código, logrando una puntuación de última generación en el punto de referencia de CodeSearchnet. Es ideal para aplicaciones de agentes de código.
Este ecosistema completo proporciona a los desarrolladores herramientas de vanguardia para manejar diversos tipos de datos, desde texto puro hasta documentos multimodales complejos y repositorios de código especializados. Cada modelo en el ecosistema está diseñado para funcionar sin problemas con modernos TRAPO Flujos de trabajo mientras ofrecen el mejor rendimiento en su dominio.
Disponibilidad
Nomic ha hecho que sus modelos de incrustación multimodal estén disponibles en Cara abrazadajunto con el conjunto de datos correspondiente y Repositorio de Githubhaciendo que esta tecnología de vanguardia sea accesible para investigadores y desarrolladores de todo el mundo.
Esta versión representa un paso adelante significativo en el aprendizaje de representación multimodal y la comprensión de los documentos, completando la visión de Nomic de proporcionar soluciones de incrustación de última generación en todo el espectro de modalidades de datos.
La disponibilidad es próxima en el (Datos de Atlas nomic y plataforma de incrustación)
Gracias al equipo nomic por el liderazgo/ recursos de pensamiento para este artículo. Nomic Team nos ha apoyado financieramente y por contenido para este artículo.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
