El modelo de base Nimble (FM) Cohere Rerank 3 ahora está disponible de forma general en Inicio rápido de Amazon SageMakerEste modelo es el FM más nuevo en la serie de modelos Rerank de Cohere, diseñado para mejorar los sistemas de búsqueda y recuperación de generación aumentada (RAG) empresariales.
En este post comentamos los beneficios y capacidades de este nuevo modelo con algunos ejemplos.
Descripción general de los modelos Cohere Rerank
La familia de modelos Rerank de Cohere está diseñada para mejorar los sistemas de búsqueda empresarial y los sistemas RAG existentes. Los modelos Rerank mejoran la precisión de la búsqueda en comparación con los sistemas de búsqueda basados en palabras clave y en incrustaciones. Cohere Rerank 3 está diseñado para reordenar los documentos recuperados por los algoritmos de búsqueda inicial en función de su relevancia para una consulta determinada. Un modelo de reranking, también conocido como codificador cruzado, es un tipo de modelo que, dado un par de consulta y documento, generará una puntuación de similitud. En el caso de los modelos de búsqueda, las palabras, las oraciones o los documentos completos suelen codificarse como vectores densos en un espacio semántico. Al calcular el coseno del ángulo entre estos vectores, puede cuantificar su similitud semántica y generar una única puntuación de similitud. Puede utilizar esta puntuación para reordenar los documentos por relevancia para su consulta.
Cohere Rerank 3 Nimble es el modelo más nuevo de la familia de modelos Rerank de Cohere, diseñado para mejorar la velocidad y la eficiencia de su predecesor Cohere Rerank 3. Según las pruebas de referencia de Cohere, que incluyen BEIR (Benchmarking IR) para precisión y conjuntos de datos de referencia internos, Cohere Rerank 3 Nimble mantiene una alta precisión y es aproximadamente entre 3 y 5 veces más rápido que Cohere Rerank 3. La mejora de la velocidad está diseñada para empresas que buscan mejorar sus capacidades de búsqueda sin sacrificar el rendimiento.
El siguiente diagrama representa la recuperación en dos etapas de una secuencia de RAG e ilustra dónde se incorpora Cohere Rerank 3 Nimble en la secuencia de búsqueda.
En la primera etapa de recuperación en la arquitectura RAG, se devuelve un conjunto de documentos candidatos en función de la base de conocimiento que es relevante para la consulta. En la segunda etapa, Cohere Rerank 3 Nimble analiza la relevancia semántica entre la consulta y cada documento recuperado, reordenándolos del más relevante al menos relevante. Los documentos mejor clasificados complementan la consulta original con contexto adicional. Este proceso mejora la calidad de los resultados de la búsqueda al identificar los documentos más pertinentes. La integración de Cohere Rerank 3 Nimble en un sistema RAG permite a los usuarios enviar menos documentos pero de mayor calidad al modelo de lenguaje para una generación fundamentada. Esto da como resultado una mayor precisión y relevancia de los resultados de la búsqueda sin agregar latencia.
Descripción general de SageMaker JumpStart
SageMaker JumpStart ofrece acceso a una amplia selección de modelos de modelado disponibles públicamente. Estos modelos entrenados previamente sirven como puntos de partida potentes que se pueden personalizar en profundidad para abordar casos de uso específicos. Ahora puede utilizar arquitecturas de modelos de última generación, como modelos de lenguaje, modelos de visión artificial y más, sin tener que crearlos desde cero.
Amazon SageMaker es una plataforma de aprendizaje automático (ML) integral y totalmente administrada que revoluciona todo el flujo de trabajo de ML. Ofrece un conjunto incomparable de herramientas que atienden cada etapa del ciclo de vida de ML, desde la preparación de datos hasta la implementación y el monitoreo de modelos. Los científicos de datos y los desarrolladores pueden usar el entorno de desarrollo integrado (IDE) de SageMaker para acceder a una amplia gama de algoritmos prediseñados, personalizar sus propios modelos y escalar sin problemas sus soluciones. La fortaleza de la plataforma radica en su capacidad para abstraer las complejidades de la gestión de la infraestructura, lo que le permite centrarse en la innovación en lugar de en los gastos operativos generales. Las capacidades de ML automatizado de SageMaker, incluidas las funciones de aprendizaje automático automatizado (AutoML), democratizan el ML al permitir que incluso los no expertos creen modelos sofisticados. Además, sus sólidas funciones de gobernanza ayudan a las organizaciones a mantener el control y la transparencia sobre sus proyectos de ML, abordando preocupaciones críticas en torno al cumplimiento normativo.
Prerrequisitos
Asegúrese de que su SageMaker Gestión de identidad y acceso de AWS El rol de servicio (IAM) tiene la AmazonSageMakerFullAccess Política de permisos adjunta.
Para implementar Cohere Rerank 3 Nimble con éxito, confirme una de las siguientes opciones:
- Asegúrese de que su función de IAM tenga los siguientes permisos y tenga la autoridad para realizar Mercado de AWS suscripciones en la cuenta de AWS utilizadas:
aws-marketplace:ViewSubscriptionsaws-marketplace:Unsubscribeaws-marketplace:Subscribe
- Como alternativa, confirme que su cuenta de AWS tiene una suscripción al modelo. Si es así, puede omitir las siguientes instrucciones de implementación y comenzar con la suscripción al paquete del modelo.
Implementar Cohere Rerank 3 Nimble en SageMaker JumpStart
Puede acceder a la familia de modelos Cohere Rerank 3 utilizando SageMaker JumpStart en Estudio Amazon SageMakercomo se muestra en la siguiente captura de pantalla.
La implementación comienza cuando usted lo elige Desplegary es posible que se le solicite que se suscriba a este modelo a través de AWS Marketplace. Si ya está suscrito, puede elegir Desplegar Nuevamente para implementar el modelo. Una vez finalizada la implementación, verá que se crea un punto final. Puede probar el punto final al pasar una carga útil de solicitud de inferencia de muestra o al seleccionar la opción de prueba mediante el SDK.
Suscríbete al paquete modelo
Para suscribirse al paquete modelo, complete los siguientes pasos:
- Según el modelo que desee implementar, abra la página de listado de paquetes de modelos para Cohere-Rerank-Agil-Inglés o Cohere-Rerank-Agilidad-Multilingüe.
- En la lista de AWS Marketplace, seleccione Continuar suscribiéndose.
- En el Suscríbete a este software Pagina, revisa y elige Aceptar oferta si usted y su organización están de acuerdo con el EULA, los precios y los términos de soporte.
- Elegir Continuar con la configuración y luego elija una región de AWS.
Se mostrará un ARN de producto. Este es el ARN del paquete de modelo que debe especificar al crear un modelo implementable con Boto3.
Implementar Cohere Rerank 3 Nimble usando el SDK
Para implementar el modelo usando el SDK, copie el ARN del producto del paso anterior y especifíquelo en el model_package_arn en el siguiente código:
Después de especificar el ARN del paquete de modelo, puede crear el punto de conexión, como se muestra en el siguiente código. Especifique el nombre del punto de conexión, el tipo de instancia y la cantidad de instancias que se utilizarán. Asegúrese de tener el límite de servicio a nivel de cuenta para usar ml.g5.xlarge para el uso del punto de conexión como una o más instancias. Para solicitar un aumento de la cuota de servicio, consulte Cuotas de servicios de AWS.
Si el punto final ya está creado, solo necesitas conectarte a él con el siguiente código:
Siga un proceso similar al detallado anteriormente para implementar Cohere Rerank 3 en SageMaker JumpStart.
Ejemplo de inferencia con Cohere Rerank 3 Nimble
Cohere Rerank 3 Nimble ofrece un sólido soporte multilingüe. El modelo está disponible en versiones en inglés y multilingües que admiten más de 100 idiomas.
El siguiente ejemplo de código ilustra cómo realizar inferencia en tiempo real utilizando Cohere Rerank 3 Nimble-English:
En el siguiente código, el top_n El parámetro de inferencia para Cohere Rerank 3 y Rerank 3 Nimble especifica la cantidad de resultados mejor clasificados que se devolverán después de reclasificar los documentos de entrada. Le permite controlar cuántos de los documentos más relevantes se incluyen en el resultado final. Para determinar un valor óptimo para top_nconsidere factores como la diversidad de su conjunto de documentos, la complejidad de sus consultas y el equilibrio deseado entre precisión y latencia para la búsqueda empresarial o RAG.
El siguiente es el resultado de Cohere Rerank 3 Nimble-English:
Cohere Rerank 3 Soporte multilingüe ágil
Las capacidades multilingües de Cohere Rerank 3 Nimble-Multilingual permiten a las organizaciones globales brindar experiencias de búsqueda consistentes y mejoradas a los usuarios en diferentes regiones y preferencias de idioma.
En el siguiente ejemplo, creamos una carga útil de entrada para una lista de correos electrónicos en varios idiomas. Podemos tomar el mismo conjunto de correos electrónicos anteriores y traducirlos a diferentes idiomas. Estos ejemplos están disponibles en la tarjeta de modelo de SageMaker JumpStart y se generan aleatoriamente para este ejemplo.
Utilice el siguiente código para realizar inferencias en tiempo real utilizando Cohere Rerank 3 Nimble-Multilingual:
El siguiente es el resultado de Cohere Rerank 3 Nimble-Multilingual:
La salida traducida al inglés es la siguiente:
En ambos ejemplos, los puntajes de relevancia se normalizan para estar en el rango [0, 1]Las puntuaciones cercanas a 1 indican una alta relevancia para la consulta, y las puntuaciones más cercanas a 0 indican una baja relevancia.
Casos de uso adecuados para Cohere Rerank 3 Nimble
El modelo Cohere Rerank 3 Nimble ofrece una opción que prioriza la eficiencia. El modelo es ideal para empresas que buscan permitir a sus clientes buscar con precisión documentación compleja, crear aplicaciones que comprendan más de 100 idiomas y recuperar la información más relevante de varios almacenes de datos. En sectores como el comercio minorista, donde el abandono del sitio web aumenta con cada 100 milisegundos que se suman al tiempo de respuesta de la búsqueda, tener un modelo de IA más rápido como Cohere Rerank 3 Nimble que impulse el sistema de búsqueda empresarial se traduce en tasas de conversión más altas.
Conclusión
Cohere Rerank 3 y Rerank 3 Nimble ya están disponibles en SageMaker JumpStart. Para comenzar, consulte Entrene, implemente y evalúe modelos previamente entrenados con SageMaker JumpStart.
¿Te interesa sumergirte más profundamente? Echa un vistazo a Cohere en el repositorio de GitHub de AWS.
Acerca de los autores
Breanne Warner 
Breanne es arquitecta de soluciones empresariales en Amazon Web Services y brinda soporte a clientes de los sectores de la salud y las ciencias biológicas (HCLS). Le apasiona ayudar a los clientes a utilizar la IA generativa en AWS y promover la adopción de modelos. Breanne también forma parte de la junta directiva de Women@Amazon como codirectora de Allyship con el objetivo de fomentar una cultura inclusiva y diversa en Amazon. Breanne tiene una licenciatura en Ciencias en Ingeniería Informática de la Universidad de Illinois en Urbana Champaign (UIUC).
Nithin Vijeaswaran Niithiyn es arquitecto de soluciones en AWS. Su área de especialización es la IA generativa y los aceleradores de IA de AWS. Tiene una licenciatura en Ciencias de la Computación y Bioinformática. Niithiyn trabaja en estrecha colaboración con el equipo de IA generativa de GTM para ayudar a los clientes de AWS en múltiples frentes y acelerar su adopción de la IA generativa. Es un ávido fanático de los Dallas Mavericks y disfruta coleccionando zapatillas.
Karan Singh Karan es especialista en IA generativa para modelos de terceros en AWS, donde trabaja con proveedores de modelos básicos de terceros de primer nivel para definir y ejecutar movimientos de unión de GTM que ayudan a los clientes a entrenar, implementar y escalar modelos básicos. Karan tiene una licenciatura en Ciencias en Ingeniería Eléctrica e Instrumentación de la Universidad de Manipal y una maestría en Ciencias en Ingeniería Eléctrica de la Universidad Northwestern, y actualmente es candidato a MBA en la Escuela de Negocios Haas de la Universidad de California, Berkeley.