Cohere Rerank 3.5 ya está disponible en Amazon Bedrock a través de Rerank API

Nos complace anunciar la disponibilidad de Cohere modelo de reclasificación avanzado Reclasificar 3.5 a través de nuestro nuevo Reclasificar API en la roca amazónica. Este potente modelo de reclasificación permite a los clientes de AWS mejorar significativamente su relevancia de búsqueda y sus capacidades de clasificación de contenido. Este modelo también está disponible para los usuarios de la base de conocimientos de Amazon Bedrock. Al incorporar Rerank 3.5 de Cohere en Amazon Bedrock, estamos haciendo que la tecnología de búsqueda de nivel empresarial sea más accesible y empoderando a las organizaciones para mejorar sus sistemas de recuperación de información con una administración mínima de la infraestructura.

En esta publicación, analizamos la necesidad de Reranking, las capacidades de Rerank 3.5 de Cohere y cómo comenzar a usarlo en Amazon Bedrock.

Reclasificación para recuperación avanzada

La reclasificación es una mejora vital para Recuperación de Generación Aumentada (RAG) sistemas que agregan una segunda capa sofisticada de análisis para mejorar la relevancia de los resultados de búsqueda más allá de lo que la búsqueda vectorial tradicional puede lograr. A diferencia de los modelos de integración que se basan en vectores estáticos precalculados, los reclasificadores realizan análisis dinámicos en tiempo de consulta de la relevancia del documento, lo que permite una coincidencia más matizada y contextual. Esta capacidad permite a los sistemas RAG equilibrar eficazmente entre la recuperación amplia de documentos y la selección precisa del contexto, lo que en última instancia conduce a resultados más precisos y confiables de los modelos lingüísticos y, al mismo tiempo, reduce la probabilidad de alucinaciones.

Los sistemas de búsqueda existentes se benefician significativamente de la tecnología de reclasificación al proporcionar resultados más relevantes contextualmente que impactan directamente en la satisfacción del usuario y los resultados comerciales. A diferencia de la concordancia de palabras clave tradicional o la búsqueda vectorial básica, la reclasificación realiza un análisis inteligente de segundo paso que considera múltiples factores, incluido el significado semántico, la intención del usuario y las reglas comerciales para optimizar el orden de los resultados de búsqueda. Específicamente en el comercio electrónico, la reclasificación ayuda a mostrar los productos más relevantes al comprender las relaciones matizadas entre las consultas de búsqueda y los atributos del producto, al mismo tiempo que incorpora métricas comerciales cruciales como tasas de conversión y niveles de inventario. Esta optimización de relevancia avanzada conduce a un mejor descubrimiento de productos, tasas de conversión más altas y una mayor satisfacción del cliente en las plataformas de comercio digital, lo que hace que la reclasificación sea un componente esencial para cualquier infraestructura de búsqueda empresarial moderna.

Presentamos Cohere Rerank 3.5

Rerank 3.5 de Cohere está diseñado para mejorar los sistemas de búsqueda y RAG. Este modelo inteligente de codificación cruzada toma una consulta y una lista de documentos potencialmente relevantes como entrada y luego devuelve los documentos ordenados por similitud semántica con la consulta. Cohere Rerank 3.5 sobresale en la comprensión de información compleja que requiere razonamiento y es capaz de comprender el significado detrás de los datos empresariales y las preguntas de los usuarios. Su capacidad para comprender y analizar datos empresariales y preguntas de los usuarios en más de 100 idiomas, incluidos árabe, chino, inglés, francés, alemán, hindi, japonés, coreano, portugués, ruso y español, lo hace particularmente valioso para organizaciones globales en sectores como finanzas, atención médica, hotelería, energía, gobierno y manufactura.

Una de las ventajas clave de Cohere Rerank 3.5 es su facilidad de implementación. A través de un solo Reclasificar API llame a Amazon Bedrock, puede integrar Rerank en sistemas existentes a escala, ya sean semánticos o basados ​​en palabras clave. La reclasificación mejora estrictamente las recuperaciones de la primera etapa en los puntos de referencia de recuperación de texto estándar.

Cohere Rerank 3.5 es lo último en el ámbito financiero, como se ilustra en la siguiente figura.

Cohere Rerank 3.5 también es lo último en el ámbito del comercio electrónico, como se ilustra en la siguiente figura. Los puntos de referencia de comercio electrónico de Cohere giran en torno a la recuperación de diversos productos, incluidos moda, electrónica, alimentos y más.

Los productos se estructuraron como cadenas en un formato de par clave-valor como el siguiente:

“Title”: “Title” 
“Description”: “Long-form description” “Type”: <Some categorical data> etc.....

Cohere Rerank 3.5 también destaca en hostelería, como se muestra en la siguiente figura. Los puntos de referencia de la hospitalidad giran en torno a la recuperación de experiencias de hospitalidad y opciones de alojamiento.

Los documentos se estructuraron como cadenas en un formato de pares clave-valor como el siguiente:

“Listing Title”: “Rental unit in Toronto” “Location”: “171 John Street, Toronto, Ontario, Canada”

“Description”: “Escape to our serene villa with stunning downtown views....”

Vemos mejoras notables en el desempeño de la gestión de proyectos en todos los tipos de tareas de seguimiento de problemas, como se ilustra en la siguiente figura.

Los puntos de referencia de gestión de proyectos de Cohere abarcan una variedad de tareas de recuperación, como:

• Busque tickets de ingeniería desde varias herramientas de software de gestión de proyectos y seguimiento de problemas.
• Busque problemas de GitHub en repositorios de código abierto populares

Comience con Cohere Rerank 3.5

Para comenzar a utilizar Cohere Rerank 3.5 con Rerank API y Amazon Bedrock Knowledge Bases, navegue hasta Consola Amazon Bedrocky haga clic en Acceso al modelo en el panel izquierdo. Hacer clic en Modificar accesoseleccione Cohere Rerank 3.5, haga clic en Siguiente y presione enviar.

Comience con la API de rerank de Amazon Bedrock

El modelo Cohere Rerank 3.5, impulsado por la API de Amazon Bedrock Rerank, le permite reclasificar los documentos de entrada directamente en función de su relevancia semántica para la consulta de un usuario, sin necesidad de una base de conocimientos preconfigurada. La flexibilidad la convierte en una herramienta poderosa para diversos casos de uso.

Para comenzar, configure su entorno importando las bibliotecas necesarias e inicializando los clientes Boto3:

import boto3
import json
region = boto3.Session().region_name

bedrock_agent_runtime = boto3.client('bedrock-agent-runtime',region_name=region)

modelId = "cohere.rerank-v3-5:0"
model_package_arn = f"arn:aws:bedrock:{region}::foundation-model/{modelId}”

A continuación, defina una función principal que reordene una lista de documentos de texto calculando puntuaciones de relevancia en función de la consulta del usuario:

def rerank_text(text_query, text_sources, num_results, model_package_arn):
    response = bedrock_agent_runtime.rerank(
        queries=[
            {
                "type": "TEXT",
                "textQuery": {
                    "text": text_query
                }
            }
        ],
        sources=text_sources,
        rerankingConfiguration={
            "type": "BEDROCK_RERANKING_MODEL",
            "bedrockRerankingConfiguration": {
                "numberOfResults": num_results,
                "modelConfiguration": {
                    "modelArn": model_package_arn,
                }
            }
        }
    )
    return response['results']

Por ejemplo, imagine un escenario en el que necesita identificar correos electrónicos relacionados con la devolución de artículos de un conjunto de datos multilingüe. El siguiente ejemplo demuestra este proceso:

example_query = "What emails have been about returning items?"

documents = [
    "Hola, llevo una hora intentando acceder a mi cuenta y sigue diciendo que mi contraseña es incorrecta. ¿Puede ayudarme, por favor?",
    "Hi, I recently purchased a product from your website but I never received a confirmation email. Can you please look into this for me?",
    "مرحبًا، لدي سؤال حول سياسة إرجاع هذا المنتج. لقد اشتريته قبل بضعة أسابيع وهو معيب",
    "Good morning, I have been trying to reach your customer support team for the past week but I keep getting a busy signal. Can you please help me?",
    "Hallo, ich habe eine Frage zu meiner letzten Bestellung. Ich habe den falschen Artikel erhalten und muss ihn zurückschicken.",
    "Hello, I have been trying to reach your customer support team for the past hour but I keep getting a busy signal. Can you please help me?",
    "Hi, I have a question about the return policy for this product. I purchased it a few weeks ago and it is defective.",
    "早上好，关于我最近的订单，我有一个问题。我收到了错误的商品",
    "Hello, I have a question about the return policy for this product. I purchased it a few weeks ago and it is defective."
]

Ahora, prepare la lista de fuentes de texto que se pasarán al rerank_text() función:

text_sources = []
for text in documents:
    text_sources.append({
        "type": "INLINE",
        "inlineDocumentSource": {
            "type": "TEXT",
            "textDocument": {
                "text": text,
            }
        }
    })

Luego puedes invocar rerank_text() especificando la consulta del usuario, los recursos de texto, el número deseado de resultados mejor clasificados y el ARN del modelo:

response = rerank_text(example_query, text_sources, 3, model_package_arn)
print(response)

El resultado generado por la API de Amazon Bedrock Rerank con Cohere Rerank 3.5 para esta consulta es:

[{'index': 4, 'relevanceScore': 0.1122397780418396},
 {'index': 8, 'relevanceScore': 0.07777658104896545},
 {'index': 2, 'relevanceScore': 0.0770234540104866}]

Las puntuaciones de relevancia proporcionadas por la API están normalizadas a un rango de [0, 1]donde las puntuaciones más altas indican una mayor relevancia para la consulta. Aquí los 5^th El elemento de la lista de documentos es el más relevante. (Traducido del alemán al inglés: Hola, tengo una pregunta sobre mi último pedido. Recibí el artículo equivocado y necesito devolverlo).

También puedes empezar a utilizar Cohere Rerank 3.5 con Bases de conocimiento de Amazon Bedrock completando los siguientes pasos:

1. En la consola de Amazon Bedrock, elija Bases de conocimiento bajo Herramientas de construcción en el panel de navegación.
2. Elegir Crear base de conocimientos.
3. Proporcione los detalles de su base de conocimientos, como nombre, permisos y fuente de datos.
   

4. Para configurar su fuente de datos, especifique la ubicación de sus datos.
5. Seleccione un modelo de incrustación para convertir los datos en incrustaciones de vectores y haga que Amazon Bedrock cree un almacén de vectores en su cuenta para almacenar los datos vectoriales.

Cuando selecciona esta opción (disponible solo en la consola de Amazon Bedrock), Amazon Bedrock crea un índice vectorial en Amazon OpenSearch sin servidor (de forma predeterminada) en su cuenta, lo que elimina la necesidad de administrar cualquier cosa usted mismo.

6. Revise su configuración y cree su base de conocimientos.
7. En la consola de Amazon Bedrock, elija su base de conocimientos y elija Base de conocimientos de prueba.
   
8. Elija el ícono para opciones de configuración adicionales para probar su base de conocimientos.
9. Elige tu modelo (para esta publicación, Cohere Rerank 3.5) y elige Aplicar.

El panel de configuración muestra el nuevo Reclasificación Menú de sección con opciones de configuración adicionales. El número de fragmentos de origen reclasificados devuelve el número especificado de fragmentos relevantes más altos.

Conclusión

En esta publicación, exploramos cómo utilizar el modelo Rerank 3.5 de Cohere en Amazon Bedrock, demostrando sus poderosas capacidades para mejorar la relevancia de la búsqueda y sus sólidas capacidades de reclasificación para aplicaciones empresariales, mejorando la experiencia del usuario y optimizando los flujos de trabajo de recuperación de información. Comience a mejorar su relevancia de búsqueda hoy con el modelo Rerank de Cohere en Amazon Bedrock.

Cohere Rerank 3.5 en Amazon Bedrock está disponible en las siguientes regiones de AWS: en us-west-2 (EE.UU. Oeste – Oregón), ca-central-1 (Canadá – Central), eu-central-1 (Europa – Frankfurt) y ap-northeast-1 (Asia Pacífico – Tokio).

Comparte tus comentarios con AWS re: Publicación para Amazon Bedrock o a través de sus contactos habituales de AWS Support.

Para obtener más información sobre las características y capacidades de Cohere Rerank 3.5, consulte el Cohere en la página del producto Amazon Bedrock.

Acerca de los autores

Karan Singh es especialista en IA generativa para modelos de terceros en AWS, donde trabaja con proveedores de modelos básicos (FM) de terceros de primer nivel para desarrollar y ejecutar estrategias conjuntas de comercialización, lo que permite a los clientes capacitar, implementar y ejecutar de manera efectiva. escalar FM para resolver desafíos específicos de la industria. Karan tiene una Licenciatura en Ingeniería Eléctrica y de Instrumentación de la Universidad Manipal, una maestría en Ciencias en Ingeniería Eléctrica de la Universidad Northwestern y actualmente es candidato a MBA en la Escuela de Negocios Haas de la Universidad de California, Berkeley.

James Yi es arquitecto senior de soluciones de socios de IA/ML en Amazon Web Services. Encabeza las asociaciones estratégicas de AWS en tecnologías emergentes, guiando a los equipos de ingeniería para diseñar y desarrollar soluciones conjuntas de vanguardia en IA generativa. Permite que los equipos técnicos y de campo implementen, operen, protejan e integren sin problemas soluciones de socios en AWS. James colabora estrechamente con líderes empresariales para definir y ejecutar estrategias conjuntas de comercialización, impulsando el crecimiento empresarial basado en la nube. Fuera del trabajo, le gusta jugar fútbol, ​​viajar y pasar tiempo con su familia.