Nos complace anunciar la disponibilidad del modelo de lenguaje grande (LLM) Jamba-Instruct en Roca Amazónica. Jamba-Instruct fue creado por AI21 Labs y, en particular, admite una ventana de contexto de 256 000 tokens, lo que lo hace especialmente útil para procesar documentos grandes y aplicaciones complejas de recuperación de generación aumentada (RAG).

¿Qué es Jamba-Instruct?

Jamba-Instruct es una versión adaptada a las instrucciones del modelo base Jamba, anteriormente de código abierto por AI21 Labs, que combina un modelo de grado de producción, Espacio de estados estructurado (SSM) tecnología y arquitectura Transformer. Con el enfoque SSM, Jamba-Instruct puede lograr la mayor longitud de ventana de contexto en su clase de tamaño de modelo y al mismo tiempo ofrecer el rendimiento que brindan los modelos tradicionales basados ​​en transformadores. Estos modelos ofrecen un aumento de rendimiento con respecto a la generación anterior de modelos AI21, la familia de modelos Jurassic-2. Para obtener más información sobre la arquitectura híbrida SSM/Transformer, consulte la Jamba: un modelo de lenguaje híbrido transformador-mamba papel blanco.

Comience con Jamba-Instruct

Para comenzar con los modelos Jamba-Instruct en Amazon Bedrock, primero debe obtener acceso al modelo.

1. En la consola de Amazon Bedrock, elija Acceso al modelo en el panel de navegación.
2. Elegir Modificar el acceso al modelo.
3. Selecciona los modelos de AI21 Labs que deseas utilizar y elige Próximo.
4. Elegir Entregar para solicitar acceso al modelo.

Para obtener más información, consulte Acceso al modelo.

A continuación, puede probar el modelo en Amazon Bedrock Texto o Charlar patio de juegos.

Casos de uso de ejemplo para Jamba-Instruct

La larga longitud del contexto de Jamba-Instruct es particularmente adecuada para cargas de trabajo complejas de generación aumentada de recuperación (RAG) o análisis de documentos potencialmente complejos. Por ejemplo, sería adecuado para detectar contradicciones entre diferentes documentos o analizar un documento en el contexto de otro. A continuación se muestra un mensaje de ejemplo adecuado para este caso de uso:

You are an expert research assistant; 
you are to note any contradictions between the first document and second document provided: 

Document 1: 
{the document content} 

Document 2: 
{the document content} 

Contradictions:

También puede utilizar Jamba para el aumento de consultas, una técnica en la que una consulta original se transforma en consultas relacionadas, con el fin de optimizar las aplicaciones RAG. Por ejemplo:

You are a curious and novel researcher, 
who is highly interested in getting all the relevant information on a specific topic. 
Given an original query, you would like to generate up to 10 related queries. 
These queries should be grounded in the original query, but nevertheless new:

Original Query:
{Original Query}

New Queries:

También puede utilizar Jamba para operaciones LLM estándar, como resumen y extracción de entidades.

Puede encontrar orientación rápida para Jamba-Instruct en el Documentación del modelo AI21. Para obtener más información sobre Jamba-Instruct, incluidos los puntos de referencia relevantes, consulte Creado para la empresa: presentación del modelo Jamba-Instruct de AI21.

Acceso programático

También puede acceder a Jamba-Instruct a través de una API, utilizando Amazon Bedrock y SDK de AWS para Python (Boto3). Para obtener instrucciones de instalación y configuración, consulte el Inicio rápido. El siguiente es un fragmento de código de ejemplo:

import boto3
import json

bedrock = boto3.client(service_name="bedrock-runtime")

prompt = "INSERT YOUR PROMPT HERE"

body = json.dumps({
    "messages":[{"role":"user","content":prompt}],
    "max_tokens": 256,
    "top_p": 0.8,
    "temperature": 0.7,
})

modelId = "ai21.jamba-instruct-v1:0"

accept = "application/json"
contentType = "application/json"

response = bedrock.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)
result=json.loads(response.get('body').read())
print(result['choices'][0]['message']['content'])

Conclusión

AI2I Labs Jamba-Instruct en Amazon Bedrock es ideal para aplicaciones donde se requiere una ventana de contexto larga (hasta 256 000 tokens), como producir resúmenes o responder preguntas basadas en documentos extensos, evitando la necesidad de segmentar manualmente secciones de documentos para adaptarse a las ventanas de contexto más pequeñas de otros LLM. La nueva arquitectura híbrida SSM/Transformer también proporciona beneficios en el rendimiento del modelo. Puede proporcionar un aumento de rendimiento de hasta tres veces más tokens por segundo para longitudes de ventana de contexto que superan los 128.000 tokens, en comparación con otros modelos de tamaño similar.

AI2I Labs Jamba-Instruct en Amazon Bedrock está disponible en la región de AWS Este de EE. UU. (Norte de Virginia) y se puede acceder a él en el modelo de consumo bajo demanda. Para obtener más información, consulte y Modelos de cimentación admitidos en Amazon Bedrock. Para comenzar con AI2I Labs Jamba-Instruct en Amazon Bedrock, visite el Consola Amazon Bedrock.

Sobre los autores

Josué Broyde, PhD, es arquitecto principal de soluciones en AI21 Labs. Trabaja con clientes y socios de AI21 en toda la cadena de valor de la IA generativa, incluida la habilitación de la IA generativa a nivel empresarial, el uso de cadenas y flujos de trabajo complejos de LLM para entornos regulados y especializados, y el uso de LLM a escala.

Fernando Espigares Caballero es arquitecto de soluciones de socios senior en AWS. Crea soluciones conjuntas con socios tecnológicos estratégicos para ofrecer valor a los clientes. Tiene más de 25 años de experiencia trabajando en plataformas de TI, centros de datos y servicios relacionados con la nube y Internet, y cuenta con múltiples certificaciones de la industria y de AWS. Actualmente se centra en la IA generativa para desbloquear la innovación y la creación de soluciones novedosas que resuelvan las necesidades específicas de los clientes.