En el impulso de seguir siendo competitivos, las empresas de hoy están recurriendo a IA para ayudarlos a minimizar el costo y maximizar la eficiencia. Les corresponde a ellos encontrar el modelo de IA más adecuado, el que los ayudará a lograr más mientras gasta menos. Para muchas empresas, la migración de la familia modelo de OpenAi a Amazon Nova Representa no solo un cambio en el modelo sino un movimiento estratégico hacia la escalabilidad, la eficiencia y las capacidades multimodales más amplias.
En este blog, discutimos cómo optimizar la solicitud en Amazon Nova para el mejor rendimiento de precio.
¿Por qué migrar de OpenAi a Amazon Nova?
Los modelos de OpenAI siguen siendo poderosos, pero sus costos operativos pueden ser prohibitivos cuando se escalan. Considere estas cifras de Análisis artificial:
| Modelo | Costo de token de entrada (por millón de tokens) | Costo de token de salida (por millón de tokens) | Ventana de contexto | Velocidad de salida (tokens por segundo) | Latencia (segundos por primer token) |
| GPT-4O | ~ $ 2.50 | ~ $ 10.00 | Hasta 128k tokens | ~ 63 | ~ 0.49 |
| GPT-4O mini | ~ $ 0.15 | ~ $ 0.60 | Hasta 128k tokens | ~ 90 | ~ 0.43 |
| Nova Micro | ~ $ 0.035 | ~ $ 0.14 | Hasta 128k tokens | ~ 195 | ~ 0.29 |
| Nova Lite | ~ $ 0.06 | ~ $ 0.24 | Hasta 300k tokens | ~ 146 | ~ 0.29 |
| Nova Pro | ~ $ 0.80 | ~ $ 3.20 | Hasta 300k tokens | ~ 90 | ~ 0.34 |
Para aplicaciones de alto volumen, como la atención al cliente global o el análisis de documentos a gran escala, estas diferencias de costos son perjudiciales. Amazon Nova Pro ofrece no solo tres veces la rentabilidad, su ventana de contexto más larga también le permite manejar entradas más extensas y complejas.
Desglosando la suite Amazon Nova
Amazon Nova no es un modelo único: es una suite diseñada para varias necesidades:
- Amazon Nova Pro – Un modelo multimodal robusto que puede procesar texto, imágenes y video. Se destaca en tareas como el análisis de documentos y la visualización de datos profundos. Comparaciones de referencia Mostrar Amazon Nova Pro Matching o incluso superar a GPT-4O en tareas de razonamiento complejas, Según la Sección 2.1.1 del informe técnico de Nova y la tarjeta modelo.
- Amazon Nova Lite – Ofrece una mezcla equilibrada de procesamiento y velocidad multimodales. Amazon Nova Lite es ideal para aplicaciones como resumen de documentos, traducción e incluso búsqueda visual básica, que ofrece resultados de calidad a una latencia y costo más bajos en comparación con GPT-4O Mini. Puede encontrar estos resultados de referencia en Sección 2.1.2 del informe técnico de Nova y la tarjeta modelo.
- Amazon Nova Micro -Un modelo solo de texto diseñado para la latencia ultra baja. Con la velocidad de salida de hasta 195 tokens por segundo, Amazon Nova Micro es perfecto para aplicaciones en tiempo real, como asistentes basados en chat y preguntas frecuentes automáticas. Sus costos de token son dramáticamente más bajos que los de GPT-4O Mini, más barato 4.3 veces más barato por juicio.
Los costos por toque más bajos y la mayor producción por segundo de Amazon Nova le brindan la flexibilidad para simplificar las indicaciones para las aplicaciones en tiempo real para que pueda equilibrar la calidad, la velocidad y el costo de su caso de uso.
Comprender los cimientos
Para tomar la mejor decisión sobre qué modelo de familia se ajusta a sus necesidades, es importante comprender las diferencias en las mejores prácticas de ingeniería rápida tanto en Openai como en Amazon Nova. Cada familia modelo tiene su propio conjunto de fortalezas, pero hay algunas cosas que se aplican a ambas familias. En ambas familias modelo, la precisión de calidad se logra a través de la claridad de instrucciones, indicaciones estructuradas y refinamiento iterativo. Ya sea que esté utilizando directivas de salida sólidas o casos de uso claramente definidos, el objetivo es reducir la ambigüedad y mejorar la calidad de la respuesta.
El enfoque de OpenAI
OpenAI utiliza un sistema de mensajería en capas para ingeniería rápida, donde el sistema, el desarrollador y el usuario solicitan que funcionen en armonía para controlar el tono, la seguridad y el formato de salida. Su enfoque enfatiza:
- Roles de mensajes jerárquicos – Establecer el papel y el comportamiento del modelo utilizando mensajes del sistema se aseguran de que se conserven las pautas de seguridad y estilo generales (establecidas en las indicaciones del sistema)
- Colocación de instrucciones y delimitadores – Las directivas se colocan al principio, con clara separación entre contexto, ejemplos y consultas
- Cadena de pensamiento selectiva -El razonamiento detallado y paso a paso se utiliza cuando beneficia tareas complejas
- Formato y estructura – Uso de directivas fuertes como hacer, debe y no proporcionar resultados consistentes (por ejemplo, en JSON)
El enfoque de Amazon Nova
- Defina el caso de uso rápido
- Tarea – ¿Qué debería hacer exactamente el modelo?
- Role – ¿Qué papel debe asumir el modelo?
- Estilo de respuesta – La estructura o tono de la salida
- Instrucciones – Directrices que debe seguir el modelo
- Cadena de pensamiento
- Respuesta estatal explícita – Proporcione instrucciones claras y fuertes para limitar la respuesta del modelo
- Pensamiento estructural -Pensar paso a paso fomenta el pensamiento estructural
- Formato y estructura
- Use delimitadores para seccionar sus indicaciones, por ejemplo, ## tarea ##, ## context ## o ## Ejemplo ##
- Especifique el formato de salida, por ejemplo, JSON, YAML o Markdown
- Usar instrucciones y gorras fuertes, como hacer, no hacer o debe
- Prefárate las respuestas para guiar el modelo, por ejemplo, comienza con “{” o “json …”
Evolucionando su pronta estrategia: migrar de OpenAi a Amazon Nova
La transición a Amazon Nova no es simplemente un cambio en los puntos finales de la API: requiere una reorganización de su rápida ingeniería para alinearse con las fortalezas de Amazon Nova. Debe replantear la definición de su caso de uso. Comience desglosando su mini indicador GPT-4O o GPT-4O actual en sus elementos centrales de tarea, rol, estilo de respuesta e instrucciones y criterios de éxito. Asegúrese de estructurar estos elementos claramente para proporcionar un plan para el modelo.
Para comprender cómo migrar un indicador de OpenAI existente para funcionar de manera óptima para Amazon Nova Pro, considere el siguiente ejemplo utilizando el resumen de notas de reunión. Aquí está el mensaje del sistema GPT-4O:
El mensaje del usuario es las notas de la reunión que deben resumirse:
GPT produce esta respuesta útil:
Para cumplir o superar la calidad de la respuesta de GPT-4O, así es como podría ser un mensaje de Amazon Nova Pro. El aviso utiliza las mismas mejores prácticas discutidas en esta publicación, comenzando con la solicitud del sistema. Usamos un temperatura de .2 y una topp de .9 aquí:
Aquí está el mensaje del usuario, utilizando respuestas precargadas:
El siguiente ejemplo muestra que la respuesta de Amazon Nova cumple y supera la precisión del ejemplo de OpenAI, formatea la salida en Markdown y ha encontrado propietarios claros para cada elemento de acción:
Algunas actualizaciones del aviso pueden lograr resultados comparables o mejores de Amazon Nova Pro mientras disfrutan de un costo de inferencia mucho menos costoso.
Emplear el contexto extendido de Amazon Nova
Amazon Nova Lite y Amazon Nova Pro pueden admitir hasta 300,000 tokens de entrada, lo que significa que puede incluir más contexto en su mensaje si es necesario. Expanda sus datos de fondo e instrucciones detalladas en consecuencia: si su indicador original de Operai fue optimizado para 128,000 tokens, ajustarlos para usar la ventana extendida de Amazon Nova.
Adaptaciones a medida
Si su mensaje GPT requería un formato estricto (por ejemplo, “Responda solo en JSON”), asegúrese de que su indicador de Amazon Nova incluya estas directivas. Además, si su tarea involucra entradas multimodales, especifique cuándo incluir imágenes o referencias de video.
Funciones llamadas
El surgimiento de IA generativa Los agentes han realizado llamadas a funciones, o llamadas de herramientas, una de las habilidades más importantes de un determinado modelo de lenguaje grande (LLM). La capacidad de un modelo para elegir correctamente la herramienta adecuada para el trabajo, de manera baja, a menudo es la diferencia entre el éxito y el fracaso de un sistema de agente.
Los modelos OpenAI y Amazon Nova comparten similitudes en las llamadas de funciones, en particular su soporte para llamadas de API estructuradas. Ambas familias de modelos apoyan la selección de herramientas a través de esquemas de herramientas definidos, que discutimos más adelante en esta publicación. Ambos también proporcionan un mecanismo para decidir cuándo invocar estas herramientas o no.
La llamada de función de OpenAI utiliza esquemas JSON flexibles para definir y estructurar las interacciones API. Los modelos admiten una amplia gama de configuraciones de esquema, que brindan a los desarrolladores la capacidad de implementar rápidamente llamadas de funciones externas a través de definiciones JSON directas vinculadas a sus puntos finales de API.
Aquí hay un ejemplo de una función:
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current temperature for a given location.",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "City and country e.g. Montevideo, Uruguay"
}
},
"required": [
"location"
],
"additionalProperties": False
},
"strict": True
}
}]
completion = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "What is the weather like in Punta del Este today?"}],
tools=toolsSimilar al enfoque de OpenAI, Amazon Nova puede llamar herramientas cuando se pasa un esquema de configuración como se muestra en el siguiente ejemplo de código. Amazon Nova ha hecho mucho uso de Decodificación codiciosa Al llamar a las herramientas, y se recomienda establecer la temperatura, Topp y Topk a 1. Esto asegura que el modelo tenga la mayor precisión en la selección de herramientas. Estos parámetros de decodificación codiciosos y otros excelentes ejemplos de uso de herramientas están cubiertos con gran detalle en Uso de herramientas (llamadas de funciones) con Amazon Nova.
El siguiente es un ejemplo de llamadas de funciones sin usar adicional ModelRequestFields:
tool_config = {
"tools": [{
"toolSpec": {
"name": "get_recipe",
"description": "Structured recipe generation system",
"inputSchema": {
"json": {
"type": "object",
"properties": {
"recipe": {
"type": "object",
"properties": {
"name": {"type": "string"},
"ingredients": {
"type": "array",
"items": {
"type": "object",
"properties": {
"item": {"type": "string"},
"amount": {"type": "number"},
"unit": {"type": "string"}
}
}
},
"instructions": {
"type": "array",
"items": {"type": "string"}
}
},
"required": ["name", "ingredients", "instructions"]
}
}
}
}
}
}]
}
# Base configuration without topK=1
input_text = "I need a recipe for chocolate lava cake"
messages = [{
"role": "user",
"content": [{"text": input_text}]
}]
# Inference parameters
inf_params = {"topP": 1, "temperature": 1}
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
toolConfig=tool_config,
inferenceConfig=inf_params
)
# Typically produces less structured or incomplete output
El siguiente ejemplo muestra cómo se puede mejorar la precisión de la llamada de función utilizando
adicional ModelRequestFields:
# Enhanced configuration with topK=1
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
toolConfig=tool_config,
inferenceConfig=inf_params,
additionalModelRequestFields={"inferenceConfig": {"topK": 1}}
)
# Produces more accurate and structured function call
Para maximizar el potencial de llamadas de la función de Amazon Nova y mejorar la precisión, use siempre adicional ModelRequestFields con topk = 1. Esto obliga al modelo a seleccionar el token más probable y previene la selección de token aleatorio. Esto aumenta la generación de salida determinista y mejora la precisión de las llamadas de función en aproximadamente un 30-40%.
Los siguientes ejemplos de código explican aún más cómo realizar llamadas de herramientas con éxito. El primer escenario muestra la generación de recetas sin una herramienta explícita. El ejemplo no usa TOPK, que generalmente da como resultado respuestas que están menos estructuradas:
input_text = """
I'm looking for a decadent chocolate dessert that's quick to prepare.
Something that looks fancy but isn't complicated to make.
"""
messages = [{
"role": "user",
"content": [{"text": input_text}]
}]
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
inferenceConfig={"topP": 1, "temperature": 1}
)
# Generates a conversational recipe description
# Less structured, more narrative-driven response
En este ejemplo, el escenario muestra la generación de recetas con una herramienta estructurada. Agregamos el conjunto TOPK a 1, que produce una salida más estructurada:
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
toolConfig=tool_config,
inferenceConfig={"topP": 1, "temperature": 1},
additionalModelRequestFields={"inferenceConfig": {"topK": 1}}
)
# Generates a highly structured, JSON-compliant recipe
# Includes precise ingredient measurements
# Provides step-by-step instructionsEn general, Operai ofrece un soporte de esquema más flexible y más amplio. Amazon Nova proporciona una generación de salida más precisa y controlada y es la mejor opción cuando se trabaja con escenarios de datos estructurados de alto riesgo, como se demostró en el rendimiento de Amazon Nova en el punto de referencia Ifeval discutido en la Sección 2.1.1 de la tarjeta técnica y la tarjeta modelo. Recomendamos el uso de Amazon Nova para aplicaciones que requieren respuestas estructuradas predecibles porque su metodología de llamadas de funciones proporciona un control y precisión superiores.
Conclusión
La evolución de los modelos de OpenAI a Amazon Nova representa un cambio significativo en el uso de AI. Muestra una transición hacia modelos que ofrecen un rendimiento similar o superior a una fracción del costo, con capacidades ampliadas en el procesamiento multimodal y el manejo de contexto extendido.
Ya sea que esté utilizando el Amazon Nova Pro de Amazon Nova Pro, el ágil y económico Amazon Nova Lite, o el versátil Amazon Nova Micro, los beneficios son claros:
- Ahorro de costos – Con los costos de token hasta cuatro veces más bajos, las empresas pueden escalar aplicaciones de manera más económica
- Rendimiento de respuesta mejorada -Los tiempos de respuesta más rápidos (hasta 190 tokens por segundo) hacen que las aplicaciones en tiempo real sean más viables
- Capacidades ampliadas – Una ventana de contexto más grande y soporte multimodal desbloquean nuevas aplicaciones, desde análisis de documentos detallados hasta contenido visual integrado
Al evolucionar su pronta estrategia: redefinir los casos de uso, explotar el contexto extendido y refinar las instrucciones iterativamente, puede migrar sin problemas sus flujos de trabajo existentes de los modelos O4 y O4-Mini de OpenAI al innovador mundo de Amazon Nova.
Sobre los autores
Claudio Mazzoni es un arquitecto de soluciones especialistas en SR en el equipo de Amazon Bedrock GTM. Claudio excede a guiar a los clientes a través de su viaje de Gen AI. Fuera del trabajo, Claudio disfruta pasar tiempo con la familia, trabajar en su jardín y cocinar comida uruguaya.
Pat Reilly es un arquitecto de soluciones especializadas en el Sr. Amazon Bedrock Go-to-Mercado. Pat ha pasado los últimos 15 años en análisis y aprendizaje automático como consultor. Cuando no está construyendo en AWS, puedes encontrarlo tocando con proyectos de madera.