Citas con modelos de comprensión de Amazon Nova

Los modelos de idiomas grandes (LLM) se han vuelto cada vez más frecuentes en las aplicaciones de consumidores y empresas. Sin embargo, su tendencia a “alucinar” información y entregar respuestas incorrectas con una aparente confianza ha creado un problema de confianza. Piense en LLM como lo haría con un experto humano: generalmente confiamos en los expertos que pueden respaldar sus reclamos con referencias y guiarnos a través de su proceso de razonamiento. El mismo principio se aplica a las LLM: se vuelven más confiables cuando pueden demostrar su proceso de pensamiento y citar fuentes confiables para su información. Afortunadamente, con la solicitud adecuada, los LLM pueden instruir a proporcionar estas citas, haciendo que sus salidas sean más verificables y confiables.

En esta publicación, demostramos cómo avanzar Amazon Nova Comprender los modelos para citar fuentes en las respuestas. Además, también caminaremos por cómo podemos evaluar las respuestas (y las citas) para obtener precisión.

¿Qué son las citas y por qué son útiles?

Las citas son referencias a fuentes que indican dónde se originaron información, ideas o conceptos específicos en un trabajo. Las citas juegan un papel crucial para abordar los siguientes problemas, mejorando la credibilidad, la usabilidad y la base ética de las aplicaciones basadas en LLM.

1. Garantizar la precisión objetiva: Los LLM son propensos a “alucinaciones”, donde generan información plausible pero incorrecta. Las citas permiten a los usuarios verificar las afirmaciones al rastrearlas a fuentes confiables, mejorar la corrección objetiva y reducir los riesgos de información errónea.
2. Creando confianza y transparencia: Las citas fomentan la confianza en el contenido generado por IA para que los usuarios puedan verificar la información y comprender sus orígenes. Esta transparencia es vital para aplicaciones en investigación, atención médica, derecho y educación.
3. Apoyo a las prácticas éticas: Citar fuentes garantiza una atribución adecuada a los autores originales, respetando los derechos de propiedad intelectual y las contribuciones académicas. Evita el plagio y promueve el uso ético de la IA.
4. Mejora de la usabilidad: Las citas mejoran la experiencia del usuario al proporcionar una vía para explorar materiales relacionados. Las características como citas en línea o bibliografías ayudan a los usuarios a encontrar fuentes relevantes fácilmente.
5. Abordar las limitaciones de los LLM: LLM a menudo fabrican referencias debido a su incapacidad para acceder a datos en tiempo real o recordar fuentes de capacitación con precisión. Los sistemas de generación aumentada de recuperación (RAG) y las herramientas de citas mitigan este problema mediante la base de respuestas en datos externos.
6. Estándares profesionales y académicos: En contextos académicos, las citas son indispensables para replicar métodos de investigación y validar los hallazgos. Las salidas generadas por IA deben adherirse a estos estándares para mantener la integridad académica.

Citas con modelos Amazon Nova

Amazon Novalanzado en diciembre de 2024, es una nueva generación de modelos de base que ofrecen inteligencia fronteriza y rendimiento de los precios de la industria, disponible en Roca madre de Amazon. Los modelos de Amazon Nova incluyen cuatro modelos de comprensión (Nova Micro, Nova Lite, Nova Pro y Nova Premier), dos modelos creativos de generación de contenido (Nova Canvas y Nova Reel) y un modelo de voz a voz (Nova Sonic). A través de una integración perfecta con Amazon Bedrock, los desarrolladores pueden construir y escalar aplicaciones generativas de IA con modelos de Amazon Nova Foundation.

Las citas para los modelos de comprensión de Amazon Nova se pueden lograr mediante la creación de indicaciones donde instruimos al modelo que cita sus fuentes e indique el formato de respuesta. Para ilustrar esto, hemos elegido un ejemplo en el que hacemos preguntas a Nova Pro sobre Cartas de Amazon Accionistas. Incluiremos la carta del accionista en el aviso como contexto y les pediremos a Nova Pro que responda preguntas e incluiremos citas de las cartas.

Aquí hay un ejemplo de ejemplo de que construimos para Amazon Nova Pro siguiendo las mejores prácticas para la ingeniería rápida para Amazon Nova.

Tenga en cuenta el formato de salida que incluimos en la solicitud para distinguir las respuestas reales de las citas.

Aviso del sistema

##Instruction
You are a QA agent. You answer questions based on the context provided. 
You will answer the question and also include exact excerpts from the context and 
quote them as quotes. If you are unable to answer the question based on the context, 
your response should be “I’m sorry I cannot answer based on the context”.

##Examples: 
Question: What factors contributed to the growth of Amazon 
Quotes: [1] Our
vision for Kindle is every book ever printed in any language, all available in less 
than 60 seconds.
Publishers—including all the major publishers—have embraced Kindle, and we’re thankful 
for that. From a
publisher’s point of view, there are a lot of advantages to Kindle. Books never go out 
of print, and they never go
out of stock. Nor is there ever waste from over-printing. Most important, Kindle makes 
it more convenient for
readers to buy more books. Anytime you make something simpler and lower friction, you 
get more of it.
Answer: Inovation with Kindle and publisher collaboration contributed to the growth of 
Amazon [1] 

##Output Format 
Quotes: 
[1] ....
[2] ...
Answer:

Información del usuario

Question: What contributed to net sales?
Context: <Amazon 2009 shareholder letter... document not shown for brevity> 

Aquí está la respuesta de Nova Pro para el mensaje anterior

Quotes: 
[1] "Net sales increased 28% year-over-year to $24.51 billion in 2009." 
[2] "More customers are taking advantage of Amazon Prime, with worldwide memberships 
up significantly over last year." 
[3] "We added 21 new product categories around the world in 2009..." 
[4] "It was a busy year for our shoes business. In November we acquired Zappos..." 
[5] "Sales of products by third party sellers on our websites represented 30% of unit
 sales in 2009." 
[6] "Amazon Web Services continued its rapid pace of innovation, launching many new 
services and features..." 
[7] "The U.S. Kindle Store now has more than 460,000 books..."

Answer: Several factors contributed to the increase in net sales for Amazon in 2009. 
These include the significant growth in Amazon Prime memberships [2], the addition 
of 21 new product categories globally [3], the acquisition of Zappos which enhanced 
the shoes business [4], and the strong performance of third-party sellers on Amazon's 
platforms [5]. Additionally, the innovation and expansion of Amazon Web Services (AWS) 
attracted more customers [6], and the growth of the Kindle Store with a larger selection 
of books and content [7] also played a role. These combined efforts resulted in a 28% 
year-over-year increase in net sales to $24.51 billion [1].

Como puede ver, Nova Pro sigue nuestras instrucciones y proporciona la respuesta junto con las citas. Hemos verificado que las citas están presentes en la carta de accionistas de 2009.

Aquí hay otro mensaje del usuario (con el mismo indicador del sistema que se indica arriba) junto con la respuesta del modelo

Solicitud de usuario:

Question: How does Bezos describe Amazon's approach to failure, and how does he 
tie it to innovation?
Context: <Amazon 2006 shareholder letter> 

Respuesta modelo

Quotes: 

[1] "We won’t always choose right, and we won’t always succeed. But we will be 
choosy, and we will work hard and patiently."

[2] "In my view, Amazon’s culture is unusually supportive of small businesses 
with big potential, and I believe that’s a source of competitive advantage."

[3] "The culture demands that these new businesses be high potential and that 
they be innovative and differentiated, but it does not demand that they be large 
on the day that they are born."

Answer: 

Bezos describes Amazon's approach to failure as one that is inherently tied to 
innovation and experimentation. He acknowledges that not every venture will be 
successful, stating, "We won’t always choose right, and we won’t always succeed" 
[1]. However, he emphasizes the importance of being selective and persistent, 
working hard and patiently despite potential failures. 

Bezos ties this approach to innovation by highlighting Amazon's supportive culture 
towards small, high-potential businesses. He notes, "In my view, Amazon’s culture 
is unusually supportive of small businesses with big potential, and I believe that’s 
a source of competitive advantage" [2]. This culture allows for the nurturing of 
innovative ideas, even if they start small. He further explains that the company’s 
culture demands innovation and differentiation in new businesses, but does not 
require them to be large from the outset [3]. This patient and experimental approach 
fosters an environment where failure is seen as a part of the innovation process, 
rather than a deterrent.

Evaluación de citas

Si bien las citas son buenas, es importante evaluar que el modelo está siguiendo nuestras instrucciones e incluyendo la cita literalmente del contexto y no inventa las citas.

Para evaluar las citas a escala, utilizamos otra LLM para juzgar las respuestas de Amazon Nova Pro. Utilizamos la técnica LLM-as-a-Judge en Evaluaciones de roca madre de Amazon y evaluó 10 indicaciones diferentes. LLM-AS-A-Judge en Amazon Bedrock Model Evaluation proporciona una solución integral de extremo a extremo para evaluar y optimizar el rendimiento del modelo de IA. Este proceso automatizado utiliza la potencia de los LLM para evaluar las respuestas en múltiples categorías de métricas (como corrección, integridad, perjudicial, ayuda y más) que ofrecen ideas que pueden mejorar significativamente sus aplicaciones de IA.

Preparamos el conjunto de datos de entrada para la evaluación. El conjunto de datos de entrada es un archivo JSONL que contiene nuestras indicaciones que queremos evaluar. Cada línea en el archivo JSONL debe incluir pares de valor clave. Aquí están los campos requeridos y opcionales para el conjunto de datos de entrada:

• Aviso (requerido): esta clave indica la entrada para varias tareas. Se puede utilizar para la generación general de texto donde el modelo necesita proporcionar una respuesta, tareas de respuesta a la pregunta donde el modelo debe responder una pregunta específica, tareas de resumen de texto donde el modelo necesita resumir un texto determinado o tareas de clasificación donde el modelo debe clasificar el texto proporcionado.
• ReferenceResponse (opcional: utilizado para métricas específicas con verdad terrestre): esta clave contiene la verdad básica o la respuesta correcta. Sirve como punto de referencia contra el cual se evaluarán las respuestas del modelo si se proporciona.
• Categoría (opcional): esta clave se utiliza para generar puntajes de evaluación reportados por categoría, ayudando a organizar y segmentar los resultados de evaluación para un mejor análisis.

Aquí hay un ejemplo de archivo JSONL para evaluar nuestras indicaciones (archivo JSONL completo no se muestra para Brevity).

{
	"prompt": "##Model Instructions You are a QA agent. You answer questions 
based on the context provided. You will answer the question and also include exact 
excerpts from the context and quote them as quotes. \n ##Examples: \nQuestion: What 
factors contributed to the growth of Amazon\nQuotes: [1] Ourvision for Kindle is 
every book ever printed in any language, all available in less than 60 seconds. 
Publishers—including all the major publishers—have embraced Kindle, and we're thankful 
for that. From a publisher’s point of view, there are a lot of advantages to Kindle. 
Books never go out of print, and they never go out of stock. Nor is there ever waste 
from over-printing. Most important, Kindle makes it more convenient for readers to buy 
more books. Anytime you make something simpler and lower friction, you get more of it.\n 
Answer: Inovation with Kindle and publisher collaboration contributed to the growth of 
Amazon [1]\n\n ##Output Format\nQuotes: [1] ....\n[2] ...\n\n Answer: \n\nQuestion:How 
does Bezos describe Amazon's approach to failure, and how does he tie it to innovation?\n 
Context: <Amazon shareholder letter…. Not included here for brevity”
}
{
	"prompt":……..
}

Luego comenzamos un trabajo de evaluación de modelos utilizando el API de roca madre con antrópico Claude 3.5 soneto V1 como modelo evaluador/juez. Hemos abierto de su código en el AWS muestras github.

Evaluamos nuestras indicaciones y respuestas para las siguientes métricas incorporadas.

1. Utilidad
2. Exactitud
3. Estilo y tono profesional
4. Fidelidad
5. Lo completo
6. Coherencia
7. Instrucciones siguientes
8. Pertinencia
9. Legibilidad
10. Dañina

Aquí está el resumen del resultado de nuestra evaluación. Como puede ver, Nova Pro tuvo un puntaje de 0.78 sobre coherencia y fidelidad y 0.67 en corrección. Las puntuaciones altas indican que las respuestas de Nova Pro fueron holísticas, útiles, completas y precisas, mientras que eran coherentes según lo evaluado por el soneto Claude 3.5.

Conclusión

En esta publicación, recorrimos cómo podemos incitar a los modelos de comprensión de Amazon Nova a citar fuentes del contexto a través de instrucciones simples. La capacidad de Amazon Nova para incluir citas en sus respuestas demuestra un enfoque práctico para implementar esta característica, mostrando cómo las instrucciones simples pueden conducir a interacciones AI más confiables y confiables. La evaluación de estas citas, utilizando una técnica LLM-AS-A-Judge, subraya aún más la importancia de evaluar la calidad y la fidelidad de las respuestas generadas por IA. Para obtener más información sobre la solicitud de los modelos Amazon Nova, visite esto biblioteca rápida. Puede obtener más información sobre las evaluaciones de roca madre de Amazon en el Sitio web de AWS.

Sobre los autores

Sunita Koppar es una arquitecta de soluciones especializadas senior en IA generativa y aprendizaje automático en AWS, donde se asocia con clientes de diversas industrias para diseñar soluciones, crear pruebas de conceptos e impulsar resultados comerciales medibles. Más allá de su papel profesional, es profundamente apasionada por aprender y enseñar sánscrito, participando activamente con las comunidades estudiantiles para ayudarlos a mejorar y crecer.

Veda Raman es un arquitecto de soluciones especialistas senior para IA generativa y aprendizaje automático en AWS. VEDA trabaja con los clientes para ayudarlos a arquitectos de aplicaciones de aprendizaje automático eficientes, seguras y escalables. Veda se especializa en servicios generativos de IA como Amazon Bedrock y Amazon SageMaker.