Cómo mejorar significativamente las LLM aprovechando la ingeniería del contexto

es la ciencia de proporcionar LLM el contexto correcto para maximizar el rendimiento. Cuando trabaja con LLMS, generalmente crea un mensaje del sistema, pidiendo al LLM que realice una determinada tarea. Sin embargo, cuando se trabaja con LLM desde la perspectiva de un programador, hay más elementos a considerar. Debe determinar qué otros datos puede alimentar a su LLM para mejorar su capacidad de realizar la tarea que le pidió que hiciera.

En este artículo, discutiré la ciencia de la ingeniería del contexto y cómo puede aplicar técnicas de ingeniería de contexto para mejorar el rendimiento de su LLM.

También puedes leer mis artículos en Confiabilidad para aplicaciones LLM y Documento QA utilizando LLM multimodales

Tabla de contenido

Definición

Antes de comenzar, es importante definir el término Ingeniería del contexto. La ingeniería del contexto es esencialmente la ciencia de decidir qué alimentar en su LLM. Esto puede, por ejemplo, ser:

• El mensaje del sistema, que le dice al LLM cómo actuar
• Documentos de datos de datos utilizando Rag Vector Search
• Ejemplos de pocos disparos
• Herramientas

La descripción anterior más cercana de esto ha sido el término ingeniería rápida. Sin embargo, la ingeniería rápida es un término menos descriptivo, considerando que implica solo cambiar el mensaje del sistema que está alimentando a la LLM. Para obtener el máximo rendimiento de su LLM, debe considerar todo el contexto que está alimentando con él, no solo el mensaje del sistema.

Motivación

Mi motivación inicial para este artículo vino de leer este tweet de Andrej Karpathy.

Realmente estuve de acuerdo con el punto que Andrej hizo en este tweet. La ingeniería rápida es definitivamente una ciencia importante cuando se trabaja con LLM. Sin embargo, la ingeniería rápida no cubre todo lo que presentamos en LLM. Además del indicador del sistema que escribe, también debe considerar elementos como:

• ¿Qué datos debe insertar en su aviso?
• ¿Cómo se obtiene esos datos?
• Cómo proporcionar solo información relevante al LLM
• Etc.

Discutiré todos estos puntos a lo largo de este artículo.

Uso de API vs consola

Una diferencia importante para aclarar es si está utilizando las LLM de una API (llamándolo con código) o a través de la consola (por ejemplo, a través del Sitio web de chatgpt o aplicación). La ingeniería del contexto es definitivamente importante cuando se trabaja con LLM a través de la consola; Sin embargo, mi enfoque en este artículo estará en el uso de API. La razón de esto es que al usar una API, tiene más opciones para cambiar dinámicamente el contexto que está alimentando el LLM. Por ejemplo, puede hacer RAG, donde primero realiza una búsqueda vectorial, y solo alimenta a la LLM los bits de información más importantes, en lugar de toda la base de datos.

Estos cambios dinámicos no están disponibles de la misma manera cuando se interactúan con LLM a través de la consola; Por lo tanto, me centraré en usar LLM a través de una API.

Técnicas de ingeniería de contexto

Indicación de disparo cero

La solicitud de disparo cero es la línea de base para la ingeniería del contexto. Haciendo una tarea cero significa que el LLM está realizando una tarea que no había visto antes. Esencialmente solo proporciona una descripción de la tarea como contexto para el LLM. Por ejemplo, proporcionar a un LLM un texto largo y pedirle que clasifique el texto en la Clase A o B, de acuerdo con alguna definición de las clases. El contexto (rápido) está alimentando el LLM podría verse algo así:

You are an expert text classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The text contains a positive sentiment
- Class B: The next contains a negative sentiment

Classify the text: {text}

Dependiendo de la tarea, esto podría funcionar muy bien. Los LLM son generalistas y pueden realizar la mayoría de las tareas simples basadas en texto. Clasificar un texto en una de las dos clases generalmente será una tarea simple, y la solicitud de cero disparos generalmente funcionará bastante bien.

Pocas de disparo

Esta infografía resalta cómo realizar pocas solicitudes de disparo:

El seguimiento de la solicitud de disparo cero es Pocas de disparo. Con pocas solicitudes de disparo, usted proporciona a la LLM una solicitud similar a la anterior, pero también le proporciona ejemplos de la tarea que realizará. Este contexto agregado ayudará a la LLM a mejorar la realización de la tarea. Siguiendo el mensaje anterior, un mensaje de pocos disparos podría verse como:

You are an expert text classifier, and tasked with classifying texts into
class A or class B. 
- Class A: The text contains a positive sentiment
- Class B: The next contains a negative sentiment

<example>
{text 1} -> Class A
</example>
<example>
{text 2} -> class B
</example>

Classify the text: {text}

Puede ver que le he proporcionado al modelo algunos ejemplos envueltos en etiquetas . He discutido el tema de crear indicaciones robustas de LLM en mi artículo sobre la confiabilidad de LLM a continuación:

@tool
def get_weather(city):
    # code to retrieve the current weather for a city
    return weather