Cómo ajustar un modelo local Mistral o Llama 3 en su propio conjunto de datos

En este artículo, aprenderá cómo ajustar modelos de lenguajes grandes de código abierto para atención al cliente utilizando Unsloth y QLoRA, desde la preparación de conjuntos de datos hasta la capacitación, las pruebas y la comparación.

Los temas que cubriremos incluyen:

Configurar un entorno Colab e instalar las bibliotecas necesarias. Preparar y formatear un conjunto de datos de atención al cliente para ajustar las instrucciones. Entrenamiento con adaptadores LoRA, guardado, prueba y comparación con un modelo base.

Vayamos a ello.

Cómo ajustar un modelo local Mistral/Llama 3 en su propio conjunto de datos

Introducción

Los modelos de lenguajes grandes (LLM) como Mistral 7B y Llama 3 8B han sacudido el campo de la IA, pero su naturaleza amplia limita su aplicación a áreas especializadas. El ajuste fino transforma estos modelos de propósito general en expertos en un dominio específico. Para la atención al cliente, esto significa una reducción del 85 % en el tiempo de respuesta, una voz de marca consistente y disponibilidad 24 horas al día, 7 días a la semana. Ajustar los LLM para dominios específicos, como la atención al cliente, puede mejorar drásticamente su desempeño en tareas específicas de la industria.

En este tutorial, aprenderemos cómo ajustar dos potentes modelos de código abierto, Mistral 7B y Llama 3 8B, utilizando un conjunto de datos de preguntas y respuestas de atención al cliente. Al final de este tutorial, aprenderá cómo:

Configurar un entorno de capacitación basado en la nube usando Google Colab Preparar y formatear conjuntos de datos de atención al cliente Ajustar Mistral 7B y Llama 3 8B usando la Adaptación cuantificada de bajo rango (QLoRA) Evaluar el rendimiento del modelo Guardar e implementar sus modelos personalizados

Requisitos previos

Esto es lo que necesitará para aprovechar al máximo este tutorial.

Una cuenta de Google para acceder a Google Colab. Puede consultar Colab aquí para ver si está listo para acceder. Una cuenta de Hugging Face para acceder a modelos y conjuntos de datos. Puedes registrarte aquí.

Después de tener acceso a Hugging Face, deberá solicitar acceso a estos 2 modelos privados:

Mistral: Mistral-7B-Instruct-v0.3 Llama 3: Meta-Llama-3-8B-Instruct

Y en cuanto a los conocimientos necesarios que debes tener antes de empezar, aquí tienes un resumen conciso:

Programación básica en Python Familiarizarse con los cuadernos de Jupyter Comprensión de los conceptos de aprendizaje automático (útil pero no obligatorio) Conocimiento básico de la línea de comandos

Ahora debería estar listo para comenzar.

El proceso de ajuste

El ajuste adapta un LLM previamente capacitado a tareas específicas mediante la capacitación continua sobre datos específicos del dominio. A diferencia de la ingeniería rápida, el ajuste fino en realidad modifica los pesos del modelo.

Paso 1: Introducción a Google Colab

Visite Google Colab Cree una nueva libreta: Archivo → Nueva libreta Asígnele un nombre preferido Establezca GPU: Tiempo de ejecución → Cambiar tipo de tiempo de ejecución → GPU T4

Cambiar el tipo de tiempo de ejecución

Paso 2: instale Unsloth (ejecute esto primero)

Aquí instalaremos Unsloth y sus dependencias. Unsloth maneja la configuración de CUDA automáticamente.

Paso 3: Importar Unsloth y configurar

El siguiente paso es importar Unsloth y realizar comprobaciones básicas.

Paso 4: crear un conjunto de datos de atención al cliente

Proporcionaremos datos realistas de atención al cliente en esta sección con el fin de ajustar el modelo.

También puedes crear más muestras duplicándolas y variando.

Ahora, podemos convertir a un conjunto de datos:

Paso 5: elige tu modelo (Mistral o Llama 3)

Usaremos Mistral 7B para este tutorial.

Paso 6: Cargue el modelo con Unsloth (¡4 veces más rápido!)

Cargue el modelo con optimización Unsloth y use el token = “hf_…” si tiene modelos cerrados como Llama 3.

La cuantificación load_in_4bit ahorra memoria. Utilice float16 para un entrenamiento más rápido y puede aumentar max_seq_length a 2048 para obtener respuestas más largas.

Elige tu modelo

Paso 7: agregue adaptadores LoRA (optimizados para Unsloth)

Se recomienda LoRA para la mayoría de los casos de uso porque es rápido y eficiente en memoria:

target_modules: Qué capas adaptar (atención + MLP) r=16: Mayor = más adaptable, pero más parámetros lora_alpha=16: Factor de escala para pesos LoRA

Paso 8: Formatear el conjunto de datos para la capacitación

Producción:

Paso 9: Configurar el entrenamiento (optimizado por Unsloth)

Paso 10: Entrena el modelo más rápido con Unsloth

Producción:

Entrena el modelo más rápido con Unsloth

Paso 11: guarde el modelo ajustado

Guarde el modelo ajustado en su Google Drive.

Paso 12: Pruebe su modelo perfeccionado

Cargue el modelo guardado y genere respuestas.

Preguntas de prueba

Producción:

Prueba de modelo ajustado

Paso 13: Comparar con el modelo base

Modelo base de carga

Prueba la misma pregunta

Respuesta del modelo base

Respuesta afinada

Producción:

Comparando con el modelo base

Conclusión

En este tutorial, ha aprendido a ajustar los modelos de IA. También has visto que hacer que los modelos aprendan tus tareas específicas no tiene por qué ser complicado ni costoso. La herramienta Unsloth hace que todo sea más fácil: el entrenamiento puede ser hasta cuatro veces más rápido usando mucha menos memoria, por lo que puedes hacerlo incluso en una computadora básica.

El modelo Mistral 7B suele ser una buena opción porque es eficiente y ofrece excelentes resultados. Recuerde siempre que su conjunto de datos enseña el modelo: quinientos ejemplos claros y bien escritos son mejores que miles de ejemplos desordenados. No es necesario reconstruir todo el modelo; Puede ajustar piezas pequeñas con LoRA para obtener los resultados deseados.

Siempre prueba lo que has creado. Verifique tanto con números como leyendo las respuestas usted mismo para asegurarse de que su asistente sea realmente útil y preciso. Este proceso convierte a un modelo general en su experto personal, capaz de atender las preguntas de los clientes, escribir con la voz de su empresa y operar las 24 horas del día.

Recursos