Como científico de datos, he dedicado numerosas horas a profundizar en las complejidades de los modelos de lenguajes grandes (LLM) como BERTGPT{2,3,4}, y ChatGPT. Estos modelos avanzados han ampliado significativamente su escala, lo que hace cada vez más difícil operar los últimos modelos de alto rendimiento en equipos de consumo estándar. Lamentablemente, en mi casa todavía no tengo a mi disposición una máquina 8x A100.
(Todavía) no tengo una máquina 8x A100 en casa
En los últimos años se ha utilizado una nueva técnica para hacer modelos más pequeños y más rápidos: la cuantificación. Este método recorta elegantemente los LLM que alguna vez fueron voluminosos a un tamaño más digerible para hardware de consumo. Es similar a someter a estos gigantes de la IA a una dieta digital, haciéndolos encajar cómodamente en los confines más modestos de nuestras computadoras domésticas. Mientras tanto, la comunidad de código abierto, con pioneros como 🤗 HuggingFace y 🦄 Mistral, ha sido fundamental para democratizar el acceso a estos modelos. Básicamente, han convertido el exclusivo club de IA en un festival tecnológico del tipo “vengan uno, vengan todos”. no se requiere un apretón de manos secreto!
Si bien los pesos de los modelos entrenados mediante instrucciones son una pieza importante del rompecabezas, no representan el panorama completo. Piense en estos pesos como el cerebro de la operación: esenciales, pero incompletos sin un cuerpo. Aquí es donde entra en juego el llamado contenedor, que actúa como las extremidades que permiten al modelo procesar nuestras indicaciones. Y no olvidemos que para darle vida a este programa de IA, normalmente necesitamos la fuerza de los aceleradores de hardware, como una GPU. Es como tener un auto deportivo (el modelo) sin motor turboalimentado (la GPU): claro, se ve bien, ¡pero no ganarás ninguna carrera! 🚗💨💻
En este artículo, le mostraré cómo consultar varios modelos de lenguajes grandes localmente, directamente desde su computadora portátil. Esto funciona en Windows, Mac e incluso Linux (beta). Está basado en llama.cpppor lo que admite no solo CPU, sino también aceleradores comunes como CUDA y Metal.
En la primera sección instalaremos el programa para procesar y administrar sus indicaciones para varios modelos. La segunda sección le ayudará a empezar rápidamente y en la última sección le daré algunas sugerencias de modelos a utilizar. ¡Entonces empecemos!