Construye tu propio asistente de codificación de IA en Jupyterlab con Ollama y Hugging Face

Jupyter ai Trae generativo Capacidades de IA directamente en la interfaz. Tener un asistente de IA local garantiza la privacidad, reduce la latencia y proporciona funcionalidad fuera de línea, lo que lo convierte en una herramienta poderosa para los desarrolladores. En este artículo, aprenderemos cómo configurar un asistente de codificación de IA local en Jupyterlab usando Jupyter ai, Ollama y Cara abrazada. Al final de este artículo, tendrá un asistente de codificación completamente funcional en Jupyterlab capaz de hacer autocompletando el código, solucionar errores, crear nuevos cuadernos desde cero, y mucho más, como se muestra en la captura de pantalla a continuación.

⚠️ Jupyter Ai todavía está bajo un gran desarrollo, por lo que algunas características pueden romperse. Al escribir este artículo, he probado la configuración para confirmar que funciona, pero espere Cambios potenciales A medida que el proyecto evoluciona. Además, el rendimiento del asistente depende del modelo que seleccione, así que asegúrese de elegir el que sea adecuado para su caso de uso.

Lo primero es lo primero: ¿qué es Jupyter Ai? Como su nombre indica, Jupyter Ai es una extensión de Jupyterlab para AI generativo. Esta poderosa herramienta transforma sus cuadernos Jupyter estándar o el entorno JupyterLab en un patio de recreo de IA generativo. La mejor parte? También funciona sin problemas en entornos como Google Colaboratorio y Visual Studio Código. Esta extensión hace todo el trabajo pesado, proporcionando acceso a una variedad de proveedores de modelos (tanto de código abierto como de código cerrado) dentro de su entorno Jupyter.

Configurar el entorno implica tres componentes principales:

• Jupyterlab
• La extensión Jupyter Ai
• Ollama (para servir modelo local)
• [Optional] Abrazando la cara (para Gguf modelos)

Honestamente, obtener el asistente para resolver errores de codificación es la parte fácil. Lo que es complicado es garantizar que todas las instalaciones se hayan realizado correctamente. Por lo tanto, es esencial que siga los pasos correctamente.

1. Instalación de la extensión Jupyter AI

Se recomienda crear un nuevo entorno Específicamente para Jupyter AI para mantener su entorno existente limpio y organizado. Una vez hecho, siga los siguientes pasos. Jupyter Ai requiere Jupyterlab 4.x o Notebook Jupyter 7+así que asegúrese de tener la última versión de Jupyter Lab instalada. Puede instalar/actualizar JupyterLab con PIP o conda:

# Install JupyterLab 4 using pip
pip install jupyterlab~=4.0

A continuación, instale la extensión Jupyter AI de la siguiente manera.

pip install "jupyter-ai[all]"

Este es el método más fácil para la instalación, ya que incluye todas las dependencias del proveedor (por lo que admite la cara abrazada, Ollama, etc., fuera de la caja). Hasta la fecha, Jupyter Ai admite lo siguiente Proveedores de modelos :

Si encuentra errores durante la instalación de Jupyter AI, instale manualmente Jupyter Ai usando pip sin el [all] Grupo de dependencia opcional. De esta manera, puede controlar qué modelos están disponibles en su entorno Jupyter AI. Por ejemplo, para instalar Jupyter Ai con solo soporte agregado para modelos Ollama, use lo siguiente:

pip install jupyter-ai langchain-ollama

Las dependencias dependen de los proveedores de modelos (ver la tabla anterior). A continuación, reinicie su instancia de JupyterLab. Si ve un icono de chat en la barra lateral izquierda, esto significa que todo se ha instalado perfectamente. Con Jupyter AI, puede chatear con modelos o usar comandos de magia en línea directamente dentro de sus cuadernos.

2. Configuración de Ollama para modelos locales

Ahora que Jupyter AI está instalado, necesitamos configurarlo con un modelo. Mientras Jupyter Ai se integra directamente con los modelos de cara de abrazo, algunos modelos Puede que no funcione correctamente. En cambio, Ollama proporciona una forma más confiable de cargar modelos localmente.

Ollama es una herramienta útil para ejecutar Modelos de idiomas grandes en la zona. Le permite descargar modelos AI preconfigurados de su biblioteca. Ollama admite todas las plataformas principales (macOS, Windows, Linux), así que elija el método para su sistema operativo y descargue e instálelo desde el oficial sitio web. Después de la instalación, verifique que esté configurado correctamente ejecutando:

Ollama --version
------------------------------
ollama version is 0.6.2

Además, asegúrese de que su servidor Ollama debe estar ejecutando lo que puede verificar llamando ollama serve En la terminal:

$ ollama serve
Error: listen tcp 127.0.0.1:11434: bind: address already in use

Si el servidor ya está activo, verá un error como lo anterior confirmando que Ollama se está ejecutando y en uso.

Opción 1: Uso de modelos preconfigurados

Ollama proporciona un biblioteca de modelos previamente capacitados que pueda Descargar y ejecutar localmente. Para comenzar a usar un modelo, descargarlo usando el jalar dominio. Por ejemplo, para usar qwen2.5-coder:1.5bcorrer:

ollama pull qwen2.5-coder:1.5b

Esto descargará el modelo en su entorno local. Para confirmar si el modelo ha sido descargado, ejecute:

ollama list

Esto enumerará todos los modelos que ha descargado y almacenado localmente en su sistema utilizando Ollama.

Opción 2: Cargar un modelo personalizado

Si el modelo que necesita no está disponible en la biblioteca de Ollama, puede cargar un modelo personalizado creando un Archivo modelo que especifica la fuente del modelo. Para instrucciones detalladas sobre este proceso, consulte el Documentación de importación de Ollama.

Opción 3: Ejecución de modelos Gguf directamente desde abrazando la cara

Ollama ahora apoya Gguf modela directamente desde el centro de abrazadera de abrazosincluidos modelos públicos y privados. Esto significa que si desea utilizar el modelo GGUF directamente desde el abrazo de Face Hub, puede hacerlo sin requerir un archivo de modelo personalizado como se menciona en la opción 2 anterior.

Por ejemplo, para cargar un 4-bit quantized Qwen2.5-Coder-1.5B-Instruct model De la cara abrazada:

1. Primero, habilite Ollama bajo tu Configuración de aplicaciones locales.

2. En la página del modelo, elija Ollama en el menú desplegable Usar este modelo como se muestra a continuación.

Estamos casi allí. En Jupyterlab, abre el Jupyter Ai interfaz de chat en la barra lateral. En la parte superior del panel de chat o en su configuración (icono de engranajes), hay un menú desplegable o campo para seleccionar el Proveedor de modelos e ID del modelo. Elegir Ollama Como proveedor, e ingrese el nombre del modelo exactamente como se muestra en la lista Ollama en la terminal (por ejemplo, qwen2.5-coder:1.5b). Jupyter AI se conectará al servidor Ollama local y cargará ese modelo para consultas. No se necesitan claves API ya que esto es local.

• Establezca el modelo de lenguaje, el modelo de incrustación y los modelos de finalización en línea basados ​​en los modelos de su elección.
• Guarde la configuración y vuelva a la interfaz de chat.

Esta configuración vincula a Jupyter AI al modelo de ejecución local a través de Ollama. Si bien este proceso debe habilitar las terminaciones en línea, si eso no sucede, puede hacerlo manualmente haciendo clic en el Jupytertaut ícono, que se encuentra en la barra inferior de la interfaz Jupyterlab a la izquierda del Indicador de modo (por ejemplo, modo: comando). Esto abre un menú desplegable donde puede seleccionar Enable completions by Jupyternaut para activar la característica.

Una vez configurado, puede usar el Asistente de codificación AI para varias tareas como Code Autocompletion, la ayuda de depuración y generar un nuevo código desde cero. Es importante tener en cuenta aquí que puede interactuar con el asistente, ya sea a través del barra lateral de chat o directamente en celdas de cuaderno usando %%ai magic commands. Veamos ambos caminos.

Asistente de codificación a través de la interfaz de chat

Esto es bastante sencillo. Simplemente puede chatear con el modelo para realizar una acción. Por ejemplo, aquí es cómo podemos pedirle al modelo que explique el error en el código y luego solucione el error seleccionando el código en el cuaderno.

También puede pedirle a la IA que genere código para una tarea desde cero, simplemente describiendo lo que necesita en el lenguaje natural. Aquí hay una función de Python que devuelve todos los números primos a un entero positivo N, generado por Jupytertaut.

Asistente de codificación a través de Notebook Cell o Ipython Shell:

También puede interactuar con modelos directamente dentro de un cuaderno Jupyter. Primero, cargue la extensión de Ipython:

%load_ext jupyter_ai_magics

Ahora puedes usar el %%ai Magia celular para interactuar con el modelo de lenguaje elegido utilizando un aviso especificado. Replicemos el ejemplo anterior, pero esta vez dentro de las celdas del cuaderno.

Para obtener más detalles y opciones, puede consultar al oficial documentación.

Como puede evaluar de este artículo, Jupyter Ai facilita la configuración de un asistente de codificación, siempre que tenga las instalaciones y la configuración correctas en su lugar. Utilicé un modelo relativamente pequeño, pero puede elegir entre una variedad de modelos respaldados por Ollama o abrazando la cara. La ventaja clave aquí es que el uso de un modelo local ofrece beneficios significativos: mejora la privacidad, reduce la latencia y disminuye la dependencia de los proveedores de modelos patentados. Sin embargo, correr lLos modelos ARGE localmente con Ollama pueden ser intensivos en recursos, así que asegúrese de tener suficiente RAM. Con el ritmo rápido al que están mejorando los modelos de código abierto, puede lograr un rendimiento comparable incluso con estas alternativas.