Hoy en día, a nadie le sorprenderá ejecutar un modelo de aprendizaje profundo en la nube. Pero la situación puede ser mucho más complicada en el mundo de los dispositivos de consumo o de borde. Hay varias razones para eso. En primer lugar, el uso de API en la nube requiere que los dispositivos estén siempre en línea. Esto no es un problema para un servicio web, pero puede ser un factor decisivo para el dispositivo que necesita funcionar sin acceso a Internet. En segundo lugar, las API en la nube cuestan dinero y es probable que los clientes no estén contentos de pagar otra tarifa de suscripción. Por último, pero no menos importante, después de varios años, el proyecto puede estar terminado, los puntos finales API se cerrarán y el costoso hardware se convertirá en un ladrillo. Lo que naturalmente no es amigable para los clientes, el ecosistema y el medio ambiente. Por eso estoy convencido de que el hardware del usuario final debe ser completamente funcional fuera de línea, sin costos adicionales ni uso de API en línea (bueno, puede ser opcional pero no obligatorio).
En este artículo, mostraré cómo ejecutar un modelo LLaMA GPT y reconocimiento automático de voz (ASR) en una Raspberry Pi. Eso nos permitirá hacer preguntas a Raspberry Pi y obtener respuestas. Y como prometimos, todo esto funcionará completamente sin conexión.
¡Entremos en ello!
El código presentado en este artículo está destinado a funcionar en Raspberry Pi. Pero la mayoría de los métodos (excepto la parte de “pantalla”) también funcionarán en una computadora portátil con Windows, OSX o Linux. Así, aquellos lectores que no tengan una Raspberry Pi podrán probar el código fácilmente y sin ningún problema.
Hardware
Para este proyecto, usaré un Frambuesa Pi 4. Es una computadora de placa única que ejecuta Linux; es pequeño y requiere sólo 5 V CC sin ventiladores ni refrigeración activa:
Un modelo más nuevo de 2023, la Raspberry Pi 5, debería ser aún mejor; según los puntos de referencia, es casi 2 veces más rápido. Pero también es casi un 50% más caro y, para nuestra prueba, el modelo 4 es bastante bueno.