Hoy en día, la “IA móvil” es una tendencia en rápido crecimiento. Los teléfonos inteligentes se vuelven más potentes y los modelos grandes se vuelven más eficientes. Es posible que algunos clientes quieran esperar hasta que los fabricantes de teléfonos agreguen nuevas funciones, pero ¿podemos usar los últimos modelos de IA por nuestra cuenta? De hecho, podemos y los resultados son divertidos. En este artículo, mostraré cómo ejecutar modelos de lenguaje grande LLaMA y Gemma en un teléfono Android y veremos cómo funciona. Como es habitual en todas mis pruebas, todos los modelos se ejecutarán localmente y no se necesitan API en la nube ni pagos.
¡Entremos en ello!
Termux
El primer componente de nuestra prueba es Termux, un terminal Linux completo creado como una aplicación de Android. Es gratuito y no requiere acceso de root; Todos los componentes de Linux se ejecutan exclusivamente en una carpeta Termux. Termux se puede descargar desde Google Play, pero al momento de escribir este texto, esa versión era bastante antigua y el comando “pkg update” en Termux ya no funcionaba. Hay una versión más reciente disponible como APK en F-droide sitio web; Funciona bien y no tuve problemas con él.
Cuando Termux está instalado en el teléfono, podemos ejecutarlo y ver una interfaz de línea de comandos estándar de Linux:
En teoría, podemos ingresar todos los comandos directamente en el teléfono, pero escribir en el pequeño teclado es un inconveniente. Una forma mucho mejor es instalar SSH; Esto se puede hacer usando “pkg install”:
pkg update
pkg upgrade
pkg install openssh
Después de eso, podemos iniciar el demonio SSH en Termux ejecutando el sshd dominio. También necesitamos obtener el nombre de usuario y configurar la contraseña SSH:
sshd
whoami
#> u0_a461
passwd
#> Enter new password
...
Ahora podemos conectarnos a un teléfono con cualquier cliente SSH:
ssh -p 8022 u0_a461@192.168.100.101
Aquí, 8022 es un puerto SSH predeterminado de Termux, “u0_a461” es un nombre de usuario que obtenemos de un comando “whoami” y “192.168.100.101” es la IP…