Introducción
Siempre he pensado que incluso el mejor proyecto del mundo no tiene mucho valor si la gente no puede utilizarlo. Por eso es muy importante aprender a implementar modelos de Machine Learning. En este artículo nos centramos en implementar un modelo de lenguaje pequeño y grande, Tiny-Llama, en una instancia de AWS llamada EC2.
Lista de herramientas que he utilizado para este proyecto:
- Nota profunda: es un portátil basado en la nube que es ideal para proyectos colaborativos de ciencia de datos y bueno para la creación de prototipos.
- API rápida: un marco web para crear API con Python
- AWS EC2: es un servicio web que proporciona una capacidad informática considerable en la nube
- nginx: es un servidor HTTP y proxy inverso. Lo uso para conectar el servidor FastAPI a AWS
- GitHub: GitHub es un servicio de alojamiento para proyectos de software.
- AbrazosCara: es una plataforma para alojar y colaborar en modelos, conjuntos de datos y aplicaciones ilimitados.
Acerca de Pequeña Llama
TinyLlama-1.1B es un proyecto que tiene como objetivo entrenar previamente una Llama de 1.100 millones con 3 billones de tokens. Utiliza la misma arquitectura que llama2 .
Los grandes modelos de lenguajes actuales tienen capacidades impresionantes pero son extremadamente costosos en términos de hardware. En muchas áreas tenemos hardware limitado: piense en teléfonos inteligentes o satélites. Por lo tanto, hay mucha investigación sobre la creación de modelos más pequeños para que puedan implementarse en el borde.
Aquí hay una lista de modelos “pequeños” que se están poniendo de moda:
- VLM Móvil (Multimodal)
- fi-2
- Obsidiana (Multimodal)