“Cuanto más grande, siempre mejor”: este principio está profundamente arraigado en el mundo de la IA. Cada mes se crean modelos más grandes, con cada vez más parámetros. Las empresas incluso están construyendo Centros de datos de IA de 10 mil millones de dólares para ellos. ¿Pero es esta la única dirección a seguir?
En NeurIPS 2024, Ilya Sutskeveruno de los cofundadores de OpenAI, compartió una idea: “La preformación tal como la conocemos sin duda terminará”. parece el La era del escalamiento está llegando a su fin.lo que significa que es hora de centrarse en mejorar los enfoques y algoritmos actuales.
Una de las áreas más prometedoras es el uso de modelos de lenguaje pequeño (SLM) con hasta 10 mil millones de parámetros. Este enfoque realmente está empezando a despegar en la industria. Por ejemplo, Clem Delangue, director ejecutivo de Hugging Face, predice que hasta el 99% de los casos de uso podrían abordarse utilizando SLM. Una tendencia similar es evidente en el últimas solicitudes de startups de YC:
Los modelos genéricos gigantes con muchos parámetros son muy impresionantes. Pero también son muy costosos y a menudo presentan desafíos de latencia y privacidad.
En mi último artículo “No necesitas LLM alojados, ¿verdad?”, Me preguntaba si necesita modelos autohospedados. Ahora voy un paso más allá y hago la pregunta: ¿Necesitas algún LLM?
En este artículo, analizaré por qué los modelos pequeños pueden ser la solución que su empresa necesita. Hablaremos sobre cómo pueden reducir costos, mejorar la precisión y mantener el control de sus datos. Y, por supuesto, tendremos una discusión honesta sobre sus limitaciones.
La economía de los LLM es probablemente uno de los temas más dolorosos para las empresas. Sin embargo, la cuestión es mucho más amplia: incluye la necesidad de hardware costoso, costos de infraestructura, costos de energía y consecuencias ambientales.
Sí, los modelos de lenguaje grandes son impresionantes en sus capacidades, pero también son muy costosos de mantener. Es posible que ya haya notado cómo han aumentado los precios de suscripción para aplicaciones basadas en LLM. Por ejemplo, el reciente anuncio de OpenAI de un $200/mes El plan Pro es una señal de que los costos están aumentando. Y es probable que los competidores también suban a estos niveles de precios.
La historia del robot Moxie es un buen ejemplo de esta afirmación. Embodied creó un gran robot compañero para niños por $800 que usaba la API OpenAI. A pesar del éxito del producto (¡los niños enviaban entre 500 y 1000 mensajes al día!), la empresa se esta cerrando debido a los altos costos operativos de la API. Ahora miles de robots se volverán inútiles y los niños perderán a sus amigos.
Un enfoque es ajuste un modelo de lenguaje pequeño especializado para su dominio específico. Por supuesto, no resolverá “todos los problemas del mundo”, pero cumplirá perfectamente con la tarea que se le ha asignado. Por ejemplo, analizar la documentación del cliente o generar informes específicos. Al mismo tiempo, los SLM serán más económicos de mantener, consumirán menos recursos, requerirán menos datos y podrán ejecutarse en hardware mucho más modesto (hasta un teléfono inteligente).
Y por último, no nos olvidemos del medio ambiente. En el artículo Emisiones de carbono y entrenamiento de grandes redes neuronalesencontré una estadística interesante que me sorprendió: entrenar GPT-3 con 175 mil millones de parámetros consumió tanta electricidad como la que consume un hogar estadounidense promedio en 120 años. También produjo 502 toneladas de CO₂lo que es comparable al funcionamiento anual de más de cien coches de gasolina. Y eso sin contar los costos inferenciales. En comparación, implementar un modelo más pequeño como el 7B requeriría el 5% del consumo de un modelo más grande. ¿Y qué pasa con lo último? liberación de o3?
💡Pista: no persigas las exageraciones. Antes de emprender la tarea, calcule los costos de utilizar API o sus propios servidores. Piense en la ampliación de dicho sistema y en cuán justificado está el uso de LLM.
Ahora que hemos cubierto la economía, hablemos de calidad. Naturalmente, muy pocas personas querrían comprometer la precisión de la solución sólo para ahorrar costos. Pero incluso en este caso los SLM tienen algo que ofrecer.
Muchos estudios muestran que para tareas altamente especializadas, los modelos pequeños no sólo pueden competir con los LLM grandes, sino que a menudo los superan. Veamos algunos ejemplos ilustrativos:
- Medicamento: El Modelo Diabética-7B (basado en Qwen2–7B) logró una precisión del 87,2% en pruebas relacionadas con la diabetes, mientras que GPT-4 mostró un 79,17% y Claude-3,5–80,13%. A pesar de esto, Diabetica-7B es decenas de veces más pequeño que GPT-4 y puede ejecutarse localmente en una GPU de consumo.
- Sector Jurídico: Un SLM con sólo 0,2 mil millones de parámetros logra una precisión del 77,2% en el análisis de contratos (GPT-4: alrededor del 82,4%). Además, para tareas como identificar términos “injustos” en los acuerdos de usuario, el SLM incluso supera a GPT-3.5 y GPT-4 en la métrica F1.
- Tareas matemáticas: La investigación de Google DeepMind muestra que entrenar un modelo pequeño, Gemma2–9B, con datos generados por otro modelo pequeño produce mejores resultados que entrenar con datos del Gemma2–27B más grande. Los modelos más pequeños tienden a centrarse mejor en aspectos específicos sin la tendencia a “tratar de brillar con todo el conocimiento”, que suele ser una característica de los modelos más grandes.
- Moderación de contenido: LLaMA 3.1 8B superó GPT-3.5 en precisión (en un 11,5%) y recuperación (en un 25,7%) al moderar contenido en 15 subreddits populares. Esto se logró incluso con cuantificación de 4 bits.lo que reduce aún más el tamaño del modelo.
Iré un paso más allá y compartiré que incluso los enfoques clásicos de PNL suelen funcionar sorprendentemente bien. Les comparto un caso personal: estoy trabajando en un producto de apoyo psicológico donde procesamos más de mil mensajes de usuarios cada día. Pueden escribir en un chat y obtener una respuesta. Cada mensaje se clasifica primero en una de cuatro categorías: