¿Realmente necesitas un modelo de base?

están en todas partes, pero ¿son siempre la elección correcta? En el mundo de la IA de hoy, parece que todos quieren usar modelos y agentes fundamentales.

Desde GPT hasta Clip hasta SAM, las empresas están corriendo para construir aplicaciones en torno a modelos grandes de propósito general. Y por una buena razón: estos modelos son potentes, flexibles y, a menudo, son fáciles de prototipo. ¿Pero realmente necesitas uno?

En muchos casos, especialmente en escenarios de producción, un modelo más simple y capacitado a medida puede funcionar igual de bien, si no mejor. Con menor costo, menor latencia y más control.

Este artículo tiene como objetivo ayudarlo a navegar esta decisión cubriendo:

• ¿Qué modelos de base son y sus ventajas y contras
• ¿Qué modelos personalizados son y sus ventajas y contras
• Cómo elegir el enfoque correcto según sus necesidades, con ejemplos del mundo real
• Un marco de decisión visual para envolverlo todo

Vamos a entrar en eso.

Modelos de base

Un modelo de base es un modelo grande y previamente entrenado en conjuntos de datos masivos en múltiples dominios. Estos modelos están diseñados para ser lo suficientemente flexibles como para resolver una amplia gama de tareas aguas abajo con poca o ninguna capacitación adicional. Pueden ser vistos como modelos generalistas.

Vienen en varios tipos:

• LLMS (modelos de idiomas grandes) como GPT-4, Claude, Gemini, Llama, Mistral … escuchamos mucho sobre ellos desde el lanzamiento de ChatGPT.
• VLMS (modelos en idioma de visión) Como Clip, Flamingo, Gemini Vision … ahora tienden a usarse cada vez más, incluso en soluciones como ChatGPT.
• Modelos específicos de la visión como Sam, Dino, difusión estable, flujo. Son un poco más especializados y utilizados principalmente por los practicantes, pero extremadamente poderosos.
• Modelos específicos de video Como Runwayml, Sora, Veo … este campo ha hecho un progreso increíble en los últimos años, y ahora está alcanzando resultados impresionantes.

La mayoría se pueden acceder a través de API o bibliotecas de código abierto, y muchas admiten aprendizaje de cero disparo o pocos disparos.

Estos modelos generalmente están capacitados a una escala que la mayoría de las empresas no se puede accesar a la mayoría de las empresas, tanto en términos de datos como de potencia informática. Eso los hace realmente atractivos por muchas razones:

• Uso general y versátil: Un modelo puede abordar muchas tareas diferentes.
• Rápido a prototipo con: No hay necesidad de su propio conjunto de datos o tuberías de capacitación.
• Estrados en vastas y diversos datos: ENCOBIENLON CONOCIMIENTO MUNDO Y RAPONSE GENERAL.
• Capacidades cero/de pocos disparos: Trabajan razonablemente bien fuera de la caja.
• Multimodal y flexible: A veces pueden manejar texto, imágenes, código, audio y más, lo que puede ser difícil de reproducir para equipos pequeños.

Si bien son poderosos, vienen con algunos inconvenientes y limitaciones:

• Alto costo operativo: La inferencia es costosa, especialmente a escala.
• Comportamiento opaco: Los resultados pueden ser difíciles de depurar o explicar.
• Limitaciones de latencia: Estos modelos tienden a ser muy grandes y tienen alta latencia, lo que puede no ser ideal para aplicaciones en tiempo real.
• Preocupaciones de privacidad y cumplimiento: Los datos a menudo deben enviarse a API de terceros.
• Falta de control: Difícil de ajustar u optimizar para casos de uso específicos, a veces ni siquiera una opción.

Para recapitular, los modelos de base son muy poderosos: están entrenados en conjuntos de datos masivos, pueden manejar texto, imagen, video y más. No necesitan recibir capacitación en sus datos para trabajar. Pero generalmente no son rentables, pueden tener alta latencia y puede requerir enviar sus datos a terceros.

La alternativa es usar modelos personalizados. Veamos ahora lo que eso significa.

Modelos personalizados

Un modelo personalizado es un modelo construido y capacitado específicamente para una tarea definida utilizando sus propios datos. Esto podría ser tan simple como una regresión logística o tan compleja como una arquitectura de aprendizaje profundo adaptada a su problema único.

A menudo requieren más trabajo por adelantado, pero ofrecen un mayor control, menor costo y un mejor rendimiento en tareas estrechas. Muchos modelos poderosos y de conducción comercial son en realidad modelos personalizados, algunos famosos y ampliamente utilizados, algunos que abordan realmente problemas de nicho:

• El motor de recomendación de Netflix, utilizado por miles de millones, es un modelo personalizado
• La mayoría de los modelos de predicción de giro, ampliamente utilizados en muchas empresas basadas en suscripción, son modelos personalizados (a veces solo una regresión logística bien ajustada)
• Modelos de puntuación de crédito

Al usar modelos personalizados, domina cada paso, lo que los hace realmente poderosos por varias razones:

• Específico de la tarea y optimizado: Usted controla el modelo, los datos de capacitación y la evaluación.
• Menor latencia y costo: Los modelos personalizados suelen ser más pequeños y menos costosos. Es crítico en entornos de borde o en tiempo real.
• Control total y explicación: Son más fáciles de depurar, volver a entrenar y monitorear.
• Mejor para datos tabulares o estructurados: Los modelos de base se destacan con datos no estructurados. Los modelos personalizados tienden a hacerlo mejor en los datos tabulares.
• Datos mejorados mejoradosY: No es necesario enviar datos a API externas.

Por otro lado, debe entrenar e implementar sus modelos personalizados usted mismo para obtener el valor comercial de ellos. Viene con algunos inconvenientes:

• Se pueden requerir datos etiquetados: Que puede ser costoso o lento para obtener.
• Más lento para desarrollar: Costumbre Los modelos requieren capacitar un modelo, implementar tuberías, implementar y mantener. Esto lleva mucho tiempo.
• Se necesitan recursos calificados: La experiencia interna de ML es imprescindible.

Siéntase libre de profundizar en las estrategias de implementación y cómo elegir el mejor enfoque en ese artículo:

En una palabra, los modelos personalizados dan más control y generalmente son menos costosos de escalar. Pero tiene costa de una fase de desarrollo más costosa y más larga, sin mencionar las habilidades. Entonces, ¿cómo elegir sabiamente si usar un modelo personalizado o un modelo de base? Intentemos responder a esa pregunta.

Modelo de base o modelo personalizado: ¿Cómo elegir?

Cuándo elegir un modelo personalizado

Diría que un modelo personalizado debe ser la opción predeterminada en general. Pero para ser más justos, veamos en qué casos específicos es claramente una mejor solución que un modelo de base. Se reduce algunos requisitos:

• Equipos y recursos: Tiene un ingeniero de aprendizaje automático o un equipo de datos, puede etiquetar o generar datos de capacitación, y puede pasar tiempo entrenando y optimizando su modelo
• Negocio: O tiene un caso realmente específico para resolver, tiene requisitos de privacidad, necesita bajo costo de infra o necesita baja latencia o incluso implementación de borde
• Objetivos a largo plazo: Quieres control y no quieres confiar en API de terceros

Si se encuentra en una o más de estas situaciones, un modelo personalizado puede ser su mejor opción. Algunos ejemplos típicos que enfrenté en mi carrera fueron en esa situación, por ejemplo:

• Construyendo un modelo de pronóstico personalizado y interno para ingresos por video de YouTube: no puede comprometerse en la privacidad, y ningún modelo de base funcionará lo suficiente en casos de uso tan específicos
• Implementación de la solución de video en tiempo real en el teléfono inteligente: cuando necesita trabajar en más de 30 cuadros por segundo, ningún VLM puede manejar la tarea todavía
• Calificación crediticia para un banco: no puede comprometerse en la privacidad y no puede usar soluciones de terceros

Si desea profundizar en él, aquí hay un artículo sobre cómo pronosticar los ingresos por video de YouTube:

Cómo Jellysmack monetizó videos de YouTube con algoritmos predictivos
Una idea revolucionaria en la economía creadora

Dicho esto, mientras que en algunos casos los modelos de base no son la solución, veamos cuándo son una opción viable.

Cuándo elegir un modelo de base

Hagamos el ejercicio equivalente para los modelos de base: primero verifiquemos los requisitos que los convierten en una buena opción y veamos algunos casos de negocios típicos en los que prosperarían:

• Equipo y recursos: No necesariamente tiene datos etiquetados, ni ingenieros de ML o científicos de datos, pero sí tiene ingenieros de IA o software
• Negocio: Desea probar una idea rápidamente o enviar un MVP, está bien con el uso de API externas, y la latencia o el costo de escala no son preocupaciones importantes.
• Características de la tarea: Su tarea es abierta, o estás explorando un espacio de problemas novedoso o creativo

Aquí hay algunos ejemplos típicos en los que los modelos de cimientos han demostrado ser valiosos

• Prototipos de un chatbot para el apoyo interno o la gestión del conocimiento: tiene una tarea abierta, con bajos requisitos sobre latencia y escala
• Muchos MVP de etapa temprana sin infra preocupaciones a largo plazo son buenos candidatos

A partir de ahora, los modelos fundamentales son realmente populares para muchos MVP que giran en torno al texto y la imagen, mientras que los modelos personalizados han demostrado su valor en muchos casos de negocios. Pero, ¿por qué no combinar ambos? En algunos casos, es posible obtener las mejores soluciones con enfoques híbridos. Veamos lo que eso significa.

Cuándo usar soluciones híbridas

En muchos flujos de trabajo del mundo real, la mejor respuesta es un combinación de ambos enfoques. Por ejemplo, aquí hay algunos patrones híbridos comunes que pueden aprovechar lo mejor de ambos mundos

• Modelo de base como herramienta de etiquetado: Use SAM o GPT para crear datos etiquetados, luego entrene un modelo más pequeño.
• Destilación del conocimiento: Entrene un modelo personalizado para imitar las salidas de un modelo de base.
• Bootstrapping: Comience con el modelo de base para probar, luego cambie a personalizado más tarde.
• Extracción de características: Use incrustaciones de clip o GPT como entrada a un modelo aguas abajo más simple.

Utilicé algunos de estos enfoques en proyectos pasados durante mi carrera, y a veces permiten obtener soluciones de última generación, utilizando el poder generalista de los modelos de base y la flexibilidad y escalabilidad de los modelos personalizados.

• En proyectos de visión por computadora, utilicé una difusión estable para crear conjuntos de datos diversos y realistas, así como SAM para anotar datos de manera rápida y eficiente.
• Los modelos de idiomas pequeños están obteniendo tracción y, a veces, obtienen ventaja de la destilación del conocimiento para obtener lo mejor de LLMS mientras permanecen más pequeños, más especializados y más escalables.
• También se puede usar herramientas como ChatGPT para anotar fácilmente los datos a escala antes de capacitar a los modelos personalizados

Aquí hay un ejemplo concreto del uso de modelos de base en soluciones híbridas para la visión por computadora:

En una palabra, en muchos casos cuando se trata de datos no estructurados, un enfoque híbrido puede ser poderoso y dar lo mejor de ambos mundos.

Conclusión: Marco de decisión

Ahora resumamos con una tabla de decisión cuándo ir por un modelo de base, cuándo buscar un modelo personalizado y cuándo explorar un enfoque híbrido.

En pocas palabras, todo se reduce al proyecto y a la necesidad. Claro, los modelos de base están zumbando en este momento, y están en el corazón de la revolución de los agentes actuales. Aún así, muchos problemas comerciales muy valiosos se pueden abordar con modelos personalizados, mientras que los modelos de cimientos se demuestran que en muchos problemas de datos no estructurados. Para elegir sabiamente, un análisis adecuado de las necesidades y requisitos con las partes interesadas e ingenieros, junto con un marco de decisión, sigue siendo una buena solución.

¿Qué hay de ti? ¿Te has enfrentado a alguna situación en la que la mejor solución no sea lo que podría pensar?

Referencias

• LLM mencionados: GPT por OpenAi, Tirar por antrópico, Llama por meta, Géminis por Google, y podríamos citar más como Mistral, Veteranoetc…
• Modelos relacionados con la visión: Sam por meta, ACORTAR por OpenAi, Dino por meta, estabilizados con Estabilidadi, FLUJO por Black Forest Labs
• Modelos específicos de video: Vero por Google, Runwayml, Sora por OpenAi …