Deja de construir plataformas AI | Hacia la ciencia de los datos

Y las empresas medianas logran el éxito en la construcción de datos y plataformas ML, la creación de plataformas de IA ahora es profundamente desafiante. Esta publicación discute tres razones clave por las que debe ser cauteloso sobre la construcción de plataformas de IA y propone mis pensamientos sobre direcciones prometedoras.

Descargo de responsabilidad: Se basa en puntos de vista personales y no se aplica a los proveedores de la nube y las empresas SaaS de datos/ML. En su lugar, deberían duplicar la investigación de las plataformas de IA.

De donde vengo de

En mi artículo anterior Desde la plataforma de datos hasta la plataforma ML En Tower Data Science, compartí cómo una plataforma de datos evoluciona en una plataforma ML. Este viaje se aplica a la mayoría de las pequeñas y medianas empresas. Sin embargo, no había un camino claro para que las pequeñas y medianas empresas continúen desarrollando sus plataformas en plataformas de IA todavía. Al nivelar a las plataformas de IA, la ruta bifurcó en dos direcciones:

• Infraestructura de IA: la “nueva electricidad” (inferencia de IA) es más eficiente cuando se genera centralmente. Es un juego para grandes técnicos y grandes proveedores de modelos.
• Plataforma de aplicaciones AI: no puede construir la “casa de playa” (plataforma de IA) en un terreno constantemente cambiante. La capacidad de IA evolutiva y el nuevo paradigma de desarrollo emergente hacen que la búsqueda de una estandarización duradera sea un desafío.

Sin embargo, todavía hay direcciones que probablemente seguirán siendo importantes incluso a medida que los modelos de IA continúan evolucionando. Está cubierto al final de esta publicación.

Alta barrera de infraestructura de IA

Si bien Databricks es quizás solo varias veces mejor que sus propios trabajos de chispa, Deepseek podría ser 100 veces más eficiente que usted en la inferencia de LLM. La capacitación y el servicio de un modelo LLM requieren significativamente más inversión en infraestructura y, lo que es más importante, sobre la estructura del modelo LLM.

En esta serieCompartí brevemente la infraestructura para el entrenamiento de LLM, que incluye Estrategias de capacitación paralela, diseños de topologíay Aceleraciones de entrenamiento. En el lado del hardware, además de las GPU y las TPU de alto rendimiento, una parte significativa del costo fue para la configuración de redes y los servicios de almacenamiento de alto rendimiento. Los grupos requieren una red RDMA adicional para habilitar conexiones sin bloqueo y punto a punto para el intercambio de datos entre instancias. Los servicios de orquestación deben admitir la programación de trabajo compleja, las estrategias de conmutación por error, la detección de problemas de hardware y la abstracción y la agrupación de recursos de la GPU. El SDK de capacitación necesita facilitar el punto de control asincrónico, el procesamiento de datos y la cuantificación del modelo.

Con respecto a la entrega del modelo, los proveedores de modelos a menudo incorporan eficiencia de inferencia durante las etapas de desarrollo del modelo. Los proveedores de modelos probablemente tengan mejores estrategias de cuantificación del modelo, lo que produciría la misma calidad del modelo con un tamaño de modelo significativamente más pequeño. Es probable que los proveedores de modelos desarrollen una mejor estrategia paralela al modelo debido al control que tienen sobre la estructura del modelo. Puede aumentar el tamaño del lote durante la inferencia de LLM, lo que aumenta efectivamente la utilización de GPU. Además, los grandes jugadores de LLM tienen ventajas logísticas que les permiten acceder a enrutadores, mainframes y chips de GPU más baratos. Más importante aún, el control de la estructura del modelo más fuerte y la mejor capacidad paralela del modelo, los proveedores de modelos medios pueden aprovechar los dispositivos GPU más baratos. Para los consumidores modelo que dependen de los modelos de código abierto, la deprecación de GPU podría ser una preocupación mayor.

Tome Deepseek R1 como ejemplo. Supongamos que está utilizando la instancia p5e.48xLarge AWS que proporciona 8 chips H200 con NVLink conectado. Te costará 35 $ ​​por hora. Asumiendo que lo está haciendo tan bien como nvidia y lograr 151 fichas/segundo rendimiento. Para generar 1 millón de tokens de salida, le costará $ 64 (1 millón / (151 * 3600) * $ 35). ¿Cuánto se vende Deepseek su token por millón? 2 $ solo! Deepseek puede lograr 60 veces la eficiencia de su implementación en la nube (suponiendo un margen del 50% de Deepseek).

Entonces, la potencia de inferencia de LLM es de hecho como la electricidad. Refleja la diversidad de aplicaciones que los LLM pueden alimentar; También implica que es más eficiente cuando se genera centralmente. Sin embargo, aún debe tener servicios de LLM de autohipes para los casos de uso sensibles a la privacidad, al igual que los hospitales tienen sus generadores de electricidad para emergencias.

Cierre constantemente cambiante

Invertir en infraestructura de IA es un juego audaz, y la construcción de plataformas livianas para aplicaciones de IA viene con sus dificultades ocultas. Con la rápida evolución de las capacidades del modelo de IA, no hay paradigma alineado para las aplicaciones de IA; Por lo tanto, existe la falta de una base sólida para construir aplicaciones de IA.

La respuesta simple a eso es: ser paciente.

Después de varios años de feroz competencia, algunos jugadores modelo grandes permanecen en la arena. Sin embargo, la evolución de la capacidad de IA aún no está convergiendo. Con el avance de las capacidades de los modelos de IA, el paradigma de desarrollo existente se volverá obsoleto rápidamente. Los grandes jugadores acaban de comenzar a tomar su puñalada en las plataformas de desarrollo de agentes, y las nuevas soluciones están apareciendo como palomitas de maíz en un horno. Los ganadores eventualmente aparecerán, creo. Por ahora, la estandarización de los agentes de construcción es una llamada difícil para pequeñas y medianas empresas.

Dependencia de la ruta del viejo éxito

Otro desafío de construir una plataforma AI es bastante sutil. Se trata de reflejar la mentalidad de los constructores de plataformas, ya sea tener dependencia de ruta del éxito anterior de la creación de datos y plataformas ML.

Como compartimos anteriormente, desde 2017, los paradigmas de desarrollo de datos y ML están bien alineados, y la tarea más crítica para la plataforma ML es la estandarización y la abstracción. Sin embargo, el paradigma de desarrollo para aplicaciones de IA aún no está establecido. Si el equipo sigue la historia de éxito anterior de construir una plataforma de datos y ML, podrían terminar priorizando la estandarización en el momento equivocado. Las posibles instrucciones son:

• Construya una puerta de enlace del modelo AI: proporcione auditoría centralizada e registro de solicitudes a los modelos LLM.
• Construya un marco de agente de IA: desarrolle un SDK auto-construido para crear agentes de IA con una conectividad mejorada al ecosistema interno.
• Estandarice las prácticas de RAG: construyendo un flujo de indexación de datos estándar para reducir la barra para la construcción de servicios de conocimiento.

Esas iniciativas pueden ser significativas. Pero el ROI realmente depende de la escala de su empresa. De todos modos, tendrás los siguientes desafíos:

• Manténgase al día con los últimos desarrollos de IA.
• Tasa de adopción del cliente cuando es fácil para los clientes evitar su abstracción.

Supongamos que los constructores de datos y plataformas ML son como “organizadores de armario”, los constructores de IA ahora deberían actuar como “diseñadores de moda”. Requiere adoptar nuevas ideas, realizar experimentos rápidos e incluso aceptar un nivel de imperfección.

Mis pensamientos sobre direcciones prometedoras

Aunque hay tantos desafíos por delante, recuerde que todavía es gratificante trabajar en la plataforma AI en este momento, ya que tiene un influencia sustancial que no estaba allí antes:

• La capacidad de transformación de la IA es más sustancial que la de los datos y el aprendizaje automático.

• La motivación para adoptar la IA es mucho más potente que nunca.

Si elige la dirección y la estrategia correctas, la transformación que puede aportar a su organización es significativa. Estas son algunos de mis pensamientos sobre direcciones que pueden experimentar menos interrupciones a medida que el modelo de IA escala aún más. Creo que son igualmente importantes con la plataforma de IA:

• Productos de datos de alta calidad y semánticos: los productos de datos con alta precisión y responsabilidad, descripciones ricas y métricas confiables “irradiarán” más impacto con el crecimiento de los modelos de IA.
• Servicio de datos multimodales: OLTP, OLAP, NoSQL y Elasticsearch, un servicio de conocimiento escalable detrás del servidor MCP, puede requerir múltiples tipos de bases de datos para admitir la servicio de datos de alto rendimiento. Es difícil mantener una sola fuente de verdad y rendimiento con constantes trabajos de ETL inversos.
• AI DevOps: desarrollo de software, mantenimiento y análisis centrado en la IA. La precisión de la generación de código aumenta considerablemente en los últimos 12 meses.
• Experimentación y monitoreo: dada la mayor incertidumbre de las aplicaciones de IA, la evaluación y el monitoreo de estas aplicaciones son aún más críticos.

Estos son mis pensamientos sobre la construcción de plataformas AI. Por favor, hágame saber sus pensamientos al respecto también. ¡Salud!