La investigación y los experimentos son el núcleo de cualquier ejercicio que involucre IA. Crear aplicaciones LLM no es diferente. A diferencia de las aplicaciones web tradicionales que siguen un diseño predeterminado que tiene poca o ninguna variación, los diseños basados ​​en IA dependen en gran medida de los experimentos y pueden cambiar según los primeros resultados. El factor de éxito es experimentar con expectativas claramente definidas en iteraciones, seguido de una evaluación continua de cada iteración. En el desarrollo nativo de LLM, el criterio de éxito suele ser la calidad del resultado, lo que significa que la atención se centra en producir resultados precisos y altamente relevantes. Puede ser una respuesta del chatbot, un resumen de texto, una generación de imágenes o incluso una acción (enfoque agente) definida por LLM. Generar resultados de calidad de manera constante requiere una comprensión profunda de los modelos de lenguaje subyacentes, un ajuste constante de las indicaciones y una evaluación rigurosa para garantizar que la aplicación cumpla con los estándares deseados.

¿Qué tipo de habilidades tecnológicas necesitas en el equipo?

Se podría suponer que un equipo con solo un puñado de científicos de datos es suficiente para crear una aplicación LLM. Pero en realidad, las habilidades de ingeniería son igual o más importantes para «entregar» realmente el producto objetivo, ya que las aplicaciones LLM no siguen el enfoque clásico de ML. Tanto para los científicos de datos como para los ingenieros de software, se requieren algunos cambios de mentalidad para familiarizarse con el enfoque de desarrollo. He visto ambos roles haciendo este viaje, como científicos de datos que se familiarizan con la infraestructura de la nube y la implementación de aplicaciones y, por otro lado, ingenieros que se familiarizan con las complejidades del uso de modelos y la evaluación de los resultados de LLM. En definitiva, necesitas Practicantes de IA en un equipo que no está ahí solo para «codificar», sino más bien para investigar, colaborar y mejorar la aplicabilidad de la IA.

¿Realmente necesito «experimentar» ya que vamos a utilizar modelos de lenguaje previamente entrenados?

Los LLM populares como GPT-4o ya están capacitados con un gran conjunto de datos y son capaces de reconocer y generar textos, imágenes, etc., por lo que no es necesario «entrenar» este tipo de modelos. Es posible que muy pocos escenarios requieran ajustar el modelo, pero eso también se puede lograr fácilmente sin necesidad de un enfoque de aprendizaje automático clásico. Sin embargo, no confundamos el término «experimento» con la metodología de «entrenamiento de modelos» utilizada en el aprendizaje automático predictivo. Como mencioné anteriormente, la calidad del resultado de la aplicación es importante. Configurar iteraciones de experimentos puede ayudarnos a alcanzar la calidad objetivo del resultado. Por ejemplo, si está creando un chatbot y desea controlar cómo debe verse la salida del bot para el usuario final, un enfoque iterativo y experimental para mejorar rápidamente y ajustar los hiperparámetros le ayudará a encontrar la manera correcta de generar la mayor cantidad de resultados precisos y consistentes.

Construya un prototipo al principio de su viaje

Cree un prototipo (también conocido como MVP, producto mínimo viable) con solo las funcionalidades principales lo antes posible, idealmente en un plazo de 2 a 4 semanas. Si está utilizando una base de conocimientos para el enfoque RAG, utilice un subconjunto de datos para evitar un preprocesamiento extenso de datos.

• Obtener comentarios rápidos de un subconjunto de usuarios objetivo le ayuda a comprender si la solución cumple con sus expectativas.
• Revise con las partes interesadas no solo para mostrar los buenos resultados, sino también para discutir las limitaciones y limitaciones que su equipo descubrió durante la creación del prototipo. Esto es crucial para mitigar los riesgos tempranamente y también para tomar decisiones informadas con respecto a la entrega.
• El equipo puede finalizar los requisitos de tecnología, seguridad y escalabilidad para mover el prototipo a un producto completamente funcional y a un cronograma de entrega.

Determine si su prototipo está listo para integrarse en el «producto».

La disponibilidad de múltiples muestras centradas en la IA ha hecho que sea muy fácil crear un prototipo, y las pruebas iniciales de dichos prototipos suelen arrojar resultados prometedores. Para cuando el prototipo esté listo, el equipo podría tener más conocimientos sobre los criterios de éxito, la investigación de mercado, la base de usuarios objetivo, los requisitos de la plataforma, etc. En este punto, considerar las siguientes preguntas puede ayudar a decidir la dirección hacia la que puede moverse el producto:

1. ¿Las funcionalidades desarrolladas en el prototipo satisfacen la necesidad principal de los usuarios finales o del proceso de negocio?
2. ¿Cuáles son los desafíos que enfrentó el equipo durante el desarrollo del prototipo y que podrían surgir en el proceso de producción? ¿Existe algún método para mitigar estos riesgos?
3. ¿El prototipo plantea algún riesgo con respecto a los principios de IA responsable? Si es así, ¿qué medidas de seguridad se pueden implementar para evitar estos riesgos? (Discutiremos más sobre este punto en la parte 2.)
4. Si la solución se va a integrar en un producto existente, ¿qué podría impedirlo?
5. Si la solución maneja datos confidenciales, ¿se han tomado medidas efectivas para manejar la privacidad y seguridad de los datos?
6. ¿Necesita definir algún requisito de rendimiento para el producto? ¿Los resultados del prototipo son prometedores en este aspecto o se pueden mejorar aún más?
7. ¿Cuáles son los requisitos de seguridad que necesita su producto?
8. ¿Su producto necesita alguna interfaz de usuario? (Un caso de uso común basado en LLM es el chatbot, por lo que es necesario definir los requisitos de la interfaz de usuario lo antes posible)
9. ¿Tiene una estimación de costos para el uso de LLM de su MVP? ¿Cómo se ve considerando la escala estimada de uso en producción y su presupuesto?

Si puede obtener respuestas satisfactorias a la mayoría de las preguntas después de la revisión inicial, junto con buenos resultados de su prototipo, entonces podrá seguir adelante con el desarrollo del producto.

Estén atentos a la parte 2 donde hablaré sobre cuál debería ser su enfoque para el desarrollo de productos, cómo puede implementar una IA responsable desde el principio en el producto y técnicas de gestión de costos.

Sígueme si quieres leer más contenido de este tipo sobre tecnología nueva y emocionante. Si tiene algún comentario, deje un comentario. Gracias 🙂