Recientemente comencé a explorar cómo usar modelos de lenguaje grandes (LLM) para automatizar el análisis de datos de modo que pueda hacerles preguntas sobre un conjunto de datos en forma natural y ellos respondan generando y ejecutando código. Implementado todo esto como una aplicación web, yo (¡y usted!) pudimos probar el poder y las limitaciones de este enfoque, confiando por el momento completamente en el programa que escribe JavaScript estándar:
Como explico en ese artículo, mi principal interés es abordar esta pregunta:
¿Puedo hacer preguntas a un LLM sobre un conjunto de datos con mis propias palabras y hacer que interprete estas preguntas con las matemáticas o secuencias de comandos necesarias para responderlas?
Después de las diversas pruebas allí informadas, identifiqué varias limitaciones que, sinceramente, excluyen las aplicaciones más interesantes. Es decir, si bien tanto GPT-3.5-turbo como GPT-4 demuestran comprensión de las consultas de los usuarios y pueden generar código adecuado para diversas tareas de análisis de datos, surgen desafíos al lidiar con operaciones matemáticas complejas y solicitudes de cierta complejidad. Y no me refiero a una complejidad muy alta; por ejemplo, ambos LLM pudieron producir código correcto para ejecutar regresión lineal, pero fallaron en ajustes cuadráticos y se perdieron por completo al intentar implementar procedimientos como el análisis de componentes principales (PCA). Lo peor es que a menudo ni siquiera se “daban cuenta” de que la tarea era demasiado para ellos, alucinando con un código que parecía correcto en un pase rápido (por ejemplo, el procedimiento PCA intentó invocar la descomposición en valores singulares, SVD) y a veces no lo hacía. Ni siquiera chocó, pero estuvo completamente equivocado.