La necesidad de técnicas eficientes y confiables para evaluar el desempeño de los modelos de lenguaje grande (LLM) está aumentando a medida que estos modelos se incorporan a más y más dominios. Al evaluar la eficacia con la que operan los LLM en interacciones dinámicas del mundo real, los estándares de evaluación tradicionales se utilizan con frecuencia en conjuntos de datos estáticos, lo que presenta problemas graves.
Dado que las preguntas y respuestas en estos conjuntos de datos estáticos generalmente no cambian, es un desafío predecir cómo respondería un modelo a las discusiones cambiantes de los usuarios. Muchos de estos puntos de referencia exigen que el modelo utilice conocimientos previos particulares, lo que podría dificultar la evaluación de la capacidad de razonamiento lógico de un modelo. Esta dependencia del conocimiento preestablecido restringe la evaluación de la capacidad de razonamiento e inferencia de un modelo independientemente de los datos almacenados.
Otros métodos para evaluar los LLM incluyen interacciones dinámicas, como evaluaciones manuales realizadas por evaluadores humanos o el uso de modelos de alto rendimiento como punto de referencia. Estos enfoques tienen sus propias desventajas, aunque pueden proporcionar un entorno de evaluación más adaptable. Los modelos fuertes pueden tener un estilo o metodología específica que afecta el proceso de evaluación; por lo tanto, utilizarlos como puntos de referencia puede introducir sesgos. La evaluación manual frecuentemente requiere una cantidad significativa de tiempo y dinero, lo que la hace inviable para aplicaciones a gran escala. Estas limitaciones llaman la atención sobre la necesidad de un sustituto que equilibre la rentabilidad, la equidad de la evaluación y el carácter dinámico de las interacciones del mundo real.
Para superar estos problemas, un equipo de investigadores de China ha introducido TurtleBench, un sistema de evaluación único. TurtleBench emplea una estrategia que consiste en recopilar interacciones reales de los usuarios a través de Turtle Soup Puzzle1, una plataforma web especialmente diseñada. Los usuarios de este sitio pueden participar en ejercicios de razonamiento donde deberán adivinar en base a circunstancias predeterminadas. Luego se crea un conjunto de datos de evaluación más dinámico utilizando los puntos de datos recopilados de las predicciones de los usuarios. Es menos probable que los modelos que hacen trampa memorizando conjuntos de datos fijos utilicen este enfoque porque los datos cambian en respuesta a interacciones reales del usuario. Esta configuración proporciona una representación más precisa de las capacidades prácticas de un modelo, lo que también garantiza que las evaluaciones estén más estrechamente vinculadas con los requisitos de razonamiento de los usuarios reales.
Las 1.532 conjeturas de los usuarios en el conjunto de datos de TurtleBench van acompañadas de anotaciones que indican la exactitud o inexactitud de cada conjetura. Esto permite examinar en profundidad con qué éxito los LLM realizan tareas de razonamiento. TurtleBench ha llevado a cabo un análisis exhaustivo de nueve LLM principales utilizando este conjunto de datos. El equipo compartió que los modelos de la serie OpenAI o1 no ganaron estas pruebas.
Según una teoría que surgió de este estudio, las capacidades de razonamiento de los modelos OpenAI o1 dependen de estrategias de cadena de pensamiento (CoT) comparativamente básicas. CoT es una técnica que puede ayudar a que los modelos sean más precisos y claros generando pasos intermedios de razonamiento antes de llegar a una conclusión final. Por otro lado, parece que los procesos CoT de los modelos o1 podrían ser demasiado simples o superficiales para funcionar bien en tareas de razonamiento desafiantes. Según otra teoría, alargar los procesos CoT puede mejorar la capacidad de razonamiento de un modelo, pero también puede agregar ruido adicional o información no relacionada o que distraiga, lo que podría causar confusión en el proceso de razonamiento.
Las características dinámicas e impulsadas por el usuario de la evaluación TurtleBench ayudan a garantizar que los puntos de referencia sigan siendo aplicables y cambien para cumplir con los requisitos cambiantes de las aplicaciones prácticas.
Mira el Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml.
[Upcoming Live Webinar- Oct 29, 2024] La mejor plataforma para ofrecer modelos optimizados: motor de inferencia Predibase (promocionado)
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería en Ciencias de la Computación con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.
