En el procesamiento del lenguaje natural (PNL), los investigadores se esfuerzan constantemente por mejorar las capacidades de los modelos de lenguaje, que desempeñan un papel crucial en la generación de texto, la traducción y el análisis de sentimientos. Estos avances requieren herramientas y métodos sofisticados para evaluar estos modelos de manera efectiva. Una de esas herramientas innovadoras es Prometheus-Eval.
Prometeo-Eval es un repositorio que proporciona herramientas para entrenar, evaluar y utilizar modelos de lenguaje especializados en evaluar otros modelos de lenguaje. Incluye el paquete Python Prometheus-eval, que ofrece una interfaz sencilla para evaluar pares instrucción-respuesta. Este paquete admite métodos de calificación tanto absolutos como relativos, lo que permite evaluaciones integrales. El método de calificación absoluta genera una puntuación entre 1 y 5, mientras que el método de calificación relativa compara las respuestas y determina la mejor. La herramienta también incluye conjuntos de datos de evaluación y scripts para entrenar o ajustar modelos de Prometheus en conjuntos de datos personalizados.
Las características clave de Prometheus-Eval radican en su capacidad para simular juicios humanos y evaluaciones patentadas basadas en LM. Al proporcionar un marco de evaluación sólido y transparente, Prometheus-Eval garantiza equidad y asequibilidad. Elimina la dependencia de modelos de código cerrado para la evaluación y permite a los usuarios construir canales de evaluación internos sin preocuparse por las actualizaciones de la versión GPT. Prometheus-Eval es accesible para muchos usuarios y solo requiere GPU de consumo para su funcionamiento.
Aprovechando el éxito de Prometheus-Eval, investigadores de KAIST AI, LG AI Research, la Universidad Carnegie Mellon, el MIT, el Instituto Allen de IA y la Universidad de Illinois en Chicago han presentado Prometeo 2, un modelo de lenguaje evaluador de última generación. Prometheus 2 ofrece mejoras significativas con respecto a su predecesor. Prometheus 2 (8x7B) admite formatos de evaluación directa (calificación absoluta) y clasificación por pares (calificación relativa), lo que mejora la flexibilidad y precisión de las evaluaciones.
Prometheus 2 muestra una correlación de Pearson de 0,6 a 0,7 con GPT-4-1106 en una escala Likert de 5 puntos en múltiples puntos de referencia de evaluación directa, incluidos VicunaBench, MT-Bench y FLASK. Además, obtiene una puntuación de 72 % a 85 % de acuerdo con los juicios humanos en múltiples puntos de referencia de clasificación por pares, como HHH Alignment, MT Bench Human Judgment y Auto-J Eval. Estos resultados resaltan la alta precisión y coherencia del modelo en la evaluación de modelos de lenguaje.
Prometheus 2 (8x7B) está diseñado para ser accesible y eficiente. Requiere sólo 16 GB de VRAM, lo que lo hace adecuado para ejecutarse en GPU de consumo. Esta accesibilidad amplía su usabilidad, permitiendo que más investigadores se beneficien de sus capacidades de evaluación avanzadas sin hardware costoso. Prometheus 2 (7B), una versión más ligera del modelo 8x7B, logra al menos el 80% de las estadísticas de evaluación o rendimiento de su contraparte más grande. Esto la convierte en una herramienta muy eficiente, superando a modelos como Llama-2-70B y estando a la par con Mixtral-8x7B.
El paquete Prometheus-Eval ofrece una interfaz sencilla para evaluar pares instrucción-respuesta usando Prometheus 2. Los usuarios pueden cambiar fácilmente entre los modos de calificación absoluta y relativa proporcionando diferentes formatos de mensajes de entrada y mensajes del sistema. La herramienta permite integrar varios conjuntos de datos, asegurando evaluaciones integrales y detalladas. También se admite la calificación por lotes, lo que proporciona una velocidad diez veces mayor para respuestas múltiples, lo que la hace altamente eficiente para evaluaciones a gran escala.
En conclusión, Prometheus-Eval y Prometheus 2 abordan la necesidad crítica de herramientas de evaluación confiables y transparentes en PNL. Prometheus-Eval ofrece un marco sólido para evaluar modelos de lenguaje, garantizando equidad y accesibilidad. Prometheus 2 se basa en esta base y proporciona capacidades de evaluación avanzadas con métricas de rendimiento impresionantes. Los investigadores ahora pueden evaluar sus modelos con mayor confianza, sabiendo que cuentan con una herramienta integral y accesible.
Fuentes
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.