Aprender de las preferencias por pares: una introducción al modelo de Bradley Terry

asume la disponibilidad de etiquetas absolutas. Por ejemplo, una instancia pertenece a una clase, un documento recibe una puntuación, a una observación se le asigna una probabilidad, un producto se califica en una escala fija. En la práctica, sin embargo, el juicio humano suele aparecer en una forma más local y comparativa. Es posible que las personas no sepan si una respuesta merece un 7,4 sobre 10, pero a menudo pueden decir cuál de dos respuestas es mejor. Pueden dudar en asignar una puntuación de calidad absoluta a un candidato, pero pueden decir cuál de dos candidatos parece más fuerte. En muchos sistemas reales, la comparación es mucho más fácil que la calibración.

Este es el escenario en el que el modelo Bradley-Terry resulta especialmente útil al ofrecer una forma matemáticamente clara de aprender a partir de preferencias por pares. En lugar de pedir juicios absolutos, parte de resultados simples y los utiliza para inferir un orden latente sobre los elementos para dar una clasificación probabilística coherente.

Figura 1: El modelo Bradley-Terry aprende las fortalezas latentes de los elementos a partir de comparaciones por pares y las utiliza para estimar las probabilidades de ganar entre elementos. 📖 Fuente: imagen del autor vía GPT-5.4.

La idea central: cada elemento tiene una fuerza latente

El modelo comienza con una suposición simple. Cada elemento i está asociado con un parámetro de fuerza positivo no observado, escrito como πᵢ > 0. Cuando el elemento i se compara con el elemento j, la probabilidad de que se prefiera i a j se define como:

y simétricamente podemos escribir:

Esta forma es bastante atractiva porque es simple e interpretable. Si los dos elementos tienen la misma fuerza, entonces cada uno tiene la probabilidad de ganar la mitad. Si πᵢ es mucho mayor que πⱼ, entonces i tiene muchas más probabilidades de ganar. El modelo de Bradley Tery traduce las fortalezas relativas ocultas en probabilidades por pares observables.

Una segunda forma, y ​​a menudo más conveniente, de escribir el mismo modelo es expresar cada fortaleza positiva como exponencial de una puntuación de valor real:

Sustituyendo esto en la expresión de probabilidad se obtiene:

que también se puede escribir como:

Esto hace visible un hecho importante. La probabilidad de que i gane a j depende sólo de la diferencia βᵢ − βⱼ. Por tanto, Bradley-Terry está estrechamente relacionado con el modelado logístico. Ésta es la misma idea estructural que aparece en la regresión logística. En la regresión logística, se modela un resultado binario aplicando la función logística a una puntuación lineal. En Bradley-Terry, el resultado binario es el resultado de una comparación directa, y la puntuación relevante es simplemente la diferencia entre las dos fortalezas latentes. De manera equivalente, las probabilidades logarítmicas de que i gane a j son lineales en βᵢ − βⱼ, lo que convierte a Bradley-Terry en un modelo particularmente natural para datos de preferencia por pares.

Más específicamente, lo que importa no es el nivel absoluto de la puntuación de un ítem, sino su posición relativa al otro ítem en la comparación.

Un ejemplo sencillo

Considere tres respuestas candidatas generadas por un modelo de lenguaje: A, B y C. Supongamos que los anotadores humanos producen las siguientes preferencias:

Se prefiere A a B Se prefiere A a C Se prefiere B a C

Incluso sin valoraciones numéricas, ya se ve una estructura. A parece más fuerte, B después y C más débil. El modelo Bradley-Terry formaliza esta intuición al encontrar fortalezas latentes que hacen que estos resultados observados sean plausibles según el modelo.

Este es el primer paso conceptual que vale la pena señalar. El modelo no comienza con puntuaciones globales y luego deriva resultados por pares. Hace lo contrario. Comienza con comparaciones locales e infiere las puntuaciones latentes que mejor las explican.

Ajustar el modelo a partir de datos

Ahora supongamos que las comparaciones se repiten muchas veces en una colección más grande de elementos. Para cada par ordenado (i, j), sea wᵢⱼ el número de veces que el elemento i supera al elemento j, y sea wⱼᵢ el número de veces que j supera a i.

El modelo Bradley-Terry ajusta los parámetros eligiendo valores de las fortalezas que hacen que los datos de comparación observados sean lo más probables posible. Esto se hace mediante estimación de máxima verosimilitud.

Para un solo par de elementos i y j, la contribución de probabilidad es:

La interpretación es sencilla. Si el ítem i vence al ítem j muchas veces, entonces el modelo ajustado debería asignar una alta probabilidad a que i supere a j. Si j también ganó algunas comparaciones, entonces el modelo también debería tener en cuenta eso. La probabilidad recompensa la configuración de parámetros que otorgan una alta probabilidad a los resultados que realmente se observaron.

En todos los pares de ítems, la probabilidad total se obtiene multiplicando estos términos. En la práctica, se trabaja con la probabilidad logarítmica, porque es más fácil de optimizar. La probabilidad logarítmica es:

El problema de ajuste es entonces encontrar los valores de los parámetros que maximicen esta cantidad.

Una mirada más profunda a la adaptación del modelo Bradley-Terry

A un nivel intuitivo, el proceso de optimización ajusta las fortalezas latentes para que las probabilidades predichas del modelo se alineen con los resultados de la comparación empírica.

Si un objeto gana con frecuencia, su fuerza debería aumentar. Si pierde con frecuencia, su fuerza debería disminuir. Si dos elementos dividen sus competencias aproximadamente en partes iguales, sus puntos fuertes deberían acercarse. Estas son las consecuencias informales. El mecanismo técnico detrás de ellos es el gradiente del logaritmo de verosimilitud.

Usando la parametrización πᵢ = exp(βᵢ), el gradiente con respecto a βᵢ se puede escribir como:

Esta expresión es la señal de aprendizaje central en el modelo Bradley-Terry y tiene una interpretación muy clara.

El primer término, wᵢⱼ, es el número de victorias que el elemento i realmente logró contra el elemento j. El segundo término, (wᵢⱼ + wⱼᵢ) P(i ≻ j), es el número de victorias que el modelo actual espera que logre el ítem i frente al ítem j.

Entonces, el gradiente mide una discrepancia entre dos cantidades: ganancias observadas y ganancias esperadas.

El descenso de gradiente ajusta la fuerza latente de la siguiente manera:

Si el elemento i gana con más frecuencia de lo que predice el modelo actual, entonces el gradiente es positivo y βᵢ debería aumentar. Si el elemento i gana con menos frecuencia de lo previsto, entonces el gradiente es negativo y βᵢ debería disminuir.

El aprendizaje procede corrigiendo repetidamente estas discrepancias hasta que los resultados esperados del modelo se alinean lo más posible con los datos observados. Ésta es la forma más útil de pensar en la adaptación Bradley-Terry. Aprender es ajustar las fortalezas latentes hasta que el comportamiento esperado por pares coincida con el comportamiento empírico por pares.

Sin embargo, hay una sutileza importante en el modelo de Bradely Terry. El modelo no identifica una escala absoluta de calidad. Sólo importan las fortalezas relativas. Si cada parámetro de fuerza se multiplica por la misma constante positiva c, las probabilidades por pares no cambian:

Esto significa que el modelo aprende una estructura de clasificación relativa en lugar de una puntuación absoluta en alguna unidad externa. En la práctica, normalmente se fija la escala imponiendo una normalización, como establecer un valor β en cero o restringir los parámetros para que sumen una constante.

De los juicios locales a la estructura global

El atractivo más profundo del modelo Bradley-Terry reside en la forma en que convierte muchos juicios locales en una única representación global. Cada comparación individual dice muy poco por sí sola. Sólo nos dice que, en una competencia cara a cara, se prefirió un elemento a otro. Sin embargo, cuando estas observaciones locales se agregan en un conjunto de datos, comienza a surgir una estructura más amplia. El modelo reconstruye esa estructura en forma de fortalezas latentes y probabilidades por pares.

Esta es la razón por la que Bradley-Terry sigue siendo un modelo tan útil, pero podría decirse que aún es menos conocido en el conjunto de herramientas del científico de datos. Ofrece un puente de principios entre ruidosos juicios comparativos y clasificaciones probabilísticas globales. Respeta el hecho de que la supervisión humana suele ser más fácil de obtener en forma relativa que absoluta, y convierte esa evidencia relativa en algo matemáticamente manejable.

La siguiente pregunta natural es por qué las comparaciones por pares suelen ser más estables y fiables que la puntuación directa. Ahí es donde el atractivo práctico de la supervisión comparada se vuelve aún más claro.

Por qué las comparaciones por pares suelen ser mejores que las puntuaciones directas

Una de las principales ventajas prácticas del escenario Bradley-Terry es que los juicios por pares suelen ser más fáciles de emitir para los humanos que los absolutos. Esto es en parte una cuestión de carga cognitiva. Preguntar si la respuesta A es mejor que la respuesta B requiere una comparación local. Preguntar si la respuesta A merece una puntuación de 7,8 sobre 10 requiere un estándar interno, una calibración con ejemplos anteriores y una interpretación estable de lo que debe representar la escala numérica. En muchos ámbitos, la gente es mucho mejor en lo primero que en lo segundo.

Esta diferencia es importante porque el ruido de supervisión no es todo del mismo tipo. Las puntuaciones directas a menudo adolecen de inconsistencia de escala. Un anotador puede utilizar todo el rango de 1 a 10, mientras que otro comprime casi todos los juicios en el intervalo de 6 a 8. Un revisor puede tratar 5 como promedio y otro como deficiente. Incluso la misma persona puede puntuar con mayor dureza por la mañana que por la tarde. El problema no es simplemente el desacuerdo sobre la calidad. Es un desacuerdo sobre el significado de la escala misma.

Las comparaciones por pares evitan gran parte de esta dificultad. No requieren que el anotador ancle un juicio a un marco numérico global. Sólo piden una decisión relativa: ¿cuál de estos dos elementos es mejor? Ésta es una pregunta más sencilla y, a menudo, más estable. Como resultado, los juicios comparativos suelen ser menos ruidosos, más fáciles de recopilar de manera consistente y más sólidos entre los anotadores.

También hay una razón estructural por la que los datos por pares son atractivos. En muchos sistemas reales, la clasificación es el verdadero objetivo posterior. Un motor de búsqueda necesita ordenar los resultados. Un sistema de recomendación debe colocar los mejores elementos delante de los peores. Un modelo de recompensa para la generación de lenguaje necesita distinguir los resultados preferidos de los menos preferidos. En estos entornos, las puntuaciones absolutas pueden ser una abstracción intermedia innecesaria. La supervisión por pares está más cerca del problema de decisión que el sistema intenta resolver en última instancia.

Esto no significa que los juicios por parejas estén exentos de dificultades. Pueden resultar costosos cuando la cantidad de elementos es muy grande y pueden contener ciclos o inconsistencias. Un anotador puede preferir A a B, B a C y, sin embargo, C a A. Diferentes anotadores pueden estar en total desacuerdo. Aun así, la supervisión por pares a menudo sigue siendo atractiva porque desplaza el problema de pedir a los humanos que proporcionen puntuaciones perfectamente calibradas a pedirle a un modelo que infiera una estructura latente a partir de evidencia comparativa local.

Eso es precisamente para lo que está diseñado Bradley-Terry. Se necesita una colección de resultados pequeños, posiblemente ruidosos, comparativos y se ajusta a una clasificación probabilística global que los explique mejor. El modelo es valioso no porque los juicios por pares sean perfectos, sino porque a menudo son la señal más natural y confiable disponible.

Profundizando: identificabilidad, curvatura y optimización

El modelo básico de Bradley-Terry es fácil de enunciar, pero su estructura técnica se vuelve más interesante una vez que uno pregunta cómo se estiman realmente los parámetros y bajo qué condiciones esa estimación se comporta bien.

Identificabilidad

Una primera cuestión es la identificabilidad. En la parametrización utilizando fuerzas positivas πᵢ, las probabilidades no cambian si cada parámetro se multiplica por la misma constante positiva. La razón es sencilla:

Depende sólo de la proporción de las fortalezas, no de su escala común. Si cada πᵢ se reemplaza por cπᵢ para algún c > 0, las probabilidades siguen siendo exactamente las mismas.

El mismo problema aparece en la parametrización de fuerza logarítmica πᵢ = exp(βᵢ). Agregar la misma constante a cada βᵢ deja todas las probabilidades por pares sin cambios, ya que solo importan diferencias como βᵢ − βⱼ. Por tanto, el modelo tiene un grado de libertad redundante.

En la práctica, esto se soluciona imponiendo una normalización. Las opciones comunes incluyen:

o

Estas restricciones no cambian las probabilidades ajustadas. Simplemente fijan un nivel de referencia para que la solución sea única.

También hay un aspecto teórico de grafos en la identificabilidad. Si el gráfico de comparación está desconectado, entonces las fortalezas relativas de los elementos en diferentes componentes conectados no se pueden determinar a partir de los datos. En términos más generales, para estimar una clasificación global significativa, las comparaciones observadas deben conectar los elementos lo suficientemente bien. De lo contrario, los datos sólo identifican clasificaciones locales separadas dentro de subconjuntos aislados.

La probabilidad logarítmica otra vez

Recuerde la probabilidad logarítmica:

Ésta es la función objetivo que maximizamos. Su gradiente con respecto a βᵢ es:

Como se analizó anteriormente, esto son las victorias observadas menos las victorias esperadas. Esto le da al gradiente una interpretación particularmente atractiva. El modelo aumenta la puntuación de un elemento cuando gana con más frecuencia de lo previsto y la disminuye cuando gana con menos frecuencia de lo previsto.

En el mejor de los casos, estas discrepancias se equilibran lo mejor posible en toda la red de comparación.

El hessiano y la curvatura

Para comprender la geometría del problema de optimización, es útil examinar las segundas derivadas. Para el registro de verosimilitud de Bradley-Terry, la segunda derivada diagonal toma la forma:

y para i ≠ j, la segunda derivada fuera de la diagonal es:

siempre que se comparen los elementos i y j, y 0 en caso contrario. De esta estructura se desprenden varias cosas:

Primero, el hessiano es semidefinido negativo, lo que significa que la probabilidad logarítmica es cóncava en β hasta la cuestión de la identificabilidad ya discutida. Ésta es una propiedad importante. Implica que, una vez que se soluciona la ambigüedad de escala, el problema de optimización tiene un óptimo global de buen comportamiento en lugar de muchos máximos locales no relacionados. En segundo lugar, la curvatura depende del término P(i ≻ j) P(j ≻ i). Esta cantidad es mayor cuando la competencia es incierta, es decir, cuando los dos elementos tienen fuerza similar y cada uno tiene una probabilidad sustancial de ganar. Se vuelve pequeño cuando un elemento es abrumadoramente más fuerte que el otro. Intuitivamente, las comparaciones que ya son casi deterministas contribuyen con menos curvatura local, porque el modelo ya está bastante seguro acerca de ellas.

Este es un punto útil para mencionar en un artículo técnico porque conecta las matemáticas con la geometría de los datos. Las comparaciones más informativas suelen ser aquellas entre artículos de calidad más o menos similar. Son las competencias que proporcionan la señal local más fuerte sobre el orden relativo.

Ascenso de gradiente

El enfoque de optimización más directo es el ascenso de gradiente. A partir de una estimación inicial de los parámetros, se actualizan repetidamente:

donde η es la tasa de aprendizaje.

Debido a que la probabilidad logarítmica es cóncava después de la normalización, este procedimiento es conceptualmente sencillo. En cada paso, los parámetros se mueven en la dirección que aumenta el ajuste entre las expectativas del modelo y los resultados observados. En problemas pequeños o medianos, esto suele ser perfectamente adecuado.

Dicho esto, el ascenso en gradiente simple no siempre es el enfoque más eficiente. Su tasa de convergencia depende de la tasa de aprendizaje y de la curvatura local del objetivo. Si η es demasiado pequeño, el aprendizaje es lento; si es demasiado grande, las actualizaciones pueden excederse.

Newton y métodos de segundo orden

Debido a que el gradiente y el hessiano están disponibles en forma cerrada, Bradley-Terry también puede equiparse con métodos de Newton o cuasi-Newton. Un paso de Newton toma la forma:

donde H es la matriz de Hesse y ∇ℓ es el vector gradiente.

La ventaja de los métodos de segundo orden es que tienen en cuenta directamente la curvatura. En lugar de moverse sólo según la pendiente, también utilizan información sobre qué tan bruscamente se dobla el objetivo. Esto a menudo produce una convergencia más rápida, especialmente cerca del óptimo.

El inconveniente es computacional. Calcular e invertir el hessiano puede resultar costoso cuando la cantidad de elementos es grande. Por esa razón, las implementaciones prácticas a menudo prefieren métodos cuasi-Newton o esquemas iterativos especializados.

Actualizaciones de MM

Uno de los procedimientos de ajuste clásicos para Bradley-Terry es un algoritmo MM, donde MM significa minorización-maximización o mayorización-minimización según la convención. Estos métodos reemplazan el objetivo difícil con una función sustituta más simple que es más fácil de optimizar en cada paso.

Para Bradley-Terry, la actualización de MM para las fortalezas positivas se puede escribir de la siguiente manera:

dónde:

es el número total de victorias para el elemento i, y

es el número total de comparaciones entre i y j.

Esta actualización tiene una interpretación atractiva. El numerador cuenta con qué frecuencia gané el artículo. El denominador refleja cuántas oportunidades de ganar tenía bajo la parametrización actual. El algoritmo reescala repetidamente cada intensidad para que estas cantidades se alineen mejor.

Los métodos MM son populares para Bradley-Terry porque preservan la positividad automáticamente y, a menudo, se comportan de manera estable en la práctica.

Una interpretación estadística del óptimo

La condición de primer orden para la optimización es especialmente reveladora. Establecer el gradiente a cero da:

para cada artículo i.

Esto significa que, en el nivel óptimo, las ganancias totales observadas del ítem i son iguales a las ganancias totales esperadas para el ítem i según el modelo ajustado. En otras palabras, las fortalezas estimadas son aquellas para las cuales el modelo reproduce los recuentos empíricos de victorias lo más fielmente posible a las expectativas.

Esta es quizás la interpretación más clara del aprendizaje de Bradley-Terry. El modelo se ajusta cuando su explicación probabilística interna del mundo está en equilibrio con los datos de comparación.

Bradley-Terry contextual: cuando la fuerza depende del entorno

El modelo estándar de Bradley-Terry asigna una única fuerza latente a cada elemento. Esta es una simplificación útil, pero también es una limitación importante. En la práctica, la solidez de un ítem depende a menudo de las circunstancias de la comparación. Un modelo de lenguaje puede funcionar bien en razonamiento matemático pero mal en escritura creativa. Un jugador de ajedrez puede ser más fuerte en formatos rápidos que en controles de tiempo clásicos. Un producto puede ser preferido en un segmento del mercado pero no en otro.

El modelo contextual de Bradley-Terry aborda esto permitiendo que la fuerza latente varíe en función de covariables observables. En lugar de un parámetro fijo βᵢ para cada elemento, se escribe:

donde xᵢ es un vector de características asociadas con el elemento i en el contexto de comparación actual, y w es un vector de coeficientes compartido entre todos los elementos que se estima a partir de los datos. La probabilidad de comparación se convierte en:

Esta formulación revela una equivalencia estructural en la que vale la pena detenerse. Si se define el vector de diseño para una comparación como dᵢⱼ = xᵢ − xⱼ, entonces el modelo contextual de Bradley-Terry se convierte en:

donde σ es la función logística. Esto es simplemente una regresión logística sobre la diferencia de vectores de características. Cada comparación por pares se trata como un problema de clasificación binaria, y las características son las diferencias entre elementos entre los vectores covariables de los dos elementos.

Esta equivalencia tiene una consecuencia práctica. Cualquier paquete de software que se ajuste a la regresión logística se puede utilizar para ajustar un modelo contextual de Bradley-Terry. Se construye un conjunto de entrenamiento en el que cada fila corresponde a una comparación, las características son dᵢⱼ = xᵢ − xⱼ y la etiqueta es 1 si se prefiere i y 0 en caso contrario. El vector de coeficiente estimado w determina cómo contribuye cada característica a la probabilidad de ganar.

Qué capturan las covariables

La elección de covariables determina lo que puede expresar el modelo. En el contexto de la evaluación del modelo de lenguaje, las covariables relevantes pueden incluir el tema de la pauta (matemáticas, codificación, escritura creativa), la dificultad de la pauta (estimada a partir de las tasas de acuerdo del anotador o de predictores basados ​​en incrustaciones), la duración de la pauta o el turno de conversación en el que se realizó la comparación.

Con estas covariables, el modelo ya no estima una única fortaleza global para cada modelo lingüístico. En cambio, estima un perfil de fuerza en todo el espacio de características. Un modelo puede tener una fortaleza estimada alta en las indicaciones de codificación, pero una fortaleza menor en las tareas creativas abiertas. El vector de coeficientes aprendido w cuantifica cuánto cambia cada característica contextual la probabilidad del resultado.

Esta es una desviación significativa del modelo estándar. En el caso no contextual, el modelo responde a la pregunta: "¿Qué ítem es más fuerte en general?" En el caso contextual, responde: "¿Bajo qué condiciones cada elemento es más fuerte y en qué medida?"

Aplicación: El Chatbot Arena

La aplicación contemporánea más destacada del modelado contextual de Bradley-Terry es LMSYS Chatbot Arena (Chiang et al., 2024), una plataforma para la evaluación colaborativa de grandes modelos de lenguaje. Los usuarios envían mensajes, reciben respuestas de dos modelos anónimos e indican qué respuesta prefieren.

El desafío que enfrenta la Arena es que la ingenua clasificación Bradley-Terry trata todas las comparaciones como igualmente informativas. En la práctica, las indicaciones fáciles producen resultados casi indistinguibles de la mayoría de los modelos, mientras que las indicaciones difíciles revelan diferencias de calidad significativas. Una comparación sobre una cuestión fáctica trivial aporta mucha menos señal de clasificación que una comparación sobre un problema complejo de razonamiento de varios pasos.

The Arena aborda esto incorporando covariables a nivel de indicaciones en el marco de Bradley-Terry. La dificultad de las indicaciones, la categoría del tema y otras propiedades lingüísticas se incluyen como características, lo que permite al sistema estimar calificaciones específicas del contexto para cada modelo. El resultado no es una única puntuación Elo por modelo, sino un perfil de fortalezas aprendidas en todo el espacio de indicaciones y tareas.

Los intervalos de confianza de Bootstrap se calculan volviendo a muestrear los datos de comparación y reestimando los coeficientes de Bradley-Terry para cada muestra de bootstrap, lo que proporciona una medida de incertidumbre en las clasificaciones.

Extensión bayesiana: TrueSkill

Una extensión relacionada pero distinta es el tratamiento bayesiano de las fortalezas de los elementos. El sistema TrueSkill de Microsoft (Herbrich et al., 2006; Minka et al., 2018) reemplaza las estimaciones puntuales con distribuciones posteriores. La fuerza de cada ítem se modela como una variable aleatoria gaussiana con media μᵢ y varianza σᵢ². Después de observar cada comparación, se actualiza la posterior:

donde τ² es un parámetro de ruido del sistema que representa empates y perturbaciones. La varianza σᵢ² se reduce a medida que se observan más comparaciones, lo que refleja una mayor confianza en la fuerza estimada.

El beneficio práctico clave de este enfoque es que proporciona una medida natural de incertidumbre. Un ítem con pocas comparaciones tiene una alta varianza y, por lo tanto, un amplio intervalo de credibilidad. Un elemento con muchas comparaciones tiene una varianza baja y una estimación más precisa. Esta información de incertidumbre se puede utilizar para el emparejamiento adaptativo: emparejar elementos con alta incertidumbre entre sí acelera la convergencia de la clasificación.

TrueSkill no incorpora covariables de la misma manera que el modelo contextual de Bradley-Terry, pero las dos ideas son complementarias. Se podrían ubicar los antecedentes bayesianos en fortalezas dependientes del contexto, manteniendo distribuciones posteriores que varían en todo el espacio de características. Esta sigue siendo un área activa de investigación.

Beneficios de la contextualización

Los beneficios prácticos de la extensión contextual se pueden resumir de la siguiente manera.

Primero, interpretabilidad. En lugar de una única calificación opaca por ítem, el modelo proporciona un perfil de fortalezas que revela bajo qué condiciones un ítem funciona bien y bajo cuáles no. En segundo lugar, la eficiencia de los datos. Al aprovechar la estructura del espacio de características, los modelos contextuales pueden extraer más señales de clasificación de menos comparaciones. Un ítem que se ha comparado solo en las pautas de codificación aún puede recibir una fortaleza estimada en las pautas de matemáticas si el modelo ha aprendido cómo el tema afecta el desempeño de otros ítems. En tercer lugar, la generalización a nuevos elementos. En el modelo estándar, un elemento nuevo sin historial de comparación no tiene fuerza estimada. En el modelo contextual, si el vector de características del nuevo elemento está disponible, su fuerza se puede estimar mediante el vector de coeficientes aprendido w, sin ninguna comparación directa. Esta es una forma de predicción de arranque en frío que es particularmente valiosa cuando la cantidad de elementos es grande en relación con la cantidad de comparaciones.

Contabilización de evaluadores ruidosos: cuando no todas las comparaciones son iguales

El modelo Bradley-Terry, tanto en su forma estándar como contextual, supone que cada comparación observada es una extracción igualmente confiable de la distribución de probabilidad del modelo. Esta suposición a menudo se viola. En entornos de colaboración abierta, donde se recopilan comparaciones de muchos anotadores humanos, la calidad de los juicios individuales varía sustancialmente.

Algunos anotadores son cuidadosos, coherentes y conocen el dominio. Otros pueden apresurarse a realizar comparaciones, aplicar criterios idiosincrásicos o producir respuestas que en realidad son aleatorias. Una pequeña fracción puede ser conflictiva o desatendida. Si el modelo trata todas las comparaciones por igual, las fortalezas estimadas se verán distorsionadas por el ruido de anotadores poco confiables y las clasificaciones resultantes serán menos confiables de lo que garantizan los datos.

El supuesto implícito del modelo estándar

Considere la probabilidad estándar de Bradley-Terry para una comparación única en la que el anotador k informa que se prefiere el elemento i al elemento j:

Esta expresión no hace referencia al anotador en absoluto. Se supone que el resultado es una observación ruidosa de la verdadera probabilidad de comparación, sin variación en el nivel de ruido entre los anotadores. El modelo implícito es que cada anotador, independientemente de su experiencia o compromiso, tiene la misma probabilidad de identificar correctamente el mejor elemento.

En la práctica, esto rara vez ocurre. Los diferentes anotadores aportan diferentes niveles de habilidad, atención y conocimiento del dominio a la tarea. Ignorar esta heterogeneidad conduce a estimaciones de solidez sesgadas, clasificaciones excesivas y una incapacidad para diagnosticar o corregir anotaciones de mala calidad.

CrowdBT: Estimación conjunta de ítems y anotadores

Chen et al. (2013) propusieron CrowdBT, un modelo que aborda este problema estimando conjuntamente las fortalezas de los ítems y la confiabilidad del anotador. La idea clave es introducir un parámetro de confiabilidad por anotador ρₖ ∈ [0, 1] que gobierna la calidad de las comparaciones del anotador k.

La probabilidad de comparación bajo CrowdBT se modela como una mezcla:

La interpretación de esta mezcla es intuitiva. Con probabilidad ρₖ, el anotador observa el verdadero resultado de Bradley-Terry y lo informa correctamente. Con probabilidad 1 − ρₖ, el anotador produce una respuesta uniformemente aleatoria. Un anotador perfectamente confiable tiene ρₖ = 1 y se comporta exactamente como en el modelo estándar. Un anotador completamente poco confiable tiene ρₖ = 0 y solo aporta ruido.

Esta formulación captura una idea importante sobre los anotadores no confiables. No se supone que sean contradictorios (sistemáticamente equivocados), sino más bien ruidosos (a veces correctos, a veces aleatorios). Este es un modelo más realista del comportamiento de anotación humana que asumir una confiabilidad perfecta o tratar las anotaciones de baja calidad como señales invertidas.

Estimación mediante el algoritmo EM

La probabilidad logarítmica completa según CrowdBT es:

donde Cₖ es el conjunto de comparaciones realizadas por el anotador k. Este objetivo se optimiza mediante el algoritmo de maximización de expectativas (EM).

En el paso E, para cada comparación observada, el algoritmo calcula la probabilidad posterior de que el anotador se estuviera comportando de manera confiable (en lugar de adivinar al azar), dadas las estimaciones actuales de β y ρ. Sea zₖᵢⱼ el indicador latente. Su posterior es:

En el paso M, las fortalezas de los elementos β se actualizan para maximizar la probabilidad de las comparaciones que se atribuyen a un comportamiento confiable, y las confiabilidades del anotador ρₖ se actualizan en función de la fracción de sus comparaciones que el paso E atribuye a experiencia genuina en lugar de conjeturas aleatorias.

El algoritmo alterna entre estos dos pasos hasta la convergencia. El resultado es un conjunto de puntos fuertes de los ítems que se han eliminado al reducir la ponderación de los anotadores no confiables, junto con un conjunto de puntuaciones de confiabilidad de los anotadores que pueden usarse para el control de calidad y el diagnóstico.

Implicaciones prácticas

El modelo CrowdBT tiene varias consecuencias prácticas que vale la pena destacar.

En primer lugar, proporciona control de calidad automático. En lugar de requerir un paso separado para identificar y eliminar anotadores incorrectos, el modelo aprende la calidad de los anotadores como un subproducto del ajuste de la clasificación. Los anotadores con ρₖ estimado bajo pueden marcarse para revisión, volver a capacitarse o excluirse de tareas futuras. En segundo lugar, mejora la precisión de la clasificación. Al reducir la ponderación de las comparaciones ruidosas, el modelo produce estimaciones de solidez de los ítems que son menos sensibles a la calidad de la anotación. Esto es particularmente importante cuando el grupo de anotadores es heterogéneo, como es típico en las plataformas de crowdsourcing. En tercer lugar, permite un diagnóstico de dificultad de anotación. Si muchos anotadores tienen baja confiabilidad en las comparaciones que involucran un par particular de ítems, esto puede indicar que los dos ítems son genuinamente difíciles de distinguir en lugar de que los anotadores sean deficientes. El resultado del modelo puede ayudar a separar el ruido del anotador de la ambigüedad a nivel de elemento.

Extensiones: más allá de un único parámetro de confiabilidad

El trabajo posterior ha ampliado la formulación de CrowdBT en varias direcciones.

Una extensión natural es descomponer el comportamiento del anotador en confiabilidad y sesgo. El único parámetro ρₖ captura el ruido pero no las preferencias sistemáticas. Un anotador que constantemente favorece un elemento en particular, independientemente de su calidad, no está bien modelado únicamente mediante el parámetro de confiabilidad. Agregar un término de sesgo por anotador permite que el modelo distinga entre ruido (errores aleatorios) y distorsión sistemática (favoritismo constante).

Una segunda extensión es permitir que la confiabilidad del anotador varíe según el dominio o tema. Un anotador que sea experto en matemáticas puede producir comparaciones muy fiables en cuestiones matemáticas, pero comparaciones mucho más ruidosas en tareas de escritura creativa. Modelar la confiabilidad específica del dominio como ρₖ,c, donde c indexa la categoría de comparación, captura esta heterogeneidad.

Una tercera extensión, desarrollada en el entorno bayesiano, asigna una distribución previa a los parámetros de confiabilidad. Una elección natural es una Beta previa:

que codifica una creencia previa sobre la distribución de la calidad del anotador. Esta formulación bayesiana, a veces denominada BBQ (Bayesian Bradley-Terry con estimación de calidad), proporciona distribuciones posteriores tanto sobre las fortalezas de los elementos como sobre las confiabilidades del anotador. Maneja el caso en el que los anotadores individuales contribuyen solo con una pequeña cantidad de comparaciones, utilizando el método previo para regularizar las estimaciones de confiabilidad.

Conexión con la literatura más amplia sobre crowdsourcing

El problema de agregar juicios de múltiples anotadores ruidosos tiene una historia sustancial en la literatura estadística y de aprendizaje automático. El modelo fundamental es el modelo de Dawid-Skene (1979), que aborda el mismo problema en el ámbito del etiquetado categórico. En Dawid-Skene, cada anotador se caracteriza por una matriz de confusión que describe su probabilidad de informar cada etiqueta dada la etiqueta verdadera. El algoritmo EM estima conjuntamente las etiquetas verdaderas y las matrices de confusión del anotador.

CrowdBT puede entenderse como una adaptación de este principio al entorno de comparación por pares. En lugar de una matriz de confusión, cada anotador se caracteriza por un parámetro de confiabilidad. En lugar de etiquetas categóricas, la verdadera señal es una probabilidad de comparación Bradley-Terry. La estructura conceptual es la misma: estimar conjuntamente la verdad fundamental latente y la calidad del anotador, utilizando cada una para informar al otro.

La lección más amplia de esta literatura es que los modelos que estiman conjuntamente los parámetros de los elementos y los parámetros del anotador superan consistentemente a los modelos que tratan cualquiera de las dimensiones como fijas. Tratar a todos los anotadores como igualmente confiables descarta información sobre la calidad de la anotación. Tratar la calidad del elemento como conocida descarta la señal que proporcionan los anotadores. El enfoque más eficaz es aprender ambos simultáneamente, que es precisamente para lo que están diseñados CrowdBT y sus extensiones.

Resumen

El modelo estándar de Bradley-Terry proporciona un marco claro para aprender de comparaciones por pares, pero supone que todas las comparaciones son igualmente confiables. En la práctica, la calidad del anotador varía y esta variación puede distorsionar las clasificaciones estimadas.

El modelo CrowdBT aborda esto introduciendo un parámetro de confiabilidad por anotador que gobierna la probabilidad de observar una comparación genuina versus una suposición aleatoria. El algoritmo EM estima conjuntamente las fortalezas de los elementos y la confiabilidad de los anotadores, lo que genera clasificaciones sin ruido y puntuaciones de calidad de los anotadores como subproducto natural.

Las extensiones a la confiabilidad específica del dominio, los antecedentes bayesianos y el modelado de sesgos brindan flexibilidad adicional para aplicaciones donde la heterogeneidad de los anotadores es particularmente pronunciada. Junto con las extensiones contextuales analizadas en la sección anterior, estos métodos transforman el modelo básico de Bradley-Terry de una herramienta para clasificación simple a un marco rico capaz de manejar las complejidades de la evaluación comparativa del mundo real.

Descargo de responsabilidad: Los puntos de vista y opiniones expresados ​​en este artículo son míos y no representan los de mi empleador ni los de ninguna organización afiliada. El contenido se basa en la experiencia y la reflexión personal y no debe tomarse como consejo profesional o académico.

📚 Lecturas adicionales

RA Bradley y ME Terry (1952) — Análisis de rangos de diseños de bloques incompletos: I. El método de comparaciones pareadas — El artículo fundamental de Bradley-Terry. Introdujo uno de los modelos estadísticos canónicos para datos de comparación por pares y sigue siendo el punto de partida natural para cualquier discusión sobre clasificación basada en preferencias.

Manuela Cattelan (2012) — Modelos para datos de comparación pareada: una revisión con énfasis en datos dependientes — Una revisión clara de la literatura sobre comparación pareada, especialmente útil para comprender cómo los modelos clásicos como Bradley-Terry y Thurstone se amplían cuando las comparaciones no son independientes.

Xi Chen, Paul N. Bennett, Kevyn Collins-Thompson y Eric Horvitz (2013) — Agregación de clasificación por pares en un entorno de colaboración colectiva — Una referencia útil para clasificar según ruidosos juicios humanos. El artículo se centra en cómo agregar comparaciones por pares en entornos de colaboración colectiva y al mismo tiempo tener en cuenta la calidad del anotador y la eficiencia de las etiquetas.

Wei-Lin Chiang et al. (2024) – Chatbot Arena: una plataforma abierta para evaluar LLM según la preferencia humana: la principal referencia para la evaluación de modelos lingüísticos al estilo Arena mediante votación por parejas humanas a gran escala. Es especialmente relevante si su artículo conecta modelos de comparación emparejados con evaluaciones comparativas de LLM modernas.

AP Dawid y AM Skene (1979) — Estimación de máxima verosimilitud de las tasas de error del observador utilizando el algoritmo EM — El artículo clásico de Dawid-Skene sobre la estimación de la verdad latente y la confiabilidad del anotador a partir de etiquetas ruidosas. Es fundamental para la agregación de etiquetas colectivas y para pensar detenidamente sobre la calidad de los jueces en los procesos de evaluación.

Ralf Herbrich, Tom Minka y Thore Graepel (2006) — TrueSkill: A Bayesian Skill Rating System— El artículo original de TrueSkill, que presenta un marco bayesiano para inferir habilidades latentes a partir de resultados competitivos repetidos. Es muy relevante cuando se utilizan victorias y derrotas por pares para construir clasificaciones dinámicas a lo largo del tiempo.

Tom Minka, Ryan Cleven y Yordan Zaykov (2018) – TrueSkill 2: un sistema bayesiano de calificación de habilidades mejorado: un refinamiento posterior de TrueSkill que incorpora señales más ricas y mejora la precisión predictiva. Es útil si desea ir más allá de la simple agregación de ganancias/pérdidas hacia sistemas de clasificación bayesianos más expresivos.