En su artículo de 1927, “Una ley de juicio comparativo”, el psicólogo estadounidense LL Thurstone propuso que cuando las personas seleccionan una opción entre múltiples alternativas, eligen la que tiene el mayor valor para ellos, aunque no puedan asignar un número particular a esa elección.
Thurstone fue un pionero de la “psicometría”, un campo construido sobre la premisa de que los procesos mentales, que no podemos ver, pueden medirse y cuantificarse. Su artículo de 1927 sentó las bases para lo que ahora se llaman modelos de utilidad aleatorios, que proporcionan un marco matemático para describir las preferencias humanas: información en la que, a su vez, se puede confiar para hacer predicciones sobre diversas situaciones hipotéticas.
Los modelos de utilidad aleatorios (RUM) reciben ese nombre porque evalúan la “utilidad” o beneficio que se puede obtener de una elección determinada, como decidir qué libro leer primero entre la pila de novelas que trajo de la biblioteca. “Estos modelos son inherentemente aleatorios”, explica Gabriele Farina, profesor asistente en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT e investigador principal del Laboratorio de Sistemas de Información y Decisión (LIDS), “porque las personas son diferentes. Cada uno tiene sus propias preferencias, e incluso esas preferencias pueden variar de vez en cuando”. Por ejemplo, alguien que normalmente elige café en lugar de té por la mañana y prefiere el té después de la cena, puede, en ocasiones, mezclar ese pedido por completo.
Sin duda, los RON se utilizan con frecuencia dentro del gobierno y la industria en situaciones de consecuencias mucho mayores que la selección de una bebida caliente (o helada). Los modelos facilitan habitualmente predicciones sobre lo que la gente elegirá hacer en los llamados escenarios contrafactuales (“qué pasaría si”), tales como: ¿Cómo llegarán al trabajo o a la escuela si una vía importante se cierra por obras? ¿Qué rutas y modos de transporte tomarán? O, si una ciudad recibe repentinamente una ganancia inesperada de 20 millones de dólares, ¿cómo deberían desembolsarse esos fondos para maximizar el bien común?
Dado que los RUM han estado con nosotros durante casi 100 años y han ido ganando en sofisticación con el tiempo, uno podría imaginar que, en esta etapa, habría poco margen de mejora. Sin embargo, ese no es el caso.
Un artículo presentado en abril en la Conferencia Internacional sobre Representaciones del Aprendizaje en Río de Janeiro, Brasil, descubrió hechos básicos que muestran que hay mucho más que extraer de estos modelos de lo que tradicionalmente se había supuesto. El artículo fue escrito por Yeshwanth Cherapanamjeri, un ex postdoctorado del MIT que ahora reside en la Universidad Tecnológica de Nanyang en Singapur; Farina, también profesora principal del Centro de Investigación de Operaciones (ORC) del MIT; Constantinos Daskalakis, profesor Avanessians de Ciencias de la Computación en el MIT y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT; y Sobhan Mohammadpour, estudiante de doctorado en informática del MIT con base en LIDS y EECS.
Los hallazgos del grupo surgen, en parte, de una deficiencia en la forma en que se estiman comúnmente los RUM en la práctica, que ha persistido desde los días de Thurstone. Los datos sobre los cuales se estiman los modelos se han extraído en gran medida de las llamadas comparaciones por pares: al elegir entre los elementos A y B (ya sea que se trate de películas en Netflix, productos de la competencia en Amazon.com, noticias publicadas en Google, etc.), ¿cuál elegiría? Una de las razones por las que este enfoque ha sido tan generalizado, explica Daskalakis, es que “asignar una puntuación numérica precisa, como 4,37, al beneficio que se obtiene de un solo ítem es muy difícil. Mientras que comparar dos cosas y decidir cuál te gusta más, es cognitivamente mucho más fácil de hacer”. Pero ahí está el problema, añade. “Con esta forma de evaluar las preferencias de las personas, mirando sólo dos cosas a la vez, es imposible encontrar correlaciones entre las numerosas opciones”.
La forma estándar de aplicar los RUM supone que las utilidades derivadas de A y B son independientes, pero, de hecho, pueden estar vinculadas, y sería importante saberlo. Si alguien que hace campaña para un cargo electivo descubre que un votante potencial está a favor del control de armas, por ejemplo, existe una posibilidad razonable de que esa misma persona también esté a favor del cuidado infantil patrocinado por el gobierno. De manera similar, un fanático de las películas independientes también podría tener debilidad por las películas extranjeras, pero estar menos entusiasmado con los éxitos de taquilla de acción de Hollywood. “Si una plataforma digital hace la vista gorda ante la existencia de tales correlaciones, no podrá estimar las preferencias con mucha precisión”, señala Daskalakis. “Y si Netflix te muestra regularmente una variedad de películas que no te interesan, puedes cerrar sesión y cancelar tu suscripción”.
El equipo del MIT demostró que es imposible obtener información sobre las correlaciones únicamente a partir de comparaciones bidireccionales. Sin embargo, se pueden discernir correlaciones cuando un gran número de personas califican tres alternativas en su orden de preferencia. La misma información también se puede obtener de una combinación de opciones al mejor de tres y al mejor de dos. En la práctica, explica Mohammadpour, “harías que un grupo de personas clasificara tres elementos. Luego podrías utilizar el método que desarrollamos para fusionar esos resultados individuales en un modelo grande que pueda brindarnos una visión general”.
Su esfuerzo de investigación, según Farina, se centra en el lado computacional de los RUM, ideando algoritmos que puedan extraer información de preferencias y determinar cuántos datos se necesitan para hacerlo o, de manera equivalente, cuántos experimentos deben realizarse. La buena noticia, afirma, es que, de hecho, son posibles algoritmos eficientes para este propósito. La cantidad requerida de experimentos no crece exponencialmente con la cantidad de elementos en el catálogo o base de datos que se está revisando.
“Este artículo supone un avance crucial”, comenta Emma Frejinger, científica informática de la Universidad de Montreal. “Esto demuestra matemáticamente por qué falla la recopilación de datos tradicional y demuestra que simplemente preguntar a los usuarios por su mejor de tres [choices] desbloquea la capacidad de entrenar con precisión estos poderosos modelos. Este hallazgo proporciona una hoja de ruta muy práctica para recopilar mejores datos para impulsar optimizaciones más precisas”.
“La construcción de modelos de utilidad seguirá siendo un área muy activa”, insiste Daskalakis. “Así como los RUM han sido fundamentales para la economía de Internet desde finales de la década de 1990, son, y seguirán siendo, fundamentales para la alineación de los modelos de IA en el futuro”. Más importante aún, añade, “los RUM desempeñan un papel central en la viabilidad comercial y la utilidad de grandes modelos lingüísticos. [LLMs].” Durante el período de capacitación, generalmente se pide a las personas que clasifiquen los diversos resultados candidatos de estos LLM, a partir de los cuales los modelos pueden obtener una mejor idea del tipo de texto (en términos de tono, estilo y contenido) que se prefiere.
Dado que estamos constantemente “asediados por un vasto mar de opciones en tantos dominios diferentes”, dice Daskalakis, “no es posible pedir a las personas que comuniquen todas sus preferencias personales para todos los escenarios posibles. Entonces, lo que se puede hacer es construir un modelo que prediga lo que la gente piensa sobre los diferentes resultados posibles. Y hay que seguir mejorando y actualizando el modelo en un proceso iterativo hasta que, con suerte, se puedan hacer buenas predicciones”.