El problema de los bandidos multiarmados: una guía para principiantes | de Saankhya Mondal | diciembre de 2024

Comprender el equilibrio entre explotación y exploración con un ejemplo

A Bandido multiarmado (MAB) Es un problema clásico en la toma de decisiones, donde un agente debe elegir entre múltiples opciones (llamadas “brazos”) y maximizar la recompensa total a lo largo de una serie de pruebas. El problema recibe su nombre de una metáfora que involucra a un jugador en una fila de máquinas tragamonedas (bandidos mancos), cada una con una probabilidad de pago diferente pero desconocida. El objetivo es encontrar la mejor estrategia para tirar de los brazos (acciones seleccionadas) y maximizar la recompensa general del jugador a lo largo del tiempo. El problema MAB es un nombre elegante para el explotación-exploración compensación.

El problema de los bandidos multiarmados es un problema fundamental que surge en numerosas aplicaciones industriales. Exploremoslo y examinemos estrategias interesantes para resolverlo.

Imagen generada por Grok

Acabas de llegar a una nueva ciudad. Eres un espía y planeas quedarte 120 días para completar tu próxima misión. Hay tres restaurantes en la ciudad: italiano, chino y mexicano. Quiere maximizar su satisfacción gastronómica durante su estancia. Sin embargo, no sabes qué restaurante será el mejor para ti. Así es como se comparan los tres restaurantes:

  • restaurante italiano: Puntuación media de satisfacción de…