Las recomendaciones son omnipresentes en nuestra vida digital, desde los gigantes del comercio electrónico hasta los servicios de streaming. Sin embargo, detrás de cada gran sistema de recomendación se esconde un desafío que puede afectar significativamente su efectividad: el sesgo de muestreo.
En este artículo, presentaré cómo se produce el sesgo de muestreo durante el entrenamiento de modelos de recomendación y cómo podemos resolver este problema en la práctica.
¡Vamos a sumergirnos!
En general, podemos formular el problema de recomendación de la siguiente manera: dado consulta x (que puede contener información del usuario, contexto, elementos en los que se hizo clic anteriormente, etc.)encuentra el conjunto de elementos {y1,.., yk} que el usuario probablemente le interese.
Uno de los principales desafíos para los sistemas de recomendación a gran escala son los requisitos de baja latencia. Sin embargo, los grupos de usuarios y elementos son vastos y dinámicos, por lo que calificar a cada candidato y encontrar con avidez el mejor es imposible. Por lo tanto, para cumplir con el requisito de latencia, los sistemas de recomendación generalmente se dividen en dos etapas principales: recuperación y clasificación.
La recuperación es una forma económica y eficiente de capturar rápidamente los principales candidatos (unos pocos cientos) del vasto grupo de candidatos (millones o miles de millones). La optimización de la recuperación tiene principalmente dos objetivos:
- Durante la fase de capacitación, queremos codificar usuarios y elementos en incrustaciones que capturen el comportamiento y las preferencias del usuario.
- Durante la inferencia, queremos recuperar rápidamente elementos relevantes a través de Vecinos más cercanos aproximados (ANN).
Para el primer objetivo, uno de los enfoques comunes son las redes neuronales de dos torres. El modelo ganó popularidad por abordar los problemas de arranque en frío incorporando características de contenido del artículo.
En detalle, las consultas y los elementos están codificados por las torres DNN correspondientes para que las incrustaciones relevantes (consulta, elemento) permanezcan…