Los puntos de referencia actuales de IA luchan por seguir el ritmo de los modelos modernos. Por muy útiles que sean para medir el rendimiento del modelo en tareas específicas, puede resultar difícil saber si los modelos entrenados con datos de Internet en realidad están resolviendo problemas o simplemente recuerdan respuestas que ya han visto. A medida que los modelos se acercan al 100% en ciertos puntos de referencia, también se vuelven menos efectivos a la hora de revelar diferencias de rendimiento significativas. Seguimos invirtiendo en puntos de referencia nuevos y más desafiantes, pero en el camino hacia la inteligencia general, debemos seguir buscando nuevas formas de evaluar. El cambio más reciente hacia pruebas dinámicas juzgadas por humanos resuelve estos problemas de memorización y saturación, pero a su vez crea nuevas dificultades derivadas de la subjetividad inherente de las preferencias humanas.
Mientras continuamos evolucionando y persiguiendo los puntos de referencia actuales de IA, también buscamos constantemente probar nuevos enfoques para evaluar modelos. Es por eso que hoy presentamos Kaggle Game Arena: una nueva plataforma pública de evaluación comparativa de IA donde los modelos de IA compiten cara a cara en juegos estratégicos, proporcionando una medida verificable y dinámica de sus capacidades.