Para comprender las capacidades de la IA en todas estas capacidades cognitivas, proponemos un protocolo de evaluación de tres etapas que compara el rendimiento del sistema en relación con las capacidades humanas:
Evaluar sistemas de IA en un amplio conjunto de tareas cognitivas que cubren cada habilidad, utilizando conjuntos de pruebas disponibles para evitar la contaminación de datos. Recopilar líneas de base humanas para las mismas tareas de una muestra demográficamente representativa de adultos. Mapear el desempeño de cada sistema de IA en relación con la distribución del desempeño humano en cada habilidad.
Pasando de la teoría a la práctica
Definir estas capacidades cognitivas es un primer paso crucial, pero necesitamos más que un marco para medir el progreso. Para poner esta teoría en práctica, estamos lanzando un nuevo hackathon de Kaggle: “Medición del progreso hacia AGI: habilidades cognitivas”. El hackathon alienta a la comunidad a diseñar evaluaciones para cinco habilidades cognitivas donde la brecha de evaluación es mayor: aprendizaje, metacognición, atención, funciones ejecutivas y cognición social.
Los participantes pueden utilizar la plataforma Community Benchmarks recientemente lanzada de Kaggle para crear y probar sus evaluaciones frente a una gama de modelos de vanguardia.
Estamos ofreciendo un premio total de $200 000: premios de $10 000 para las dos mejores presentaciones en cada una de las cinco pistas y grandes premios de $25 000 para las cuatro mejores presentaciones generales. Las presentaciones están abiertas del 17 de marzo al 16 de abril y anunciaremos los resultados el 1 de junio. Dirígete al sitio web de Kaggle para comenzar a construir.