La evaluación del rendimiento de los modelos es esencial en los campos de la inteligencia artificial y el aprendizaje automático, que están avanzando considerablemente, especialmente con la introducción de los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés). Este procedimiento de revisión ayuda a comprender las capacidades de estos modelos y a crear sistemas confiables basados en ellos. Sin embargo, lo que se conoce como prácticas de investigación cuestionables (QRP, por sus siglas en inglés) con frecuencia pone en peligro la integridad de estas evaluaciones. Estos métodos tienen el potencial de exagerar en gran medida los resultados publicados, engañando a la comunidad científica y al público en general sobre la efectividad real de los modelos de ML.
La principal fuerza impulsora de los QRP es la ambición de publicar en revistas prestigiosas o atraer financiación y usuarios. Debido a la complejidad de la investigación de ML, que incluye etapas de preentrenamiento, posentrenamiento y evaluación, existe un gran potencial para los QRP. La contaminación, la selección selectiva y la información errónea son las tres categorías básicas en las que se enmarcan estas acciones.
Contaminación
Cuando los datos del conjunto de pruebas se utilizan para entrenamiento, evaluación o incluso para indicaciones del modelo, esto se conoce como contaminación. Los modelos de alta capacidad, como los LLM, pueden recordar los datos de prueba que se exponen durante el entrenamiento. Los investigadores han proporcionado una amplia documentación sobre este problema, detallando casos en los que los modelos se entrenaron intencional o involuntariamente utilizando datos de prueba. Existen varias formas en las que puede producirse la contaminación, que son las siguientes.
- Entrenamiento en el conjunto de prueba: esto genera predicciones de rendimiento excesivamente optimistas cuando los datos de prueba se agregan involuntariamente al conjunto de entrenamiento.
- Contaminación inmediata: durante evaluaciones de unos pocos disparos, el uso de datos de prueba en la solicitud le otorga al modelo una ventaja injusta.
- Contaminación por recuperación de generación aumentada (RAG): fuga de datos a través de sistemas de recuperación que utilizan puntos de referencia.
- Paráfrasis sucias y modelos contaminados: los datos de prueba reformulados y los modelos contaminados se utilizan para entrenar modelos, mientras que los modelos contaminados se utilizan para generar datos de entrenamiento.
- Sobreexageración y metacontaminación: exagerar y metacontaminar diseños reciclando diseños contaminados o ajustando hiperparámetros después de obtener los resultados de las pruebas.
Cosecha de la cereza
La selección selectiva es la práctica de ajustar las condiciones experimentales para respaldar el resultado previsto. Los investigadores pueden probar sus modelos varias veces en diferentes escenarios y publicar solo los mejores resultados. Esto incluye lo siguiente:
- Nerfing de línea base: es la suboptimización deliberada de los modelos de línea base para dar la impresión de que el nuevo modelo es mejor.
- Hacking en tiempo de ejecución: incluye la modificación de parámetros de inferencia después del hecho para mejorar las métricas de rendimiento.
- La elección de puntos de referencia más simples o subconjuntos de puntos de referencia para asegurarse de que el modelo funcione bien se conoce como piratería de puntos de referencia.
- Semilla Dorada: Informar la semilla con mayor rendimiento después del entrenamiento con varias semillas aleatorias.
Informes erróneos
En los informes erróneos se incluyen diversas técnicas cuando los investigadores presentan generalizaciones basadas en parámetros sesgados o limitados. Por ejemplo, considere lo siguiente:
- Engranaje superfluo: Reivindicar la originalidad añadiendo módulos innecesarios.
- Whack-a-mole: Mantenerse atento y ajustar ciertas fallas según sea necesario.
- P-hacking: La presentación selectiva de hallazgos estadísticamente significativos.
- Puntuaciones: ignorar la variabilidad informando los resultados de una única ejecución sin barras de error.
- Mentiras descaradas y afirmaciones exageradas o insuficientes: crear resultados falsos o hacer afirmaciones incorrectas respecto de las capacidades del modelo.
Las prácticas de investigación irreproducibles (IRP), además de las QRP, aumentan la complejidad del entorno de evaluación del aprendizaje automático. A los investigadores posteriores les resulta complicado duplicar, ampliar o examinar investigaciones anteriores debido a las IRP. Un ejemplo común es la ocultación de conjuntos de datos, en la que los investigadores ocultan información sobre los conjuntos de datos de entrenamiento que utilizan, incluidos los metadatos. La naturaleza competitiva de la investigación del aprendizaje automático y las preocupaciones sobre la infracción de los derechos de autor suelen motivar esta técnica. La validación y replicación de los descubrimientos, que son esenciales para el avance de la ciencia, se ven obstaculizadas por la falta de transparencia en el intercambio de conjuntos de datos.
En conclusión, la integridad de la investigación y la evaluación del aprendizaje automático es fundamental. Aunque los QRP y los IRP pueden beneficiar a las empresas y a los investigadores en el corto plazo, dañan la credibilidad y la fiabilidad del campo en el largo plazo. Establecer y mantener directrices estrictas para los procesos de investigación es esencial, ya que los modelos de aprendizaje automático se utilizan con más frecuencia y tienen un mayor impacto en la sociedad. El potencial completo de los modelos de aprendizaje automático solo se puede alcanzar con apertura, responsabilidad y dedicación a la investigación moral. Es imperativo que la comunidad colabore para reconocer y abordar estas prácticas, garantizando que el progreso en el aprendizaje automático se base en la honestidad y la equidad.
Revisar la PapelTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Más de 47 000 suscriptores de ML en Reddit
Encuentra lo próximo Seminarios web sobre IA aquí
Tanya Malhotra es una estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, que cursa BTech en Ingeniería Informática con una especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la ciencia de datos con un buen pensamiento analítico y crítico, junto con un gran interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.