El investigador de Furious AI crea una lista de artículos de aprendizaje automático no reproducibles


El 14 de febrero, un investigador que estaba frustrado con la reproducción de los resultados de un artículo de investigación de aprendizaje automático abrió una cuenta de Reddit con el nombre de usuario ContributionSecure14 y publicó el r / MachineLearning subreddit: “Acabo de pasar una semana implementando un documento como línea de base y no pude reproducir los resultados. Hoy, después de buscar en Google, me di cuenta de que algunos otros tampoco pudieron reproducir los resultados. ¿Existe una lista de esos documentos? Ahorrará a la gente mucho tiempo y esfuerzo «.

La publicación tocó un nervio con otros usuarios en r / MachineLearning, que es la comunidad de Reddit más grande para el aprendizaje automático.

«Es más fácil compilar una lista de reproducibles …», respondió un usuario.

“Probablemente, entre el 50% y el 75% de todos los papeles no son reproducibles. Es triste, pero es cierto «, escribió otro usuario. “Piénselo, la mayoría de los artículos están ‘optimizados’ para participar en una conferencia. La mayoría de las veces, los autores saben que un artículo que intentan presentar en una conferencia no es muy bueno. Así que no tienen que preocuparse por la reproducibilidad porque nadie intentará reproducirlos «.

Algunos otros usuarios publicaron enlaces a documentos de aprendizaje automático que no habían implementado y expresaron su frustración porque la implementación del código no es un requisito en las conferencias de aprendizaje automático.

Al día siguiente, ContributionSecure14 creó «Papeles sin código, ”Un sitio web que tiene como objetivo crear una lista centralizada de artículos de aprendizaje automático que no se pueden implementar.

«No estoy seguro de si esta es la mejor o la peor idea, pero pensé que sería útil recopilar una lista de artículos que la gente ha intentado reproducir y ha fallado», ContributionSecure14 escribió en r / MachineLearning. “Esto les dará a los autores la oportunidad de publicar su código, proporcionar sugerencias o rescindir el artículo. Mi esperanza es que esto incentive una cultura de investigación de AA más saludable en torno a no publicar trabajos irreproducibles «.

Reproducir los resultados de los trabajos de aprendizaje automático

Aprendizaje automático Los investigadores publican artículos con regularidad en plataformas en línea como arXiv y OpenReview. Estos artículos describen conceptos y técnicas que destacan nuevos desafíos en los sistemas de aprendizaje automático o presentan nuevas formas de resolver problemas conocidos. Muchos de estos artículos llegan a las principales conferencias de inteligencia artificial como NeurIPS, ICML, ICLR y CVPR.

Tener un código fuente para acompañar un trabajo de investigación ayuda mucho a verificar la validez de una técnica de aprendizaje automático y construir sobre ella. Pero esto no es un requisito para las conferencias de aprendizaje automático. Como resultado, muchos estudiantes e investigadores que leen estos artículos tienen dificultades para reproducir sus resultados.

«El trabajo irreproducible desperdicia el tiempo y el esfuerzo de investigadores bien intencionados, y los autores deben esforzarse por garantizar que exista al menos una implementación pública de su trabajo», dijo ContributionSecure14, que prefirió permanecer en el anonimato. TechTalks en comentarios escritos. «Publicar un artículo con resultados empíricos en el dominio público no tiene sentido si otros no pueden basarse en el artículo o utilizarlo como referencia».

Pero ContributionSecure14 también reconoce que a veces existen razones legítimas para que los investigadores de aprendizaje automático no publiquen su código. Por ejemplo, algunos autores pueden entrenar sus modelos en la infraestructura interna o utilizar grandes conjuntos de datos internos para la formación previa. En tales casos, los investigadores no tienen la libertad de publicar el código o los datos junto con su artículo debido a la política de la empresa.

“Si los autores publican un artículo sin código debido a tales circunstancias, personalmente creo que tienen la responsabilidad académica de trabajar en estrecha colaboración con otros investigadores que intentan reproducir su artículo”, dice ContributionSecure14. “No tiene sentido publicar el artículo en el dominio público si otros no pueden construir a partir de él. Debería haber al menos una implementación de referencia disponible públicamente para que otros la construyan o la utilicen como línea de base «.

En algunos casos, incluso si los autores publican tanto el código fuente como los datos en su artículo, otros investigadores de aprendizaje automático todavía luchan por reproducir los resultados. Esto puede deberse a varias razones. Por ejemplo, los autores pueden seleccionar los mejores resultados de varios experimentos y presentarlos como logros de vanguardia. En otros casos, los investigadores podrían haber utilizado trucos como ajustar los parámetros de su modelo de aprendizaje automático al conjunto de datos de prueba para mejorar los resultados. En tales casos, incluso si los resultados son reproducibles, no son relevantes, porque el modelo de aprendizaje automático se ha sobreajustado a condiciones específicas y no funcionará bien con datos nunca antes vistos.

“Creo que es necesario tener un código reproducible como requisito previo para verificar de forma independiente la validez de los resultados declarados en el documento, pero [code alone is] no es suficiente ”, dijo ContributionSecure14.

Esfuerzos para la reproducibilidad del aprendizaje automático

papeles con código