Lo que se debe y no se debe hacer en la investigación del aprendizaje automático: léalo, nerds


Sabías Neural subirá al escenario este otoño? Junto con una increíble lista de expertos, exploraremos el futuro de la IA durante la Conferencia TNW 2021. Asegure su boleto ahora!

El aprendizaje automático se está convirtiendo en una herramienta importante en muchas industrias y campos de la ciencia. Pero la investigación y el desarrollo de productos de ML presentan varios desafíos que, si no se abordan, pueden llevar su proyecto en la dirección equivocada.

en un papel Michael Lones, profesor asociado de la Facultad de Matemáticas e Informática de la Universidad Heriot-Watt de Edimburgo, publicado recientemente en el servidor de preimpresión arXiv, proporciona una lista de lo que se debe y no se debe hacer para la investigación del aprendizaje automático.

El documento, que Lones describe como «lecciones que se aprendieron mientras se realizaba una investigación sobre aprendizaje automático en el ámbito académico y mientras se supervisaba a los estudiantes que realizaban investigación en aprendizaje automático», cubre los desafíos de las diferentes etapas del ciclo de vida de la investigación del aprendizaje automático. Aunque está dirigido a investigadores académicos, las pautas del documento también son útiles para los desarrolladores que están creando modelos de aprendizaje automático para aplicaciones del mundo real.

Aquí están mis conclusiones del artículo, aunque recomiendo a cualquier persona involucrada en la investigación y el desarrollo del aprendizaje automático que lo lea en su totalidad.

Preste especial atención a los datos

Modelos de aprendizaje automático vivir y prosperar con los datos. En consecuencia, en todo el documento, Lones reitera la importancia de prestar más atención a los datos en todas las etapas del ciclo de vida del aprendizaje automático. Debe tener cuidado de cómo recopila y prepara sus datos y cómo los usa para entrenar y probar sus modelos de aprendizaje automático.

Ninguna cantidad de poder de cómputo y tecnología avanzada puede ayudarlo si sus datos no provienen de una fuente confiable y no se han recopilado de manera confiable. Y también debe utilizar su propia diligencia debida para verificar la procedencia y la calidad de sus datos. “No asuma que, debido a que varios artículos han utilizado un conjunto de datos, es de buena calidad”, escribe Lones.

Su conjunto de datos puede tener varios problemas que pueden hacer que su modelo aprenda algo incorrecto.

Por ejemplo, si está trabajando en un problema de clasificación y su conjunto de datos contiene demasiados ejemplos de una clase y muy pocos de otra, entonces el modelo de aprendizaje automático entrenado podría terminar aprendiendo a predecir cada entrada como perteneciente a la clase más fuerte. En este caso, su conjunto de datos sufre un «desequilibrio de clases».

Si bien el desequilibrio de clases se puede detectar rápidamente con las prácticas de exploración de datos, encontrar otros problemas requiere más atención y experiencia. Por ejemplo, si todas las imágenes de su conjunto de datos se tomaron a la luz del día, su modelo de aprendizaje automático funcionará mal en fotos oscuras. Un ejemplo más sutil es el equipo utilizado para capturar los datos. Por ejemplo, si ha tomado todas sus fotos de entrenamiento con la misma cámara, su modelo podría terminar aprendiendo a detectar la huella visual única de su cámara y funcionará mal en las imágenes tomadas con otros equipos. Los conjuntos de datos de aprendizaje automático pueden tener todo tipo de sesgos de este tipo.

Datos

La cantidad de datos también es un tema importante. Asegúrese de que sus datos estén disponibles en abundancia. “Si la señal es fuerte, entonces puede salirse con la suya con menos datos; si es débil, entonces necesita más datos ”, escribe Lones.

En algunos campos, la falta de datos se puede compensar con técnicas como la validación cruzada y el aumento de datos. Pero, en general, debes saber que cuanto más complejo sea tu modelo de aprendizaje automático, más datos de entrenamiento necesitarás. Por ejemplo, algunos cientos de ejemplos de entrenamiento pueden ser suficientes para entrenar un modelo de regresión simple con algunos parámetros. Pero si quieres desarrollar un red neuronal profunda con millones de parámetros, necesitará muchos más datos de entrenamiento.

Otro punto importante que destaca Lones en el documento es la necesidad de tener una fuerte separación entre los datos de entrenamiento y de prueba. Los ingenieros de aprendizaje automático suelen dejar de lado parte de sus datos para probar el modelo entrenado. Pero a veces, los datos de prueba se filtran al proceso de entrenamiento, lo que puede conducir a modelos de aprendizaje automático que no se generalizan a los datos recopilados del mundo real.

«No permita que los datos de las pruebas se filtren en el proceso de capacitación», advierte. “Lo mejor que puede hacer para prevenir estos problemas es dividir un subconjunto de sus datos justo al comienzo de su proyecto y usar este conjunto de prueba independiente solo una vez para medir la generalidad de un solo modelo al final del proyecto. . «

En escenarios más complicados, necesitará un «conjunto de validación», un segundo conjunto de pruebas que coloca el modelo de aprendizaje automático en un proceso de evaluación final. Por ejemplo, si realiza una validación cruzada o aprendizaje conjunto, es posible que la prueba original no proporcione una evaluación precisa de sus modelos. En este caso, un conjunto de validación puede resultar útil.

«Si tiene suficientes datos, es mejor dejar algunos a un lado y solo usarlos una vez para proporcionar una estimación no sesgada de la instancia final del modelo seleccionado», escribe Lones.

Conoce tus modelos (así como los de otros)

aprendizaje conjunto

Hoy en día, el aprendizaje profundo está de moda. Pero no todos los problemas necesitan un aprendizaje profundo. De hecho, no todos los problemas necesitan aprendizaje automático. A veces, las reglas y la coincidencia de patrones simples funcionan a la par con los modelos de aprendizaje automático más complejos a una fracción de los costos de datos y computación.

Pero cuando se trata de problemas específicos de los modelos de aprendizaje automático, siempre debe tener una lista de algoritmos candidatos para evaluar. «En términos generales, no existe el mejor modelo de ML único», escribe Lones. «De hecho, hay una prueba de esto, en la forma del teorema de No Almuerzo Gratis, que muestra que ningún enfoque de ML es mejor que cualquier otro cuando se considera sobre todos los problemas posibles».

Lo primero que debe verificar es si su modelo coincide con su tipo de problema. Por ejemplo, en función de si el resultado deseado es categórico o continuo, deberá elegir el algoritmo de aprendizaje automático adecuado junto con la estructura adecuada. Los tipos de datos (por ejemplo, datos tabulares, imágenes, texto no estructurado, etc.) también pueden ser un factor definitorio en la clase de modelo que utiliza.

Un punto importante que destaca Lones en su artículo es la necesidad de evitar una complejidad excesiva. Por ejemplo, si su problema se puede resolver con un árbol de decisión simple o un modelo de regresión, no tiene sentido utilizar el aprendizaje profundo.

Lones también advierte contra intentar reinventar la rueda. Dado que el aprendizaje automático es una de las áreas de investigación más candentes, siempre existe una gran posibilidad de que alguien más haya resuelto un problema similar al suyo. En tales casos, lo más prudente sería examinar su trabajo. Esto puede ahorrarle mucho tiempo porque otros investigadores ya se han enfrentado y resuelto desafíos que probablemente encontrará en el futuro.

«Ignorar estudios anteriores es potencialmente perder información valiosa», escribe Lones.

El examen de artículos y trabajos de otros investigadores también puede proporcionarle modelos de aprendizaje automático que puede usar y reutilizar para su propio problema. De hecho, los investigadores de aprendizaje automático a menudo usan los modelos de los demás para ahorrar tiempo y recursos computacionales y comenzar con una línea de base en la que confía la comunidad de AA.

“Es importante evitar el ‘síndrome no inventado aquí’, es decir, usar solo modelos que hayan sido inventados en su propia institución, ya que esto puede hacer que omita el mejor modelo para un problema en particular”, advierte Lones.

Conozca el objetivo final y sus requisitos.

cerebro electrónico con lupa

Tener una idea sólida de para qué se utilizará su modelo de aprendizaje automático puede tener un gran impacto en su desarrollo. Si realiza aprendizaje automático con fines puramente académicos y para ampliar los límites de la ciencia, es posible que no haya límites para el tipo de datos o algoritmos de aprendizaje automático que puede utilizar. Pero no todo el trabajo académico permanecerá confinado en laboratorios de investigación.

«[For] Muchos estudios académicos, el objetivo final es producir un modelo ML que se pueda implementar en una situación del mundo real. Si este es el caso, entonces vale la pena pensar desde el principio cómo se implementará ”, escribe Lones.

Por ejemplo, si su modelo se usará en una aplicación que se ejecuta en dispositivos de usuario y no en grandes clústeres de servidores, entonces no puede usar grandes redes neuronales que requieren grandes cantidades de memoria y espacio de almacenamiento. Debe diseñar modelos de aprendizaje automático que trabajar en entornos con recursos limitados.

Otro problema al que podrías enfrentarte es la necesidad de explicabilidad. En algunos dominios, como finanzas y salud, los desarrolladores de aplicaciones están obligados legalmente a proporcionar explicaciones de las decisiones algorítmicas en caso de que un usuario lo solicite. En tales casos, podría resultar imposible utilizar un modelo de caja negra. Por ejemplo, aunque una red neuronal profunda podría brindarle una ventaja de rendimiento, su falta de interpretabilidad podría hacerla inútil. En cambio, un modelo más transparente, como un árbol de decisiones, podría ser una mejor opción incluso si da como resultado un impacto en el rendimiento. Alternativamente, si el aprendizaje profundo es un requisito absoluto para su aplicación, entonces deberá investigar técnicas que puedan proporcionar interpretaciones fiables de activaciones en la red neuronal.

Como ingeniero de aprendizaje automático, es posible que no tenga un conocimiento preciso de los requisitos de su modelo. Por lo tanto, es importante hablar con expertos en dominios porque pueden ayudarlo a orientarlo en la dirección correcta y determinar si está resolviendo un problema relevante o no.

«No tener en cuenta la opinión de los expertos en el dominio puede conducir a proyectos que no resuelven problemas útiles o que resuelven problemas útiles de manera inapropiada», escribe Lones.

Por ejemplo, si crea una red neuronal que marca las transacciones bancarias fraudulentas con una precisión muy alta, pero no proporciona una explicación de su decisión, las instituciones financieras no podrán utilizarla.

Sepa qué medir e informar

gráficos de datos de aprendizaje automático

Hay varias formas de medir el rendimiento de los modelos de aprendizaje automático, pero no todas son relevantes para el problema que está resolviendo.

Por ejemplo, muchos ingenieros de ML utilizan la «prueba de precisión» para calificar sus modelos. La prueba de precisión mide el porcentaje de predicciones correctas que hace el modelo. Este número puede ser engañoso en algunos casos.

Por ejemplo, considere un conjunto de datos de escaneos de rayos X utilizados para entrenar un modelo de aprendizaje automático para la detección del cáncer. Sus datos están desequilibrados, con el 90 por ciento de los ejemplos de entrenamiento marcados como benignos y un número muy pequeño clasificado como maligno. Si su modelo entrenado obtiene un puntaje de 90 en la prueba de precisión, es posible que haya aprendido a etiquetar todo como benigno. Si se usa en una aplicación del mundo real, este modelo puede conducir a casos perdidos con resultados desastrosos. En tal caso, el equipo de AA debe usar pruebas que sean insensibles al desequilibrio de clases o usar una matriz de confusión para verificar otras métricas. Las técnicas más recientes pueden proporcionar una medida detallada del desempeño de un modelo en varias áreas.

Según la aplicación, los desarrolladores de ML también pueden querer medir varias métricas. Volviendo al ejemplo de la detección del cáncer, en un modelo de este tipo, podría ser importante reducir los falsos negativos tanto como sea posible, incluso si se produce a costa de una menor precisión o un ligero aumento de los falsos positivos. Es mejor enviar a algunas personas sanas al hospital para el diagnóstico que perder a pacientes críticos con cáncer.

En su artículo, Lones advierte que al comparar varios modelos de aprendizaje automático para detectar un problema, no asuma que números más grandes no necesariamente significan mejores modelos. Por ejemplo, las diferencias de rendimiento pueden deberse a que su modelo se entrena y se prueba en diferentes particiones de su conjunto de datos o en conjuntos de datos completamente diferentes.

“Para estar realmente seguro de una comparación justa entre dos enfoques, debe implementar nuevamente todos los modelos que está comparando, optimizar cada uno en el mismo grado, realizar múltiples evaluaciones … y luego usar pruebas estadísticas … para determinar si las diferencias en el rendimiento es significativo ”, escribe Lones.

Lones también advierte que no debe sobreestimar las capacidades de sus modelos en sus informes. «Un error común es hacer declaraciones generales que no están respaldadas por los datos utilizados para entrenar y evaluar modelos», escribe.

Por lo tanto, cualquier informe del rendimiento de su modelo también debe incluir el tipo de datos con los que fue entrenado y probado. La validación de su modelo en varios conjuntos de datos puede proporcionar una imagen más realista de sus capacidades, pero aún debe tener cuidado con el tipo de errores de datos que discutimos anteriormente.

La transparencia también puede contribuir en gran medida a otras investigaciones de ML. Si describe completamente la arquitectura de sus modelos, así como el proceso de capacitación y validación, otros investigadores que lean sus hallazgos pueden usarlos en trabajos futuros o incluso ayudar a señalar posibles fallas en su metodología.

Finalmente, apunte a la reproducibilidad. Si publica su código fuente y las implementaciones del modelo, puede proporcionar a la comunidad de aprendizaje automático excelentes herramientas en el trabajo futuro.

Aprendizaje automático aplicado

aprendizaje federado

Curiosamente, casi todo lo que Lones escribió en su artículo también es aplicable al aprendizaje automático aplicado, la rama del aprendizaje automático que se ocupa de integrar modelos en productos reales. Sin embargo, me gustaría agregar algunos puntos que van más allá de la investigación académica y son importantes en aplicaciones del mundo real.

Cuando se trata de datos, los ingenieros de aprendizaje automático deben considerar un conjunto adicional de consideraciones antes de integrarlos en los productos. Algunos incluyen la privacidad y seguridad de los datos, el consentimiento del usuario y las restricciones reglamentarias. Muchas empresas se han metido en problemas por extraer datos de usuarios sin su consentimiento.

Otro asunto importante que los ingenieros de ML a menudo olvidan en la configuración aplicada es el deterioro del modelo. A diferencia de la investigación académica, los modelos de aprendizaje automático que se utilizan en aplicaciones del mundo real deben volver a capacitarse y actualizarse con regularidad. A medida que cambian los datos cotidianos, los modelos de aprendizaje automático «decaen» y su rendimiento se deteriora. Por ejemplo, a medida que los hábitos de vida cambiaron a raíz del bloqueo de Covid, los sistemas de aprendizaje automático que habían sido entrenados con datos antiguos comenzaron a fallar y necesitaron reentrenamiento. Asimismo, los modelos de lenguaje deben actualizarse constantemente a medida que aparecen nuevas tendencias y cambian nuestros hábitos de habla y escritura. Estos cambios requieren que el equipo de productos de AA elabore una estrategia para la recopilación continua de datos nuevos y el reentrenamiento periódico de sus modelos.

Finalmente, los desafíos de integración serán una parte importante de cada proyecto de aprendizaje automático aplicado. ¿Cómo interactuará su sistema de aprendizaje automático con otras aplicaciones que se ejecutan actualmente en su organización? ¿Su infraestructura de datos está lista para conectarse a la canalización de aprendizaje automático? ¿Su infraestructura de servidor o nube admite la implementación y el escalado de su modelo? Este tipo de preguntas pueden hacer o deshacer la implementación de un producto de AA.

Por ejemplo, recientemente, el laboratorio de investigación de IA OpenAI lanzó una versión de prueba de su modelo de API Codex para evaluación pública. Pero su lanzamiento falló porque sus servidores no pudieron adaptarse a la demanda de los usuarios.

Con suerte, esta breve publicación lo ayudará a evaluar mejor su proyecto de aprendizaje automático y evitar errores. Lea el artículo completo de Lones, titulado «Cómo evitar las trampas del aprendizaje automático: una guía para investigadores académicos», para obtener más detalles sobre los errores comunes en el proceso de investigación y desarrollo de AA.

Este artículo fue publicado originalmente por Ben Dickson en TechTalks, una publicación que examina las tendencias en tecnología, cómo afectan la forma en que vivimos y hacemos negocios, y los problemas que resuelven. Pero también discutimos el lado malo de la tecnología, las implicaciones más oscuras de la nueva tecnología y lo que debemos tener en cuenta. Puedes leer el artículo original aquí.





Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad