Los fallos de los sistemas de inteligencia artificial se han convertido en un tema recurrente en las noticias tecnológicas. Algoritmos de calificación crediticia que discriminan a las mujeres. Sistemas de visión por computadora que clasifican erróneamente a las personas de piel oscura. Sistemas de recomendación que promuevan contenidos violentos. Algoritmos de tendencia que amplifican las noticias falsas.
La mayoría de los sistemas de software complejos fallan en algún momento y deben actualizarse periódicamente. Contamos con procedimientos y herramientas que nos ayudan a encontrar y corregir estos errores. Pero los sistemas de IA actuales, en su mayoría dominados por algoritmos de aprendizaje automático, son diferentes del software tradicional. Todavía estamos explorando las implicaciones de aplicarlos a diferentes aplicaciones, y protegerlos contra fallas necesita nuevas ideas y enfoques.
Esta es la idea detrás del Base de datos de incidentes de IA un repositorio de fallas documentadas de los sistemas de IA en el mundo real. La base de datos tiene como objetivo facilitar la visualización de fallas pasadas y evitar que se repitan.
El AIID está patrocinado por Partnership on AI (PAI), una organización que busca desarrollar las mejores prácticas en AI, mejorar la comprensión pública de la tecnología y reducir el daño potencial que los sistemas de AI podrían causar. PAI fue fundada en 2016 por investigadores de inteligencia artificial de Apple, Amazon, Google, Facebook, IBM y Microsoft, pero desde entonces se ha expandido para incluir a más de 50 organizaciones miembros, muchas de las cuales son sin fines de lucro.
[Leer:[Read:]
Experiencia pasada en la documentación de fallas
En 2018, los miembros de PAI estaban discutiendo la investigación sobre una “taxonomía de fallas de IA” o una forma de clasificar las fallas de IA de una manera consistente. Pero el problema fue que no hubo una colección de fallas de IA para desarrollar la taxonomía. Esto llevó a la idea de desarrollar la base de datos de incidentes de IA.
«Sabía sobre las bases de datos de incidentes y accidentes de aviación y me comprometí a construir la versión de AI de la base de datos de aviación durante una reunión de la Asociación sobre IA», dijo Sean McGregor, consultor técnico principal de IBM Watson AI XPRIZE, en comentarios escritos a TechTalks. Desde entonces, McGregor ha estado supervisando el esfuerzo de AIID y ha ayudado a desarrollar la base de datos.
La estructura y el formato de AIID se inspiraron en parte en los datos de incidentes basados en las industrias de seguridad informática y de aviación. La industria de los viajes aéreos comerciales ha logrado aumentar la seguridad de los vuelos analizando y archivando sistemáticamente los accidentes e incidentes pasados en una base de datos compartida. Del mismo modo, una base de datos compartida de incidentes de IA puede ayudar a compartir conocimientos y mejorar la seguridad de los sistemas de IA implementados en el mundo real.
Mientras tanto, Common Vulnerabilities and Exposures (CVE), mantenido por MITRE Corp, es un buen ejemplo de una base de datos sobre fallas de software en varias industrias. Ha ayudado a dar forma a la visión de AIID como un sistema que documenta fallas de aplicaciones de AI en diferentes campos.
“El objetivo del AIID es evitar que los sistemas inteligentes causen daños, o al menos reducir su probabilidad y gravedad”, dice McGregor.
McGregor señala que el comportamiento del software tradicional generalmente se comprende bien, pero los sistemas modernos de aprendizaje automático no se pueden describir por completo ni probar exhaustivamente. El aprendizaje automático deriva su comportamiento de sus datos de entrenamiento y, por lo tanto, su comportamiento tiene la capacidad de cambio de formas no deseadas a medida que los datos subyacentes cambian con el tiempo.
“Estos factores, combinados con sistemas de aprendizaje profundo La capacidad de entrar en el mundo desestructurado que habitamos significa que las fallas son más probables, más complicadas y más peligrosas ”, dice McGregor.
Hoy en día, tenemos sistemas de aprendizaje profundo que pueden reconocer objetos y personas en imágenes, procesa datos de audio y extrae información de millones de documentos de texto, de formas que eran imposibles con el software tradicional basado en reglas, que espera que los datos estén estructurados de forma ordenada en formato tabular. Esto ha permitido aplicar IA al mundo físico, como coches autónomos, cámaras de seguridad, hospitales y asistentes de voz. Y todas estas nuevas áreas crean nuevos vectores de falla.
Documentar incidentes de IA
Desde su fundación, AIID ha recopilado información sobre más de 1,000 incidentes de IA de los medios de comunicación y fuentes disponibles públicamente. Los problemas de equidad son los incidentes de IA más comunes que se envían a AIID, particularmente en los casos en que los gobiernos utilizan un sistema inteligente, como los programas de reconocimiento facial. «También vemos cada vez más incidentes relacionados con la robótica», dice McGregor.
Hay cientos de otros incidentes que están en proceso de ser revisados y agregados a la base de datos de incidentes de IA, McGregor. «Desafortunadamente, no creo que haya escasez de nuevos incidentes», dice.
Los visitantes pueden consultar la base de datos en busca de incidentes según la fuente, el autor, el remitente, la identificación del incidente o las palabras clave. Por ejemplo, la búsqueda de «traducción» muestra que hay 42 informes de incidentes de IA relacionados con la traducción automática. Luego, puede filtrar aún más la investigación en función de otros criterios.
Poner en práctica la base de datos de incidentes de IA
Una base de datos consolidada de incidentes que involucran sistemas de IA puede servir para varios propósitos en la investigación, el desarrollo y la implementación de sistemas de IA.
Por ejemplo, si un gerente de producto está evaluando la adición de un sistema de recomendación impulsado por IA a una aplicación, puede verificar 13 informes y 10 incidentes en los que dichos sistemas han causado daños a las personas. Esto ayudará al gerente de producto a establecer los requisitos adecuados para la función que está desarrollando su equipo.
Otros ejecutivos pueden utilizar la base de datos de incidentes de IA para tomar mejores decisiones. Por ejemplo, los responsables de riesgos pueden consultar la base de datos para conocer los posibles daños de emplear sistemas de traducción automática y desarrollar las medidas adecuadas de mitigación de riesgos.
Los ingenieros pueden usar la base de datos para descubrir los posibles daños que pueden causar sus sistemas de IA cuando se implementan en el mundo real. Y los investigadores pueden utilizarlo como fuente de citas en artículos sobre la equidad y seguridad de los sistemas de IA.
Finalmente, la creciente base de datos de incidentes puede resultar una advertencia importante para las empresas que implementan algoritmos de inteligencia artificial en sus aplicaciones. “Las empresas de tecnología son famosas por su inclinación a moverse rápidamente sin evaluar todos los posibles resultados negativos. Cuando se enumeran y comparten los malos resultados, se vuelve imposible proceder ignorando los daños ”, dice McGregor.
La base de datos de incidentes de IA se basa en una arquitectura flexible que permitirá el desarrollo de varias aplicaciones para consultar la base de datos y obtener otros conocimientos, como terminología clave y contribuyentes. En un documento que se presentará en la trigésima tercera Conferencia Anual sobre Aplicaciones Innovadoras de la Inteligencia Artificial (IAAI-21), McGregor ha discutido todos los detalles de la arquitectura. AIID también es un proyecto de código abierto en GitHub, donde la comunidad puede ayudar a mejorar y ampliar sus capacidades.
Con una base de datos sólida en su lugar, McGregor ahora está trabajando con Partnership on AI para desarrollar una taxonomía flexible para la clasificación de incidentes de AI. En el futuro, el equipo de AIID espera expandir el sistema para automatizar el monitoreo de incidentes de IA.
“La comunidad de IA ha comenzado a compartir registros de incidentes entre sí para motivar cambios en sus productos, procedimientos de control y programas de investigación”, dice McGregor. «El sitio se lanzó al público en noviembre, por lo que apenas estamos empezando a darnos cuenta de los beneficios del sistema».
Este artículo fue publicado originalmente por Ben Dickson en TechTalks, una publicación que examina las tendencias en tecnología, cómo afectan la forma en que vivimos y hacemos negocios, y los problemas que resuelven. Pero también discutimos el lado malo de la tecnología, las implicaciones más oscuras de la nueva tecnología y lo que debemos tener en cuenta. Puedes leer el artículo original aquí.
Publicado el 23 de enero de 2021-10: 00 UTC