¿Puede la auditoría eliminar el sesgo de los algoritmos?



Durante más de una década, periodistas e investigadores han estado escribiendo sobre los peligros de confiar en algoritmos para tomar decisiones importantes: quien es encerrado, quien consigue un trabajo, quien obtiene un préstamo – incluso quien tiene prioridad para Vacunas para COVID-19.

En lugar de eliminar el sesgo, un algoritmo tras otro lo ha codificado y perpetuado, ya que las empresas han continuado al mismo tiempo protegiendo más o menos sus algoritmos del escrutinio público.

La gran pregunta desde entonces: ¿Cómo resolvemos este problema? Los legisladores e investigadores han abogado por auditorías algorítmicas, que analizarían y probarían los algoritmos para ver cómo funcionan y si están cumpliendo sus objetivos declarados o produciendo resultados sesgados. Y hay un campo creciente de firmas de auditoría privadas que pretenden hacer precisamente eso. Cada vez más, las empresas recurren a estas empresas para revisar sus algoritmos, especialmente cuando se han enfrentado a críticas por resultados sesgados, pero no está claro si tales auditorías en realidad hacen que los algoritmos sean menos sesgados, o si simplemente son buenas relaciones públicas.

La auditoría algorítmica recibió mucha prensa recientemente cuando HireVue, una popular compañía de software de contratación utilizada por compañías como Walmart y Goldman Sachs, enfrentó críticas de que los algoritmos que usaba evaluar a los candidatos mediante entrevistas en video.

HireVue llamó a una firma de auditoría para ayudar y en enero promocionó los resultados de la auditoría en un comunicado de prensa.

La auditoría encontró que las predicciones del software «funcionan como se anuncia con respecto a los problemas de equidad y sesgo», dijo HireVue en un presione soltar, citando a la empresa de auditoría que contrató, O’Neil Risk Consulting & Algorithmic Auditing (ORCAA).

Pero a pesar de realizar cambios en su proceso, incluida la eliminación del video de sus entrevistas, HireVue fue ampliamente acusado de usar la auditoría, que analizaba de manera estricta una prueba de contratación para los primeros candidatos de carrera, no el proceso de evaluación de candidatos de HireVue en su conjunto, como un truco de relaciones públicas.

Artículos en Empresa rápida, VentureBeat, y Revisión de tecnología del MIT llamó a la empresa por caracterizar erróneamente la auditoría.

HireVue dijo que fue transparente con la auditoría al poner el informe a disposición del público y agregó que el comunicado de prensa especificaba que la auditoría era solo para un escenario específico.

«Si bien HireVue estaba abierto a cualquier tipo de auditoría, incluida una que implicaba observar nuestro proceso en general, ORCAA pidió centrarse en un caso de uso único para permitir discusiones concretas sobre el sistema», dijo Lindsey Zuloaga, científica de datos en jefe de HireVue, en un correo electrónico. «Trabajamos con ORCAA para elegir un caso de uso representativo con una superposición sustancial con las evaluaciones por las que pasan la mayoría de los candidatos de HireVue».

[Leer:[Read:¿Cómo se construye un dispositivo que admita mascotas? Preguntamos a expertos y dueños de animales]

Pero los auditores algorítmicos también estaban disgustados con las declaraciones públicas de HireVue sobre la auditoría.

«Al reutilizar [ORCAA’s] Un análisis muy reflexivo de las garantías de marketing, están socavando la legitimidad de todo el campo «, dijo Liz O’Sullivan, cofundadora de Arthur, una startup de monitoreo de sesgos y explicabilidad de IA.

Y ese es el problema con la auditoría algorítmica como herramienta para eliminar sesgos: las empresas pueden usarlos para realizar mejoras reales, pero es posible que no. Y no existen normas o reglamentos de la industria que exijan cuentas a los auditores o las empresas que los utilizan.

¿Qué es la auditoría algorítmica? ¿Cómo funciona?

Buena pregunta: es un campo bastante indefinido. Por lo general, las auditorías proceden de diferentes maneras: mirando el código de un algoritmo y los datos de sus resultados, o viendo los efectos potenciales de un algoritmo a través de entrevistas y talleres con empleados.

Las auditorías con acceso al código de un algoritmo permiten a los revisores evaluar si los datos de entrenamiento del algoritmo están sesgados y crear escenarios hipotéticos para probar los efectos en diferentes poblaciones.

Solo hay entre 10 y 20 empresas de renombre que ofrecen revisiones algorítmicas, dijo Rumman Chowdhury, director de ética de aprendizaje automático de Twitter y fundador de la empresa de auditoría algorítmica Parity. Las empresas también pueden tener sus propios equipos de auditoría interna que analizan los algoritmos antes de que se publiquen.

En 2016, un informe de la administración Obama sobre sistemas algorítmicos y derechos civiles alentó a desarrollo de una industria de auditoría algorítmica. Sin embargo, la contratación de un auditor aún no es una práctica común, ya que las empresas no tienen la obligación de hacerlo y, según varios auditores, las empresas no quieren el escrutinio o los posibles problemas legales que ese escrutinio puede plantear, especialmente para los productos que comercializan.

“Los abogados me dicen, ‘Si lo contratamos y descubrimos que hay un problema que no podemos solucionar, entonces hemos perdido una negación plausible y no queremos ser la próxima compañía de cigarrillos’”, la fundadora de ORCAA, Cathy O ‘ Neil, dijo. «Esa es la razón más común por la que no consigo un trabajo».

Para aquellos que contratan auditores, no existen estándares sobre lo que debería implicar una «auditoría». Incluso una propuesta Ley de la ciudad de Nueva York que requiere auditorías anuales de los algoritmos de contratación no explica cómo se deben realizar las auditorías. Un sello de aprobación de un auditor podría significar un escrutinio mucho mayor que el de otro.

Y como los informes de auditoría también están casi siempre sujetos a acuerdos de no divulgación, las empresas no pueden comparar el trabajo de las demás.

«El gran problema es que, a medida que este campo se vuelva más lucrativo, descubriremos que realmente necesitamos estándares para lo que es una auditoría», dijo Chowdhury. «Hay muchas personas que están dispuestas a llamar a algo una auditoría, hacer un sitio web atractivo y terminarlo, y ganar dinero en efectivo sin estándares».

Y las empresas de tecnología no siempre son comunicativas, incluso con los auditores que contratan, dicen algunos auditores.

«Tenemos esta situación en la que los secretos comerciales son una razón suficientemente buena para permitir que estos algoritmos operen de manera oscura y en la oscuridad, y no podemos tener eso», dijo Arthur’s O’Sullivan.

Los auditores han estado en escenarios en los que no tienen acceso al código del software y, por lo tanto, corren el riesgo de violar las leyes de acceso a computadoras, dijo Inioluwa Deborah Raji, auditora y colaboradora de investigación de la Algorithmic Justice League. Chowdhury dijo que ha rechazado las auditorías cuando las empresas le exigieron que les permita revisarlas antes de su publicación.

Para la auditoría de HireVue, ORCAA entrevistó a las partes interesadas, incluidos los empleados de HireVue, los clientes, los candidatos a puestos y los expertos en equidad algorítmica, e identificó inquietudes que la compañía necesitaba abordar, dijo Zuloaga.

La evaluación de ORCAA no analizó los detalles técnicos de los algoritmos de HireVue, como los datos en los que se entrenó el algoritmo o su código, aunque Zuloaga dijo que la compañía no limitó el acceso de los auditores de ninguna manera.

“ORCAA solicitó detalles sobre estos análisis, pero su enfoque se centró en abordar cómo las partes interesadas se ven afectadas por el algoritmo”, dijo Zuloaga.

O’Neil dijo que no podía comentar sobre la auditoría de HireVue.

Muchas auditorías se realizan antes del lanzamiento de los productos, pero eso no quiere decir que no tengan problemas, porque los algoritmos no existen en el vacío. Tomemos, por ejemplo, cuando Microsoft creó un chatbot que rápidamente se volvió racista una vez que se expuso a los usuarios de Twitter.

«Una vez que lo ha puesto en el mundo real, un millón de cosas pueden salir mal, incluso con las mejores intenciones», dijo O’Sullivan. “El marco que nos encantaría que nos adoptaran es que no existe lo suficientemente bueno. Siempre hay formas de hacer las cosas más justas «.

Por lo tanto, algunas auditorías previas al lanzamiento también proporcionarán un monitoreo continuo, aunque no es común. La práctica está ganando impulso entre los bancos y las empresas de atención médica, dijo O’Sullivan.

La empresa de supervisión de O’Sullivan instala un panel que busca anomalías en los algoritmos a medida que se utilizan en tiempo real. Por ejemplo, alertaría a las empresas meses después del lanzamiento si sus algoritmos rechazan a más mujeres solicitantes de préstamos.

Y, por último, también existe un creciente cuerpo de auditorías adversas, en gran parte realizadas por investigadores y algunos periodistas, que examinan los algoritmos sin el consentimiento de la empresa. Tomemos, por ejemplo, a Raji y Joy Buolamwini, fundadora de la Algorithmic Justice League, cuya trabajar en la herramienta Rekognition de Amazon destacó cómo el software tenía prejuicios raciales y de género, sin la participación de la empresa.

¿Las empresas corrigen sus algoritmos después de una auditoría?

No hay garantía de que las empresas aborden los problemas planteados en una auditoría.

«Puede tener una auditoría de calidad y aún así no obtener la responsabilidad de la empresa», dijo Raji. «Requiere mucha energía cerrar la brecha entre obtener los resultados de la auditoría y luego traducirlos en responsabilidad».

La presión pública a veces puede empujar a las empresas a abordar el sesgo algorítmico en la tecnología, o auditorías que no se realizaron a instancias de la empresa de tecnología y que están cubiertas por un acuerdo de no divulgación.

Raji dijo que Estudio de sombras de género, que encontró prejuicios raciales y de género en herramientas comerciales de reconocimiento facial, nombró a empresas como IBM y Microsoft para iniciar una conversación pública al respecto.

Pero puede ser difícil crear rumores sobre la responsabilidad algorítmica, dijo.

Si bien se puede relacionar el sesgo en el reconocimiento facial (las personas pueden ver fotos y las tasas de error y comprender las consecuencias del sesgo racial y de género en la tecnología), puede ser más difícil relacionarse con algo como el sesgo en los algoritmos de tasas de interés.

«Es un poco triste que dependamos tanto de la protesta pública», dijo Raji. “Si el público no lo entiende, no hay multa, no hay repercusiones legales. Y lo hace muy frustrante «.

Entonces, ¿qué se puede hacer para mejorar la auditoría algorítmica?

En 2019, un grupo de legisladores demócratas presentó la ley federal Ley de responsabilidad algorítmica, lo que habría requerido que las empresas auditen sus algoritmos y aborden cualquier problema de sesgo revelado por las auditorías antes de que se pongan en uso.

El fundador de AI For the People, Mutale Nkonde, fue parte de un equipo de tecnólogos que ayudó a redactar el proyecto de ley y dijo que habría creado mandatos gubernamentales para que las empresas auditen y realicen el seguimiento de esas auditorías.

«Al igual que las pruebas de drogas, tendría que haber algún tipo de agencia como la Administración de Drogas y Alimentos que analice los algoritmos», dijo. «Si viéramos el impacto dispar, entonces ese algoritmo no se lanzaría al mercado».

El proyecto de ley nunca llegó a votación.

El senador Ron Wyden, un demócrata de Oregon, dijo que planea volver a presentar el proyecto de ley con el senador Cory Booker (D-NJ) y la representante Yvette Clarke (D-NY), con actualizaciones a la versión de 2019. No está claro si el proyecto de ley establecería estándares para las auditorías, pero requeriría que las empresas actúen sobre sus resultados.

«Estoy de acuerdo en que los investigadores, la industria y el gobierno deben trabajar para establecer puntos de referencia reconocidos para auditar la IA, para garantizar que las auditorías tengan el mayor impacto posible», dijo Wyden en un comunicado. “Sin embargo, hay mucho en juego para esperar un consenso académico completo antes de que el Congreso comience a tomar medidas para protegerse contra los sesgos que contaminan los sistemas automatizados. En mi opinión, tenemos que trabajar en ambas pistas «.

Este articulo fue publicado originalmente en The Markup y fue reeditado bajo el Creative Commons Reconocimiento-No comercial-Sin derivados licencia.

Publicado el 27 de febrero de 2021-14: 00 UTC





Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con tus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, aceptas el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad