Por qué es tan difícil regular los algoritmos


Por Todd Plumas

Publicado originalmente en themarkup.org

En 2018, el Ayuntamiento de Nueva York creó un grupo de trabajo para estudiar el uso de los sistemas de decisión automatizados (ADS) en la ciudad. La preocupación: las agencias gubernamentales empleaban cada vez más algoritmos, no solo en Nueva York sino en todo el país, para hacer de todo, desde informar sentencias penales y detectar fraudes de desempleo hasta priorizar casos de abuso infantil y distribuir beneficios de salud. Y los legisladores, por no hablar de las personas gobernadas por las decisiones automatizadas, sabían poco sobre cómo se realizaban los cálculos.

Los raros atisbos de cómo funcionaban estos algoritmos no fueron reconfortantes: en varios estados, los algoritmos utilizados para determinar cuánta ayuda recibirán los residentes de los asistentes de salud en el hogar tienen corte automático de beneficios por miles. Los departamentos de policía de todo el país usan el software PredPol para predecir dónde ocurrirán futuros delitos, pero el programa envía desproporcionadamente a la policía a los barrios negros e hispanos. Y en Michigan, un algoritmo diseñado para detectar reclamos fraudulentos de desempleo marcó incorrectamente a miles de solicitantes, lo que obligó a los residentes que deberían haber recibido asistencia a pierden sus casas y se declaran en bancarrota.

La de la ciudad de Nueva York fue la primera legislación en el país destinada a arrojar luz sobre cómo las agencias gubernamentales usan la inteligencia artificial para tomar decisiones sobre personas y políticas.

En ese momento, la creación del grupo de trabajo fue anunciada como un momento de “división” eso marcaría el comienzo de una nueva era de supervisión. Y, de hecho, en los cuatro años transcurridos desde entonces, un flujo constante de informes sobre los daños causados ​​por los algoritmos de alto riesgo ha llevado a los legisladores de todo el país a presentar casi 40 proyectos de ley diseñados para estudiar o regular el uso de ADS por parte de las agencias gubernamentales, según The Markup. revisión de la legislación estatal.

Los proyectos de ley van desde propuestas para crear grupos de estudio hasta exigir a las agencias que auditen los algoritmos en busca de sesgos antes de comprar sistemas a los proveedores. Pero las docenas de reformas propuestas han compartido un destino común: en gran medida han muerto inmediatamente después de su introducción o han expirado en los comités después de breves audiencias, según la revisión de The Markup.

En la ciudad de Nueva York, ese grupo de trabajo inicial tardó dos años en hacer un conjunto de recomendaciones amplias y no vinculantes para una mayor investigación y supervisión. Un miembro del grupo de trabajo describió el esfuerzo como un «desperdicio.» El grupo ni siquiera pudo ponerse de acuerdo sobre una definición para los sistemas de decisión automatizados, y varios de sus miembros, en ese momento y desde entonces, han dicho que no creían que las agencias y los funcionarios de la ciudad hubieran aceptado el proceso.

En otros lugares, casi todas las propuestas para estudiar o regular los algoritmos no han sido aprobadas. Los proyectos de ley para crear grupos de estudio para examinar el uso de algoritmos fracasaron en Massachusetts, el estado de Nueva York, California, Hawái y Virginia. Los proyectos de ley que requieren auditorías de algoritmos o que prohíben la discriminación algorítmica han muerto en California, Maryland, Nueva Jersey y el estado de Washington. En varios casos, California, Nueva Jersey, Massachusetts, Michigan y Vermont, los proyectos de ley de supervisión o estudio de ADS siguen pendientes en la legislatura, pero sus perspectivas en esta sesión son escasas, según los patrocinadores y defensores en esos estados.

El único proyecto de ley estatal aprobado hasta ahora, Vermont, creó un grupo de trabajo cuyas recomendaciones, para formar una comisión permanente de IA y adoptar regulaciones, han sido ignoradas hasta ahora, dijo el representante estatal Brian Cina a The Markup.

The Markup entrevistó a legisladores y cabilderos y revisó testimonios escritos y orales sobre docenas de proyectos de ley de ADS para examinar por qué las legislaturas no han regulado estas herramientas.

Encontramos dos líneas directas clave: los legisladores y el público carecen de acceso fundamental a la información sobre qué algoritmos están usando sus agencias, cómo están diseñados y cuán significativamente influyen en las decisiones. En muchos de los estados que examinó The Markup, los legisladores y activistas dijeron que las agencias estatales habían rechazado sus intentos de recopilar información básica, como los nombres de las herramientas que se utilizan.

Mientras tanto, las grandes empresas tecnológicas y los contratistas del gobierno han descarrilado con éxito la legislación al argumentar que las propuestas son demasiado amplias (en algunos casos afirman que evitarían que los funcionarios públicos usen calculadoras y hojas de cálculo) y que exigir a las agencias que examinen si un sistema ADS es discriminatorio mataría la innovación y aumentar el precio de las compras gubernamentales.

Los legisladores lucharon por descubrir qué algoritmos estaban en uso

Uno de los mayores desafíos a los que se han enfrentado los legisladores al tratar de regular las herramientas ADS es simplemente saber qué son y qué hacen.

Tras el histórico informe de su grupo de trabajo, la ciudad de Nueva York llevó a cabo una encuesta posterior de las agencias de la ciudad. Resultó en una lista de solo 16 sistemas de decisión automatizados en nueve agencias, que los miembros del grupo de trabajo le dijeron a The Markup que sospechan que es una subestimación grave.

“En realidad, no sabemos dónde las entidades gubernamentales o las empresas usan estos sistemas, por lo que es difícil hacer [regulations] más concreto”, dijo Julia Stoyanovich, profesora de informática de la Universidad de Nueva York y miembro del grupo de trabajo.

En 2018, Vermont se convirtió en el primer estado en crear su propio grupo de estudio ADS. Al concluir su trabajo en 2020, el grupo informó que “Hay ejemplos en los que los gobiernos estatales y locales han utilizado aplicaciones de inteligencia artificial, pero en general, el Grupo de trabajo no ha identificado muchas de estas aplicaciones”.

“El hecho de que no haya aparecido nada en unas pocas semanas de testimonio no significa que no existan”, dijo Cina. “No es como si le pidiéramos a cada agencia estatal que mirara cada cosa que usan”.

En febrero, presentó un proyecto de ley que habría requerido que el estado desarrollara estándares básicos para el uso de los sistemas ADS por parte de las agencias. Se ha sentado en el comité sin una audiencia desde entonces.

En 2019, el Senado de Hawái aprobó una resolución solicitando que el estado convoque un grupo de trabajo para estudiar el uso de la agencia de los sistemas de inteligencia artificial, pero la resolución no fue vinculante y no se convocó ningún grupo de trabajo, según la Oficina de Referencia Legislativa de Hawái. Los legisladores intentaron aprobar una resolución vinculante nuevamente el año siguiente, pero fracasó.

Los legisladores y los grupos de defensa que redactaron proyectos de ley ADS en California, Maryland, Massachusetts, Michigan, Nueva York y Washington le dijeron a The Markup que no tienen una comprensión clara de la medida en que sus agencias estatales utilizan las herramientas ADS.

Los grupos de defensa como el Centro de información de privacidad electrónica (EPIC) que han intentado encuestar a las agencias gubernamentales sobre el uso de los sistemas ADS dicen que reciben información incompleta de manera rutinaria.

“Los resultados que estamos obteniendo son directamente faltas de respuesta o realmente sacar los dientes por cada pequeña cosa”, dijo Ben Winters, quien dirige el Proyecto de Derechos Humanos e IA de EPIC.

En Washington, luego de que un proyecto de ley de regulación de ADS fracasara en 2020, la legislatura creó un grupo de estudio encargado de hacer recomendaciones para la legislación futura. La ACLU de Washington propuso que el grupo encuestara a las agencias estatales para recopilar más información sobre las herramientas que estaban usando, pero el grupo de estudio rechazó la idea, según minutos públicos de las reuniones del grupo.

“Pensamos que era una simple pregunta”, dijo Jennifer Lee, gerente de proyectos de tecnología y libertad de la ACLU de Washington. “Una de las barreras que seguimos encontrando cuando hablamos con los legisladores sobre la regulación de ADS es que no entendían qué tan frecuente era el problema. Seguían preguntando: ‘¿Qué tipo de sistemas se están utilizando en todo el estado de Washington?’ ”

Los legisladores dicen que la influencia corporativa es un obstáculo

El proyecto de ley más reciente de Washington se ha estancado en el comité, pero es probable que se vuelva a presentar una versión actualizada este año ahora que el grupo de estudio ha completó su informe final, dijo el senador estatal Bob Hasegawa, patrocinador del proyecto de ley

La legislación habría requerido que cualquier agencia estatal que busca implementar un sistema ADS produzca un informe algorítmico de rendición de cuentas que divulgue el nombre y el propósito del sistema, qué datos usaría y si el sistema había sido probado de forma independiente para detectar sesgos, entre otros requisitos.

El proyecto de ley también habría prohibido el uso de herramientas ADS que son discriminatorias y requeriría que cualquier persona afectada por una decisión algorítmica sea notificada y tenga derecho a apelar esa decisión.

“El gran obstáculo es la influencia corporativa en nuestros procesos gubernamentales”, dijo Hasegawa. “Washington es un estado con bastante alta tecnología y, por lo tanto, la alta tecnología corporativa tiene mucha influencia en nuestros sistemas aquí. De ahí es de donde proviene la mayor parte del retroceso porque las comunidades afectadas son prácticamente unánimes en que esto debe solucionarse”.

El proyecto de ley de California, que es similar, aún está pendiente en el comité. Alienta, pero no exige, a los proveedores que buscan vender herramientas ADS a agencias gubernamentales a presentar un informe de impacto ADS junto con su oferta, que incluiría divulgaciones similares a las requeridas por el proyecto de ley de Washington.

También requeriría que el Departamento de Tecnología del estado publique los informes de impacto para los sistemas activos en su sitio web.

Liderados por la Cámara de Comercio de California, 26 grupos de la industria, desde representantes de grandes tecnologías como la Asociación de Internet y TechNet hasta organizaciones que representan a bancos, compañías de seguros y fabricantes de dispositivos médicos, firmaron un carta oponiéndose al proyecto de ley.

“Hay muchos intereses comerciales aquí, y tienen los oídos de muchos legisladores”, dijo Vinhcent Le, asesor legal del Instituto Greenlining sin fines de lucro, quien ayudó a redactar el proyecto de ley.

Originalmente, el Greenlining Institute y otros partidarios buscaron regular los ADS en el sector privado y en el público, pero rápidamente encontraron rechazo.

“Cuando lo redujimos a los sistemas de inteligencia artificial del gobierno, pensamos que lo haría más fácil”, dijo Le. «El argumento [from industry] cambió a ‘Esto les va a costar a los contribuyentes de California millones más’. Ese ángulo de costo, ese ángulo de innovación, ese ángulo anti-empresarial es algo que preocupa a los legisladores”.

La Cámara de Comercio de California rechazó una solicitud de entrevista para esta historia, pero proporcionó una copia de la carta firmada por docenas de grupos de la industria que se oponen al proyecto de ley. La carta establece que el proyecto de ley «desalentará la participación en el proceso de adquisición estatal» porque el proyecto de ley alienta a los proveedores a completar una evaluación de impacto para sus herramientas. La carta decía que la sugerencia, que no es un requisito, era demasiado onerosa. La cámara también argumentó que la definición del proyecto de ley de sistemas de decisión automatizados era demasiado amplia.

Los cabilderos de la industria han criticado repetidamente la legislación en los últimos años por definiciones demasiado amplias de los sistemas de decisión automatizados a pesar del hecho de que las definiciones reflejan las utilizadas en sistemas reconocidos internacionalmente. Marcos de ética de IA, regulaciones en Canadá, y reglamentos propuestos en la Unión Europea.

Durante una audiencia del comité sobre el proyecto de ley de Washington, James McMahan, director de políticas de la Asociación de Alguaciles y Jefes de Policía de Washington, dijo a los legisladores que creía que el proyecto de ley se aplicaría a «la mayoría, si no a todas» las operaciones del laboratorio criminalístico estatal, incluido el ADN, las huellas dactilares, y análisis de armas de fuego.

La cabildera de la Asociación de Internet Vicki Christophersen, al testificar en la misma audiencia, sugirió que el proyecto de ley prohibiría el uso de cámaras de luz roja. La Asociación de Internet no respondió a una solicitud de entrevista.

“Es un tema de conversación divertido”, dijo Le. «De hecho, tuvimos que poner un lenguaje para decir que esto no incluye una calculadora ni una hoja de cálculo».

El proyecto de ley de Maryland, que murió en el comité, también habría requerido que las agencias produjeran informes que detallaran el propósito básico y las funciones de las herramientas ADS y habría prohibido el uso de sistemas discriminatorios.

“No te estamos diciendo que no puedes hacerlo [use ADS]”, dijo la delegada Terri Hill, quien patrocinó el proyecto de ley de Maryland. “Solo estamos diciendo que identifique cuáles son sus prejuicios por adelantado e identifique si son consistentes con los objetivos generales del estado y con este propósito”.

El Maryland Tech Council, un grupo industrial que representa a pequeñas y grandes empresas de tecnología en el estado, se opuso al proyecto de ley, argumentando que las prohibiciones contra la discriminación eran prematuras y perjudicarían la innovación en el estado, según el testimonio escrito y oral que proporcionó el grupo.

“La capacidad de evaluar adecuadamente si hay o no sesgo es un área emergente, y diríamos que, en nombre del consejo de tecnología, implementar esto en este momento es adelantarse a donde estamos”, Pam Kasemeyer, la cabildero del consejo, dijo durante una audiencia del comité de marzo sobre el proyecto de ley. “Casi detiene el deseo de las empresas de continuar tratando de desarrollar y perfeccionar estos por temor a que se los considere discriminatorios”.

Éxito limitado en el sector privado

Ha habido menos intentos por parte de las legislaturas estatales y locales de regular el uso de los sistemas ADS por parte de las empresas privadas, como los que The Markup ha expuesto en el selección de inquilinos y industrias de seguros de automóviles—pero en los últimos años, esas medidas han sido marginalmente más exitosas.

El Concejo de la Ciudad de Nueva York aprobó un proyecto de ley que requeriría que las empresas privadas realicen auditorías de sesgo de las herramientas algorítmicas de contratación antes de usarlas. Muchos empleadores utilizan las herramientas para seleccionar candidatos de trabajo sin el uso de un entrevistador humano.

La legislación, que se promulgó en enero pero no entrará en vigor hasta 2023, ha sido criticado por algunos de sus primeros seguidores, sin embargo, por ser demasiado débil.

Illinois también promulgó una Ley del Estado en 2019 que requiere que los empleadores privados notifiquen a los candidatos cuando están siendo evaluados por herramientas algorítmicas de contratación. Y en 2021, la legislatura enmendó la ley para exigir a los empleadores que usan tales herramientas que informen datos demográficos sobre los candidatos a un puesto de trabajo a una agencia estatal para que sean analizados en busca de evidencia de decisiones sesgadas.

Este año la legislatura de Colorado también aprobó una ley, que entrará en vigor en 2023, que creará un marco para evaluar los algoritmos de suscripción de seguros y prohibirá el uso de algoritmos discriminatorios en la industria.

Este artículo fue publicado originalmente en The Markup y se volvió a publicar bajo la Creative Commons Reconocimiento-No comercial-Sin derivados licencia.



Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad