Este nuevo libro explora la dificultad de alinear la IA con nuestros valores


Durante décadas, hemos intentado desarrollar inteligencia artificial a nuestra propia imagen. Y en cada paso del camino, hemos logrado crear máquinas que pueden realizar hazañas maravillosas y al mismo tiempo cometer errores sorprendentemente tontos.

Después de seis décadas de investigación y desarrollo, alinear los sistemas de IA con nuestros objetivos, intenciones y valores sigue siendo un objetivo difícil de alcanzar. Todos los campos importantes de la IA parecen resolver parte del problema de replicar la inteligencia humana dejando huecos en áreas críticas. Y estos agujeros se vuelven problemáticos cuando aplicamos la tecnología de inteligencia artificial actual a áreas donde esperamos que los agentes inteligentes actúen con la racionalidad y la lógica que esperamos de los humanos.

En su último libro, El problema de la alineación: aprendizaje automático y valores humanos, el programador e investigador Brian Christian analiza los desafíos de asegurarnos de que nuestros modelos de IA capten «nuestras normas y valores, comprendan lo que queremos decir o pretendemos y, sobre todo, hacer lo que queremos». Este es un tema que se ha vuelto cada vez más urgente en los últimos años, ya que aprendizaje automático ha encontrado su camino en muchos campos y aplicaciones donde tomar decisiones equivocadas puede tener consecuencias desastrosas.

Como describe Christian: “A medida que los sistemas de aprendizaje automático se vuelven no solo cada vez más omnipresentes sino cada vez más poderosos, nos encontraremos cada vez más a menudo en la posición del ‘aprendiz de brujo’: conjuramos una fuerza, autónoma pero totalmente obediente, le damos un un conjunto de instrucciones, luego luchamos como locos para detenerlo una vez que nos damos cuenta de que nuestras instrucciones son imprecisas o incompletas, para que no obtengamos, de alguna manera inteligente y horrible, precisamente lo que pedimos «.

En El problema de la alineación, Christian proporciona una descripción completa del estado actual de la inteligencia artificial y cómo llegamos aquí. También analiza lo que falta en los diferentes enfoques para crear IA.

A continuación, se incluyen algunas conclusiones clave del libro.

Aprendizaje automático: asignación de entradas a salidas

Portada del libro de problemas de alineación

En las primeras décadas de investigación de la IA, sistemas simbólicos hizo avances notables en la resolución de problemas complicados que requerían razonamiento lógico. Sin embargo, eran terribles en tareas simples que todo ser humano aprende a una edad temprana, como detectar objetos, personas, voces y sonidos. Tampoco escalaron bien y requirieron mucho esfuerzo manual para crear las reglas y el conocimiento que definieron su comportamiento.

Más recientemente, el creciente interés en el aprendizaje automático y el aprendizaje profundo ha ayudado a avanzar visión por computador, reconocimiento de voz y procesamiento natural del lenguaje, los mismos campos en los que la IA simbólica luchó. Algoritmos de aprendizaje automático escale bien con la disponibilidad de datos y recursos informáticos, que es en gran parte la razón por la que se han vuelto tan populares en la última década.

Pero a pesar de sus notables logros, los algoritmos de aprendizaje automático son funciones matemáticas complejas centrales que asignan las observaciones a los resultados. Por lo tanto, son tan buenos como sus datos y comienzan a romperse a medida que los datos que enfrentan en el mundo comienzan a desviarse de los ejemplos que han visto durante el entrenamiento.

En El problema de la alineación, Christian repasa muchos ejemplos en los que los algoritmos de aprendizaje automático han provocado fallos vergonzosos y dañinos. Un ejemplo popular es un algoritmo de clasificación de Google Photos que etiquetado a las personas de piel oscura como gorilas. El problema no estaba en el algoritmo de IA sino en los datos de entrenamiento. Si Google hubiera entrenado el modelo con más ejemplos de personas de piel oscura, podría haber evitado el desastre.

«El problema, por supuesto, con un sistema que puede, en teoría, aprender casi cualquier cosa de un conjunto de ejemplos es que se encuentra, entonces, a merced de los ejemplos de los que se enseña», escribe Christian.

Lo peor es que los modelos de aprendizaje automático no pueden distinguir el bien del mal y no pueden tomar decisiones morales. Cualquier problema que exista en los datos de entrenamiento de un modelo de aprendizaje automático se reflejará en el comportamiento del modelo, a menudo de manera discreta y con matices. Por ejemplo, en 2018, Amazon apagar una herramienta de aprendizaje automático utilizado para tomar decisiones de contratación porque sus decisiones estaban sesgadas en contra de las mujeres. Obviamente, ninguno de los creadores de AI quería que el modelo seleccionara candidatos en función de su género. En este caso, el modelo, que se entrenó con los datos históricos de contratación de la empresa, reflejó problemas dentro de la propia Amazon.

Este es solo uno de los varios casos en los que un modelo de aprendizaje automático ha detectado los sesgos que existían en sus datos de entrenamiento y los ha amplificado en sus propias formas únicas. También es una advertencia contra la confianza en los modelos de aprendizaje automático que se entrenan con datos que recopilamos ciegamente de nuestro propio comportamiento pasado.

“Modelar el mundo tal como es es una cosa. Pero tan pronto como comiences utilizando ese modelo, eres cambiando el mundo, en formas grandes y pequeñas. Existe una suposición generalizada subyacente a muchos modelos de aprendizaje automático de que el modelo en sí no cambio la realidad que está modelando. En casi todos los casos, esto es falso ”, escribe Christian. «De hecho, el despliegue descuidado de estos modelos podría producir un ciclo de retroalimentación del cual la recuperación se vuelve cada vez más difícil o requiere intervenciones cada vez mayores».

[Leer:[Read:Cómo esta empresa aprovechó la inteligencia artificial para convertirse en el Netflix de Finlandia]

La inteligencia humana tiene mucho que ver con la recopilación de datos, la búsqueda de patrones y convertir esos patrones en acciones. Pero aunque normalmente tratamos de simplificar la toma de decisiones inteligente en un pequeño conjunto de entradas y salidas, los desafíos del aprendizaje automático muestran que nuestras suposiciones sobre los datos y el aprendizaje automático a menudo resultan falsas.

“Necesitamos considerar críticamente… no solo de dónde obtenemos nuestros datos de entrenamiento, sino de dónde obtenemos las etiquetas que funcionarán en el sistema como un sustituto de la verdad básica. A menudo, la verdad fundamental no es la verdad fundamental ”, advierte Christian.

Aprendizaje reforzado: maximizar las recompensas

Aprendizaje por refuerzo de OpenAI dota 2

Aprendizaje reforzado
ha ayudado a los investigadores a crear una IA que logra hazañas notables, como vencer a campeones en videojuegos complicados.

Otra rama de la IA que ha ganado mucha tracción en la última década es aprendizaje reforzado, un subconjunto de aprendizaje automático en el que el modelo recibe las reglas de un espacio de problemas y una función de recompensa. Luego, se deja que el modelo explore el espacio por sí mismo y encuentre formas de maximizar sus recompensas.

“El aprendizaje por refuerzo … nos ofrece una definición poderosa, y quizás incluso universal, de lo que la inteligencia es”, Escribe Christian. “Si la inteligencia es, como dijo el científico informático John McCarthy, ‘la parte computacional de la capacidad de lograr metas en el mundo’, entonces el aprendizaje por refuerzo ofrece una caja de herramientas sorprendentemente general para hacerlo. De hecho, es probable que la evolución haya tropezado con sus principios básicos una y otra vez, y es probable que formen la base de cualquier inteligencia artificial que el siglo XXI tenga reservada ”.

El aprendizaje por refuerzo está detrás de grandes logros científicos, como los sistemas de inteligencia artificial que han dominado los juegos de Atari, Go, StarCraft 2 y DOTA 2. También ha encontrado muchos usos en robótica. Pero cada uno de esos logros también demuestra que la mera búsqueda de recompensas externas no es exactamente cómo funciona la inteligencia.

Por un lado, los modelos de aprendizaje por refuerzo requieren cantidades masivas de ciclos de entrenamiento para obtener resultados simples. Por esta misma razón, la investigación en este campo se ha limitado a unos pocos laboratorios respaldados por empresas muy ricas. Los sistemas de aprendizaje por refuerzo también son muy rígidos. Por ejemplo, un modelo de aprendizaje por refuerzo que juega StarCraft 2 a nivel de campeonato no podrá jugar a otro juego con mecánicas similares. Los agentes de aprendizaje por refuerzo también tienden a atascarse en bucles sin sentido que maximizan una recompensa simple a expensas de los objetivos a largo plazo. Un ejemplo es esta IA de carreras de botes que ha logrado piratear su entorno al recolectar continuamente elementos de bonificación sin considerar el objetivo mayor de ganar la carrera.

“Desenchufar las recompensas externas cableadas puede ser una parte necesaria de la construcción de una IA verdaderamente general: porque la vida, a diferencia de un juego de Atari, enfáticamente no viene etiquetada previamente con tiempo real retroalimentación sobre cuán buenas o malas son cada una de nuestras acciones ”, escribe Christian. “Tenemos padres y maestros, claro, que pueden corregir nuestra ortografía y pronunciación y, en ocasiones, nuestro comportamiento. Pero esto apenas cubre una fracción de lo que hacemos, decimos y pensamos, y las autoridades en nuestra vida no siempre están de acuerdo. Además, es uno de los ritos centrales del paso de la condición humana que debemos aprender a hacer estos juicios por nuestra propia luz y por nosotros mismos ”.

Christian también sugiere que si bien el aprendizaje por refuerzo comienza con recompensas y desarrolla un comportamiento que maximiza esas recompensas, lo contrario es quizás aún más interesante y crítico: “Dado el comportamiento que queremos de nuestras máquinas, ¿cómo estructuramos las recompensas del entorno para lograr ese comportamiento? ¿acerca de? ¿Cómo obtenemos lo que queremos cuando es nosotros que se sientan en la parte trasera de la audiencia, en la silla del críticonosotros ¿Quién administra los gránulos de alimentos o su equivalente digital? «

¿Debería la IA imitar a los humanos?

inteligencia artificial de aprendizaje automático

En El problema de la alineación, Christian también analiza las implicaciones de desarrollar agentes de inteligencia artificial que aprendan mediante la pura imitación de las acciones humanas. Un ejemplo son los coches autónomos que aprenden observando cómo conducen los humanos.

La imitación puede hacer maravillas, especialmente en problemas donde las reglas y etiquetas no están bien definidas. Pero nuevamente, la imitación pinta una imagen incompleta del rompecabezas de la inteligencia. Los seres humanos aprendemos mucho mediante la imitación y el aprendizaje de memoria, especialmente a una edad temprana. Pero la imitación es solo uno de los varios mecanismos que usamos para desarrollar un comportamiento inteligente. Al observar el comportamiento de los demás, también adaptamos nuestra propia versión de ese comportamiento que está alineado con nuestros propios límites, intenciones, metas, necesidades y valores.

«Si alguien es fundamentalmente más rápido o más fuerte o de diferente tamaño que tú, o piensa más rápido de lo que podrías ser, imitar sus acciones a la perfección puede que no funcione», escribe Christian. “De hecho, puede ser catastrófico. Harás lo que quieras haría hacer si fueras ellos. Pero no eres ellos. Y lo que haces no es lo que ellos haría si fueran Uds. «

En otros casos, los sistemas de inteligencia artificial utilizan la imitación para observar y predecir nuestro comportamiento y tratar de ayudarnos. Pero esto también presenta un desafío. Los sistemas de inteligencia artificial no están sujetos a las mismas restricciones y límites que nosotros, y a menudo malinterpretan nuestras intenciones y lo que es bueno para nosotros. En lugar de protegernos de nuestros malos hábitos, ellos los amplifican y nos empujan a adquirir los malos hábitos de los demás. Y se están volviendo omnipresentes en todos los aspectos de nuestras vidas.

«Nuestros mayordomos digitales están observando de cerca», escribe Christian. “Ven nuestra vida tanto privada como pública, lo mejor y lo peor de nosotros mismos, sin saber necesariamente cuál es cuál o sin hacer ninguna distinción. En general, residen en una especie de misterioso valle de sofisticación: capaces de inferir modelos sofisticados de nuestros deseos a partir de nuestro comportamiento, pero no pueden ser enseñados y no están dispuestos a cooperar. Están pensando mucho en lo que vamos a hacer a continuación, en cómo podrían hacer su próxima comisión, pero no parecen entender lo que queremos, mucho menos en quién esperamos convertirnos «.

¿Que viene despues?

Los avances en el aprendizaje automático muestran lo lejos que hemos llegado hacia el objetivo de crear máquinas pensantes. Pero los desafíos del aprendizaje automático y el problema de alineación también nos recuerdan cuánto más tenemos que aprender antes de poder crear inteligencia a nivel humano.

Los científicos e investigadores de IA están explorando varios diferente formas para superar estos obstáculos y crear sistemas de inteligencia artificial que puedan beneficiar a la humanidad sin causar daño. Hasta entonces, tendremos que andar con cuidado y tener cuidado de cuánto crédito asignamos a los sistemas que imitan la inteligencia humana en la superficie.

«Una de las cosas más peligrosas que se pueden hacer en el aprendizaje automático, y de otro modo, es encontrar un modelo que sea razonablemente bueno, declarar la victoria y, en adelante, comenzar a confundir el mapa con el territorio», advierte Christian..

Este artículo fue publicado originalmente por Ben Dickson en TechTalks, una publicación que examina las tendencias en tecnología, cómo afectan la forma en que vivimos y hacemos negocios, y los problemas que resuelven. Pero también discutimos el lado malo de la tecnología, las implicaciones más oscuras de la nueva tecnología y lo que debemos tener en cuenta. Puedes leer el artículo original Aquí.

Publicado el 30 de enero de 2021-15: 00 UTC





Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con tus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, aceptas el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad