¿Estás interesado en la IA? Luego únete a nuestro evento en línea, TNW2020, donde escuchará cómo la inteligencia artificial está transformando industrias y empresas.
La semana pasada, muchas publicaciones de tecnología dieron la noticia de un blog generado por inteligencia artificial que engañó a miles de usuarios y llegó a la cima del foro de Hacker News. GPT-3, el modelo de lenguaje masivo desarrollado por el laboratorio de investigación de IA OpenAI, había escrito los artículos.
Desde su lanzamiento en julio, GPT-3 ha causado mucho entusiasmo en la comunidad de IA. Los desarrolladores que recibieron acceso temprano al modelo de lenguaje solían hacer muchas cosas interesantes, mostrando hasta dónde ha llegado la investigación de IA.
Pero como muchos otros desarrollos en IA, también hay mucha publicidad y malentendidos en torno a GPT-3, y muchas de las historias publicadas sobre él tergiversan sus capacidades. El blog escrito por GPT-3 resurgió preocupaciones sobre ataques de noticias falsas, robots que engañan a los humanos, y desempleo tecnológico, que se han convertido en el sello distintivo de los informes de IA.
Decidí echar un vistazo profundo al blog y la emoción que lo rodea, y mis hallazgos fueron preocupantes. Pero los problemas que encontré fueron principalmente con humanos, no con GPT-3.
El blog generado por IA
En caso de que no haya leído las historias, un estudiante de informática de la Universidad de California, Berkeley, creó un blog en Substack con el seudónimo de Adolos. OpenAI ha puesto GPT-3 a disposición de una audiencia limitada de desarrolladores, y Liam Porr, el estudiante, no era uno de ellos. Entonces le preguntó a un Ph.D. estudiante que ya tenía acceso a la IA para ejecutar sus consultas en GPT-3.
Básicamente, Porr dio un titular y una introducción para la publicación, y GPT-3 devolvió un artículo completo. Eligió la mejor de varias salidas del modelo de IA y la copió y pegó en su blog con muy poca edición.
La primera publicación, titulada «¿Te sientes improductivo? Quizás deberías dejar de pensar demasiado”Alcanzó el puesto número uno en Hacker News con casi 200 votos a favor y más de 70 comentarios. En una semana, el blog alcanzó 26.000 visitas y adquirió 60 suscriptores. Según Porr, muy pocas personas habían señalado que el blog podría haber sido escrito por AI.
Porr terminó el experimento con una confesión y algunas especulaciones sobre cómo GPT-3 podría cambiar el futuro de la escritura.
Informes deficientes de IA
Naturalmente, este escenario es un tema atractivo para artículos sensacionales. Y los medios no defraudaron. Miré los informes de varias publicaciones tecnológicas de renombre. Lo único que todos usaron en sus titulares fue el término «blog falso».
La palabra «falso» es vaga para empezar. Lo usamos vagamente para referirnos a productos falsificados (zapatos Nike falsos) o falsificación (un pasaporte falso). También puede significar pretensión (fingir sorpresa) o suplantación e implicar algún tipo de engaño o engaño (noticias falsas).
Por ejemplo, durante el período previo a las elecciones presidenciales, un grupo de jóvenes macedonios preparar lo que parecían sitios web de noticias estadounidenses reales y los usaba para difundir artículos de noticias falsos con información falsa y titulares sensacionales. Los artículos engañaban a los usuarios en las redes sociales para que hicieran clic en sus enlaces y los promovieran, generando ingresos para los propietarios de los sitios y causando estragos durante las elecciones estadounidenses.
Mirando el blog de Porr, no pude ver cómo la definición de «falso» podría aplicarse al blog. El autor no estaba difundiendo información errónea. No estaba tratando de influir en la opinión pública dando una narrativa falsa de los eventos. Y nunca mencionó la palabra «falso» en su propio relato de los hechos.
El autor usó el seudónimo de Adolos, que es claramente un seudónimo o al menos un nombre incompleto. El uso de un seudónimo es una práctica conocida y aceptada entre los blogueros. No tiene nada de malo siempre y cuando no lo use con motivos ocultos o para causar daño a otras personas. Por lo tanto, no lo consideraría un argumento para llamar falso al blog.
Además, el hecho de que una IA ayudó a escribir los artículos no los hizo falsos. Los hizo diferentes de la escritura humana, pero no falsos. Creo que el término «escrito por IA» o «generado por IA» habría sido más preciso.
Pero, de nuevo, el término «falso» también es muy subjetivo. Por ejemplo, no existe un consenso sobre qué son las noticias falsas hoy. Quizás los escritores de esas noticias tengan sus propias razones para llamar falso al blog generado por IA. Pero en la misma línea, podría llamar a sus historias «falsas» por engañar a su audiencia sobre las capacidades de GPT-3.
Pero una cosa es segura. Poner «blog falso» en el título generará muchos clics e ingresos para los medios de comunicación impulsados por anuncios, especialmente porque la sensibilidad está en su punto más alto antes de las elecciones presidenciales de Estados Unidos de 2020.
La publicación de Hacker News
Los medios utilizaron la popularidad del blog generado por IA en el foro Hacker News centrado en la tecnología como una medida de que GPT-3 había logrado engañar a los lectores de que un humano había escrito las publicaciones.
De hecho, la publicación ha recibido 198 puntos y 71 comentarios. «Lo que la mayoría de los comentaristas no se dieron cuenta: la publicación fue generada en su totalidad por inteligencia artificial» Business Insider escribió.
Pero una mirada más cercana a la discusión pinta una imagen más clara de por qué la publicación funcionó tan bien. Hay 22 hilos de comentarios en la discusión de Hacker News. Solo uno de ellos es una aprobación de los puntos planteados en el artículo. La mayoría de los comentarios se centran en el punto de vista y la experiencia de otros usuarios sobre cómo lidiar con la improductividad. Algunos de ellos habían debatido el título del artículo (que fue escrito por un humano, por cierto).
Básicamente, esto sugiere que, en lugar de estar interesada en el artículo generado por IA, la comunidad encontró que el tema era estimulante y digno de discusión. De hecho, creo que los puntos planteados en los comentarios fueron mucho más interesantes que el artículo en sí.
Lamentablemente, ninguno de los medios de comunicación que cubren la historia se encargó de investigar esto. En cambio, ellos (y el mismo Porr) destacaron un comentario en el que el usuario había expresado su sospecha sobre el artículo escrito por GPT-3, que fue rechazado por otros.
Creo que esto es bastante natural. Si bien el artículo fue escrito por una IA, la discusión fue puramente humana, y algunas personas probablemente lo siguieron con interés (más la razón para votar a favor de la publicación y atraer a más personas a la discusión), lo que conlleva algunas expectativas de los participantes para permanezca cordial y en el tema.
Las estadísticas del blog
Según Porr, el blog recibió 26.000 visitas y 60 suscriptores en una semana. Nuevamente, los medios tomaron esto como prueba de que la IA había engañado a la gente haciéndoles creer que un humano había escrito el blog.
Aquí hay un extracto de El borde: “La publicación se volvió viral en cuestión de unas pocas horas, dijo Porr, y el blog tuvo más de 26.000 visitantes. Escribió que solo una persona se acercó para preguntar si la publicación fue generada por IA, aunque varios comentaristas adivinaron que GPT-3 era el autor «.
Pero 26.000 visitas no significa que 26.000 personas hayan disfrutado del artículo. Solo significa que muchas personas encontraron el título de los artículos lo suficientemente intrigante (¿necesito recordarles que los títulos fueron escritos por un humano?) Para hacer clic en ellos.
También me gustaría saber más antes de usar las estadísticas de visualización como una medida de la popularidad del blog. ¿Se distribuyeron las estadísticas de visualización en todas las publicaciones del blog o en su mayoría pertenecían a la publicación popular que llegó a la cima de Hacker News? ¿Cuántos usuarios recurrentes tuvo el blog? ¿Cómo se distribuyeron los canales de tráfico del blog? ¿Qué tan comprometidos estaban los suscriptores con las publicaciones del blog? ¿Cuál es la tasa de rebote del blog? Responder a estas preguntas nos daría una mejor idea de la viralidad orgánica del blog y de lo bien que la IA se las arregló para convencer a sus lectores de que sus artículos eran genuinos.
Hacker News es un sitio web top-10k en Alexa.com, lo que significa que recibe millones de visitantes por mes. Sospecho que las vistas del blog aumentaron cuando esa publicación llegó a la cima del foro, y luego se estabilizó a un ritmo diario muy bajo cuando cayó del gráfico. La cobertura de noticias de la última semana probablemente le haya dado otro impulso al tráfico.
Hice una búsqueda rápida de «adolos.substack.com» en Twitter para ver cuántos usuarios estaban compartiendo el contenido del blog. Las acciones recientes fueron causadas por la exageración de los medios en torno a GPT-3 por haber escrito el blog y la mayoría de los usuarios están discutiendo cuán convincente es la escritura de IA. Pero si se desplaza hacia abajo hasta mediados de julio, cuando se publicó el artículo de productividad, la frecuencia de las acciones se redujo y, en su mayoría, incluía cuentas de bot que monitorean las publicaciones principales en Hacker News. A medida que el artículo comenzó a subir en la tabla en Hacker News, algunos otros usuarios también lo compartieron.
Los otros artículos del blog recibieron muy pocas acciones, lo que habla mucho sobre la popularidad del blog.
Según Porr, aparte de algunos usuarios de Hacker News, solo una persona se acercó para preguntar si el blog fue escrito por GPT-3. Este fue otro de los aspectos más destacados de los artículos escritos sobre el blog escrito por AI.
Nuevamente, creo que aquí hay un malentendido de las estadísticas. Un usuario que exprese dudas acerca de que el blog esté escrito por AI no significa que otros no tengan tales sospechas. Además, el tema del blog era el pensamiento creativo, lo que significa que muchas de las personas que lo leyeron no necesariamente sabían sobre GPT-3 y los avances en procesamiento natural del lenguaje.
Existe la posibilidad de que mucha gente se sienta frustrada por la redacción deficiente e inconsistente y abandone el sitio sin mirar atrás. Y algunas personas más podrían haber visto las señales reveladoras de la escritura de IA, pero no se molestaron en comentar en un blog anónimo que se creó hace una semana.
Para dar más contexto: es más probable que las personas señalen errores si los ven en una fuente confiable (digamos Cableado o TechCrunch). Pero cuando vea un blog sin dominio de mala redacción con mala redacción, simplemente lo descartará como uno de los millones de otros sitios web malos que existen.
¿Qué tan bien escribe GPT-3?
Para investigar más a fondo, leí algunos de los artículos del blog, comenzando por el que se hizo muy popular, “Sentirse improductivo. Quizás deberías dejar de pensar demasiado «.
No es una escritura de primer nivel, definitivamente no es algo que un escritor profesional ofrecería. Hubo mucha repetición. Tuve que releer algunas de las oraciones para captar el significado.
Pero a pesar de que mi mente estaba preparada para buscar signos de escritura artificial, tuve que admitir que se mantuvo en el tema y no tenía las referencias confusas que se encuentran en otros escritos de IA. Tenía coherencia y se parecía más a un artículo escrito por un escritor no profesional. Muestra lo lejos que ha llegado la IA en escupir texto coherente.
De hecho, estaba lo suficientemente bien escrito como para que algunos usuarios sospecharan que la IA había generado el texto. «Ahora, si giras esto más lejos, podría venir y adivinar que el real El experimento aquí es que usted mismo escribió el artículo de «pensamiento excesivo», ahora afirma que GPT-3 lo hizo y sigue viendo el próximo debate al respecto «, escribió un usuario después de que Porr hiciera la revelación.
Entonces, ¿fue esto realmente GPT-3 escribiendo un texto coherente o un gran truco publicitario? ¿GPT-3 logró unir muy bien partes de sus datos de entrenamiento? ¿Hubo algo más que una pequeña ayuda humana involucrada?
En este punto, no puedo confirmar ni rechazar las teorías de la conspiración. Pero cuando revisé los otros artículos del blog, la calidad de la escritura era visiblemente inferior a la de la publicación de pensamiento excesivo.
Por ejemplo, en Este artículo, la IA comienza a lidiar con las mesetas al escribir nuevas publicaciones. Luego habla de un amigo que había compartido su experiencia sobre obstáculos en el campo de entrenamiento de los Marines. Más adelante en el artículo, el autor habla sobre su propio tiempo en el campo de entrenamiento de Marines y luego pasa al mundo de los negocios. Aunque hay una especie de lógica involucrada, la secuencia de eventos es más que un poco confusa.
También hay signos de manipulación humana. Por ejemplo, en la misma publicación del blog, uno de los párrafos comienza con: «Desde que comencé este blog, he superado una meseta tras otra». Al producir artículos, GPT-3 no sabe nada sobre el medio donde se publicará o los artículos anteriores publicados allí. Porr tendría que tener mucha suerte para que la IA haya generado aleatoriamente esa secuencia.
La única forma en que podemos averiguar la verdad es realizando algunos experimentos de reproducibilidad. Porr tendría que revelar todos los detalles de cómo usó GPT-3. Esto incluye la configuración del parámetro de aleatoriedad y la longitud de la respuesta. También tendríamos que saber qué parte de la introducción de cada artículo fue escrita por el mismo Porr. Luego, alguien que tenga acceso a GPT-3 puede ejecutar las mismas consultas en la IA y verificar si el resultado (o su calidad) coincide con los artículos del blog de Adolos.
¿Cuál es el impacto de GPT-3?
En la publicación final de su blog, Porr describió sus observaciones, incluidas las deficiencias de GPT-3: “Si lees parte del contenido que hice, es posible que no estés convencido de su calidad. De hecho, hay rastros de falta de lógica, dificultad para concentrarse en el tema, problemas con la repetición, etc. «
Es por eso que eligió la productividad y la autoayuda como tema de las publicaciones de su blog. «GPT-3 es excelente para crear un lenguaje hermoso que toque la emoción, no la lógica dura y el pensamiento racional», escribe.
Si miras los artículos, en su mayoría se leen como una experiencia personal. No hay una lógica basada en hechos, lo que facilitaría ocultar las inconsistencias y dificultaría debatir la veracidad de las afirmaciones.
Porr cree que GPT-3 puede convertirse en una herramienta de escritura y ayudar a los escritores a ser más productivos y ahorrarles a las empresas de medios millones de dólares recortando personal. Alternativamente, según Porr, GPT-3 dará lugar a una nueva generación de empresas de medios “rápidos y ajustados”. Estas organizaciones usan IA para crear grandes cantidades de artículos y pequeños equipos que solo realizan las ediciones finales para corregir errores lógicos e inconsistencias.
En cierto modo, tiene razón. Existe una gran cantidad de contenido deficiente. Muchas de las cosas que lees en la web son productos derivados de otros artículos. Hay demasiado plagio barato y muy poco contenido original. GPT-3 podría automatizar todas esas tareas y dejar sin trabajo a muchos «redactores de contenido».
Pero esto solo muestra cuán pobre se ha vuelto la escritura humana, no cuán buena es la escritura de IA. La gente está escribiendo artículos para motores de búsqueda, para algoritmos de clasificación de contenido de redes sociales. Como hemos llegado a depender de algoritmos para curar nuestro contenido, nuestra propia escritura se ha optimizado para esos algoritmos. Y eso es algo que se puede automatizar. GPT-3 o alguna otra IA podría permitir que las granjas de contenido y los medios en línea llenen los feeds de las redes sociales y las páginas de resultados del motor de búsqueda sin la necesidad de escritores humanos.
Pero no necesariamente conducirá a un aumento en los ingresos, como señaló un usuario en la sección de comentarios del blog final de Porr, y puede tener el efecto contrario.
¿Cuál será el impacto? En general, habrá algunos ajustes, pero no creo que la gente deje de leer contenido en línea o pierda la confianza en el contenido escrito. Por el contrario, podría conducir a un mayor aprecio por la creatividad humana.
El aumento de los artículos generados por IA podría provocar un cambio en la forma en que las personas encuentran contenido en línea. Por ejemplo, a medida que disminuye la calidad de los resultados de búsqueda y los feeds de las redes sociales, el trabajo de los curadores humanos que encuentran artículos de calidad y los comparten con su audiencia será más valioso. Un ejemplo son los boletines de los analistas de negocios Benedict Evans y Shelly Palmer, quienes regularmente comparten artículos dignos de leer en la web. De hecho, la saturación de la red podría crear nuevos puestos de trabajo para las personas que pueden separar el trigo de la paja.
La escritura de IA es real, pero no reemplazará a los humanos
Primero, felicitaciones a Liam Porr por el interesante experimento. Aunque no estoy de acuerdo con sus conclusiones, creo que su trabajo ha puesto de relieve algunos problemas fundamentales que enfrentamos.
Los medios deben cambiar la forma en que cubren los avances en IA. Deben analizar más detenidamente las cosas antes de escribir artículos sensacionales y crear una publicidad engañosa sobre los modelos de lenguaje.
Mientras escribo estas últimas líneas, estoy reflexionando sobre el proceso, desde el momento en que tuve la idea de este artículo, hasta la investigación, mi experiencia previa con el bombo que rodea a la IA y todo lo demás que me llevó a lo que ‘ estoy leyendo ahora. ¿Podría todo esto ser automatizado por una máquina que busca patrones en números? No lo creo.
Creo que GPT-3 tendrá un papel en la escritura. Give it a query and it will find something relevant in the terabytes of data it has analyzed. That can help you find new directions for your writing, and it is how AI is being used in other fields. But for the time being, the human creative process will be beyond GPT-3 or its successor(s).
Some might argue that the same was said for chess and Go, but both proved to be problems that could be solved through brute-force math. They might be right, but language is perhaps the most complicated function of the human mind and probably one of the last areas AI will conquer. So there will be many other signs before we see AI that can imitate human writing.
To fellow human writers, don’t worry about being replaced with AI, unless you’re writing for the robots (search engines, social media networks, etc.). Things might change when (if) someone manages to create human-level AI, but it probably won’t happen in our lifetimes.
And to the robots reading this article, no hard feelings.
This article was originally published by Ben Dickson on TechTalks, a publication that examines trends in technology, how they affect the way we live and do business, and the problems they solve. But we also discuss the evil side of technology, the darker implications of new tech and what we need to look out for. You can read the original article aquí.
Published September 1, 2020 — 09:27 UTC