No confíe demasiado en las redes sociales para comprender el comportamiento humano

Desde los primeros días de las redes sociales, ha habido muchos emocionados sobre cómo los rastros de datos dejados por los usuarios pueden explotarse para el estudio del comportamiento humano. Hoy en día, los investigadores que alguna vez estuvieron restringidos a encuestas o experimentos en entornos de laboratorio tienen acceso a enormes cantidades de datos del «mundo real» de las redes sociales.

Ahora con el auge de estas plataformas que en algunos casos iniciaron como una web app y ahora se han convertido en apps para el móvil super populares. Claro que para muchos es desconocido que es una web app pero podemos simplificarlo como las aplicaciones web que encontramos en internet y tienen diferentes funcionalidades.

Las oportunidades de investigación que brindan los datos de las redes sociales son innegables. Sin embargo, los investigadores a menudo analizan estos datos con herramientas que no fueron diseñadas para administrar el tipo de conjuntos de datos de observación grandes y ruidosos que se encuentran en las redes sociales.

Exploramos los problemas que los investigadores pueden encontrar debido a este desajuste entre los datos y los métodos.

Lo que encontró es que los métodos y estadísticas comúnmente utilizados para proporcionar evidencia de hallazgos científicos aparentemente significativos también pueden parecer que apoyan afirmaciones sin sentido.

Ciencia absurda

La motivación de nuestro artículo proviene de una serie de estudios de investigación que presentan deliberadamente resultados científicos absurdos.

Un estudio de imágenes cerebrales parecía mostrar la actividad neuronal de un salmón muerto encargado de identificar emociones en fotos. Un análisis de estadísticas longitudinales de los registros de salud pública sugirió que el acné, la altura y los dolores de cabeza son contagiosos. Y un análisis de la toma de decisiones humana Las personas aparentemente indicadas pueden juzgar con precisión el tamaño de la población de diferentes ciudades clasificándolas en orden alfabético.

¿Por qué un investigador haría todo lo posible para explorar ideas tan ridículas? El valor de estos estudios no radica en presentar un nuevo hallazgo sustancial. Ningún investigador serio argumentaría, por ejemplo, que un salmón muerto tiene una perspectiva de las emociones en las fotos.

Más bien, los resultados sin sentido resaltan los problemas con los métodos utilizados para lograrlos. Nuestra investigación explora si los mismos problemas pueden afectar a los estudios que utilizan datos de las redes sociales. Y descubrimos que efectivamente lo hacen.

Resultados positivos y negativos

Cuando un investigador busca abordar una pregunta de investigación, el método que utiliza debe poder hacer dos cosas:

  • Revelar un efecto, cuando de hecho hay un efecto significativo.
  • no muestran ningún efecto, cuando no hay un efecto significativo.

Por ejemplo, imagine que tiene dolor de espalda crónico y se somete a un examen médico para encontrar la causa. La prueba identifica un disco desalineado en su columna. Este hallazgo puede ser importante e informar un plan de tratamiento.

Sin embargo, si luego descubre que la misma prueba identifica este disco desalineado en una gran proporción de la población que no tiene dolor de espalda crónico, el hallazgo se vuelve mucho menos informativo para usted.

El hecho de que la prueba no identifique una característica relevante y distintiva de los casos negativos (sin dolor de espalda) de los casos positivos (dolor de espalda) no significa que el disco desalineado en su columna sea inexistente. Esta parte del hallazgo es tan «real» como cualquier hallazgo. Sin embargo, el fracaso significa que el resultado no es útil: «evidencia» que es tan probable que se encuentre cuando hay un efecto significativo (en este caso, dolor de espalda) como cuando no lo hay, simplemente no es diagnóstico y, como resultado, tal la evidencia no es informativa.

Contagio XYZ

Utilizando el mismo razonamiento, evaluamos los métodos comúnmente utilizados para analizar los datos de las redes sociales, llamados «pruebas de significación de hipótesis nulas» y «estadísticas correlacionales», haciendo una pregunta de investigación absurda.

Los estudios pasados ​​y actuales han tratado de identificar qué factores influyen en las decisiones de los usuarios de Twitter para retuitear otros tweets. Esto es interesante tanto como una ventana al pensamiento humano como porque compartir publicaciones es un mecanismo clave mediante el cual los mensajes se amplifican o difunden en las redes sociales.

Así que decidimos analizar los datos de Twitter utilizando los métodos estándar anteriores para ver si un efecto sin sentido que llamamos «contagio XYZ» influye en los retweets. Específicamente, preguntamos

¿El número de X, Y y Z en un tweet aumenta la probabilidad de que se difunda?

Tras analizar seis conjuntos de datos que contienen cientos de miles de tweets, la «respuesta» que encontramos fue sí. Por ejemplo, en un conjunto de datos de 172,697 tweets sobre COVID-19, la presencia de una X, Y o Z en un tweet pareció aumentar el alcance del mensaje en un factor del 8%.

No hace falta decir que no creemos que la presencia de X, Y y Z sea un factor central para decidir si las personas eligen retuitear un mensaje en Twitter.

Sin embargo, al igual que la prueba médica para diagnosticar el dolor de espalda, nuestro hallazgo muestra que, a veces, los métodos para el análisis de datos de las redes sociales pueden «revelar» efectos donde no debería haber ninguno. Esto plantea preguntas sobre cuán significativos e informativos son los resultados obtenidos al aplicar los métodos actuales de las ciencias sociales a los datos de las redes sociales.

A medida que los investigadores continúan analizando los datos de las redes sociales e identifican los factores que dan forma a la evolución de la opinión pública, secuestran nuestra atención o explican nuestro comportamiento, debemos pensar críticamente sobre los métodos subyacentes a tales hallazgos y reconsiderar lo que podemos aprender de ellos.

¿Qué es un hallazgo «significativo»?

Las cuestiones planteadas en nuestro documento no son nuevas y, de hecho, hay muchas prácticas de investigación que se han desarrollado para garantizar que los resultados sean significativos y sólidos.

Por ejemplo, se anima a los investigadores a que registren previamente sus hipótesis y planes de análisis antes de iniciar un estudio para evitar una especie de selección de datos llamada «P-hacking». Otra práctica útil es comprobar si los resultados son estables después de eliminar los valores atípicos y controlar covariables. También son importantes estudios de replicación, que evalúan si los resultados obtenidos en un experimento se pueden volver a encontrar cuando el experimento se repite en condiciones similares.

Estas prácticas son importantes, pero por sí solas no son suficientes para abordar el problema que identificamos. Si bien es necesario desarrollar prácticas de investigación estandarizadas, la comunidad investigadora debe primero pensar críticamente sobre lo que hace que un hallazgo en los datos de las redes sociales sea significativo.

Artículo de Jason Burton, Investigador de doctorado, Birkbeck, Universidad de Londres; Nicole Cruz, Investigador Asociado Postdoctoral, UNSW, y Ulrike Hahn, Catedrático de Psicología, Birkbeck, Universidad de Londres

Este artículo se vuelve a publicar bajo una licencia Creative Commons. Leer el artículo original.

Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad