Google tiene anunciado está probando una nueva herramienta de búsqueda impulsada por IA, Laboratorios académicosque está diseñado para responder preguntas de investigación detalladas. Pero su demostración puso de relieve una cuestión más amplia sobre cómo encontrar «buenos» estudios científicos. ¿Cuánto confiarán los científicos en una herramienta que renuncia a las formas típicas de medir la popularidad de un estudio entre el establishment científico en favor de leer las relaciones entre palabras para ayudar a sacar a la luz una buena investigación?
La nueva herramienta de búsqueda utiliza IA para identificar los principales temas y relaciones en la consulta de un usuario y actualmente está disponible para un conjunto limitado de usuarios registrados. El vídeo de demostración de Scholar Labs presentaba una pregunta sobre las interfaces cerebro-computadora (BCI). Tengo un doctorado en BCI, por lo que estaba ansioso por ver qué obtenía Scholar Labs.
El primer resultado fue un artículo de revisión de la investigación de BCI publicado en 2024 en una revista llamada Ciencias Aplicadas. Scholar Labs incluye explicaciones de por qué los resultados coincidieron con la consulta, por lo que señaló que el artículo analiza la investigación de una señal no invasiva llamada electroencefalograma y examina algunos algoritmos líderes en el campo.
Pero me di cuenta de que Scholar Labs carece de filtros para métricas comunes que se utilizan para separar los estudios «buenos» de los «no tan buenos». Una métrica es la cantidad de veces que un estudio ha sido citado por otros estudios desde su publicación, lo que se traduce aproximadamente en la popularidad de un artículo. También está asociado con el tiempo: un estudio publicado recientemente puede no tener ninguna cita o acumular cientos en unos pocos meses; un estudio de los años 90 puede pregonar miles. Otra métrica es el “factor de impacto” de una revista científica. Las revistas que publican estudios ampliamente citados tienen un factor de impacto más alto y, por lo tanto, tienen reputación de ser más rigurosas o significativas para la comunidad científica. Ciencias Aplicadas autoinforma un factor de impacto de 2,5. Naturalezaa modo de comparación, dice que su factor de impacto es 48,5.
El Google Scholar original tiene una opción para clasificar los estudios por “relevancia” y enumera el número de citas para cada resultado. El objetivo de los nuevos Scholar Labs es desenterrar «los artículos más útiles para la búsqueda de investigación del usuario», dijo la portavoz de Google, Lisa Oguike. El borde Para ello, clasifica los artículos de la misma manera que los propios investigadores, dice Google, «sopesando el texto completo de cada documento, dónde fue publicado, quién lo escribió, así como con qué frecuencia y cuán recientemente ha sido citado en otra literatura académica».
Sin embargo, los nuevos Scholar Labs no ordenarán ni limitarán los resultados basándose en el recuento de citas de un artículo o el factor de impacto de una revista, dijo Oguike. El borde.
Imagen: Google Académico
«Los factores de impacto y el recuento de citas dependen del área de investigación de los artículos y puede resultar difícil para la mayoría de los usuarios adivinar valores adecuados en el contexto de preguntas de investigación específicas», escribió Oguike. «Limitar por el factor de impacto o el recuento de citas a menudo puede hacer que se pasen por alto artículos clave, en particular artículos interdisciplinarios/de campos adyacentes/revistas o artículos publicados recientemente», añadió Oguike.
Métricas como el recuento de citas y el factor de impacto son «evaluaciones bastante burdas de la calidad de un artículo», dijo Matthew Schrag, profesor asociado de neurología en el Centro Médico de la Universidad de Vanderbilt, en una entrevista con El bordede acuerdo con la declaración de Google. «Hablan más del contexto social del periódico» que de su calidad, aunque «es de esperar que esas dos cosas estén correlacionadas», dijo.
Schrag, que investiga la enfermedad de Alzheimer, es uno de los muchos científicos-detectives que han señalado datos dudosos en estudios científicos publicados. Los esfuerzos de detectives de datos como Schrag, y una mayor atención por parte de la comunidad científica en general, han dado como resultado estudios extraídos de revistas reconocidas debido a Imágenes de doctoradocorrecciones emitidas por Ganadores del Premio Nobely investigaciones federales en datos falsificados.
Aún así, es difícil no utilice el recuento de citas o la reputación de una revista para examinar casualmente un estudio, especialmente al ingresar a un nuevo campo. James Smoliga, profesor de ciencias de la rehabilitación en la Universidad de Tufts y usuario frecuente del Google Scholar original, cree que los artículos muy citados son más dignos de confianza. «Soy culpable de ello, como todos los demás», dijo a El borde. Lo hace a pesar de tener desacreditado los métodos utilizados en un estudio con miles de citas. “Y yo mismo sé que ese no es el caso, pero aún así caigo en esa trampa porque ¿qué más voy a hacer?”
Repetí la consulta de demostración de Scholar Labs sobre la investigación de BCI para pacientes con accidente cerebrovascular en PubMed, un repositorio líder de investigaciones biomédicas y de salud dirigido por la Biblioteca Nacional de Medicina de los Institutos Nacionales de Salud de EE. UU. A diferencia de Scholar Labs, PubMed se basa en gran medida en filtros y términos relacionados con oarena ys. Reduje mis resultados a revisar únicamente artículos de investigación clínica, es decir, realizados únicamente en humanos, de los últimos cinco años. Excluí las preimpresiones, que son estudios publicados directamente en un repositorio de papel como arXiv o bioRxiv sin haber pasado por un proceso de revisión por parte de otros científicos. Dos de los seis resultados se centraron exclusivamente en el electroencefalograma como el principal tipo de BCI no invasiva utilizada para ayudar a los pacientes con accidente cerebrovascular.
Los usuarios podrán solicitar artículos «recientes» en su consulta y especificar un período de tiempo en su solicitud, y Scholar Labs utiliza el «texto completo de los artículos de investigación» para encontrar resultados que coincidan con la consulta del usuario, agregó Oguike.
Google llama a Scholar Labs una “nueva dirección para nosotros” y dice que planea incorporar los comentarios de los usuarios en el futuro. Dispone de lista de espera para el acceso.
Schrag cree que la búsqueda impulsada por IA, como la de los nuevos Scholar Labs, tiene un lugar en el ecosistema científico. En teoría, podría lanzar una red más amplia para sacar a la luz artículos que de otro modo pasarían desapercibidos, o agregar contexto adicional sobre la popularidad de un artículo en las plataformas de redes sociales, añadió. Los estudios necesitan una evaluación holística, afirmó, que la IA podría abordar. «Hay que tener una idea de cuáles son los estándares en el campo en términos de rigor y si un estudio los cumple», añadió.
En última instancia, los científicos son responsables de determinar qué ciencia tiene impacto, dijo Schrag. Requiere leer e interactuar con la literatura científica “para ser los árbitros finales y no permitir que los algoritmos sean el árbitro final de lo que consideramos alta calidad”.