“No debemos evaluar a todos utilizando los mismos criterios”

Paul Wouters es profesor de Cienciometría y director del Centre for Science and Technology Studies de la Universidad de Leiden. Es especialista en sistemas de evaluación y en cómo estos sistemas están condicionando el desarrollo del conocimiento. Hemos tenido ocasión de hablar con él en el marco de un seminario sobre “Nuevos modelos de evaluación de la investigación”, organizado por la Universitat de Barcelona y la Universitat Oberta de Catalunya.

 

¿Por qué es importante medir y evaluar la actividad científica?

Muchos investigadores se están haciendo esta pregunta, porque se dan cuenta de que cada vez deben dedicar más tiempo a la evaluación y que esto resta tiempo a su interés primordial: la investigación y los proyectos. Me parece que hay buenas razones para prestar atención a este asunto.

Una de ellas es que los antiguos métodos de rendición de cuentas (basados en las relaciones de ámbito local o profesionales) ya no funcionan. Como todo se ha distribuido y globalizado, un solo individuo ya no puede saber de toda una disciplina. Para evaluar en qué estadio de tu propia evolución te encuentras necesitas métodos más refinados.

La segunda razón también tiene que ver con la rendición de cuentas: la ciencia debe explicar a la sociedad lo que hace, porque su financiación es mayormente pública. Además, en nuestra forma de vida —las comunicaciones, los medios o la asistencia sanitaria— influye enormemente la investigación. Así que está claro que se está convirtiendo en algo muy importante para el conjunto de la sociedad.

Y la tercera razón quizá sea la más positiva: si se utiliza la evaluación con fines formativos, en realidad es útil para el investigador. Hablamos de fines formativos porque pretenden detectar tus propias fortalezas y debilidades, y cómo puedes desarrollarte. Si tu actividad no es correcta, hay que decirlo, pero una evaluación formativa siempre debe servirte para mejorar. El problema es que las instituciones quieren evaluaciones sumativas: «¿Se ha gastado bien mi dinero? ¿Por qué mi universidad está perdiendo puestos en los rankings?» Suelen volver la vista atrás, pero deberíamos centrar nuestras energías en mirar al futuro y utilizar la evaluación de forma creativa.

 

¿Podría explicarnos qué es el manifiesto de Leiden?

El manifiesto de Leiden se publicó en 2015 en Nature. La iniciativa partió de una conferencia de cienciómetras. Allí analizamos qué indicadores tenemos que utilizar, sobre todo para la evaluación individual de los investigadores. Y decidimos que queríamos dar voz a las preocupaciones de muchos de ellos.

Aunque el manifiesto se basa en diez principios, se podrían sintetizar en dos ideas principales. La primera es que los indicadores siempre deben respaldar una valoración, no sustituirla. La segunda es que no se deben utilizar los mismos criterios para medir todos los trabajos. Cuando haces una evaluación, comienzas por la misión del grupo de investigación en cuestión, y después viene lo demás. Por ejemplo, un grupo de investigación clínica no tiene nada que ver con otro que estudie el tráfico en Barcelona.

 

¿Cómo se mide en la actualidad el impacto de la ciencia? ¿Qué indicadores suelen utilizarse?

En este momento los indicadores más habituales son el factor de impacto de las publicaciones periódicas y el índice h (para cada investigador o para el IP de un grupo). Otro indicador importante es el porcentaje de citas de tus artículos: es decir, si se citan mucho y tu posición está entre el 10 o el 1 por ciento superior. Quizá donde más útil sea este indicador es en el nivel departamental. Otro indicador es la cantidad de fondos externos que puedes atraer. En el nivel universitario se utiliza mucho la posición de cada centro en los rankings universitarios. Todas las universidades revisan constantemente cuál es su posición en esas clasificaciones. A mí me parece un poco raro, pero estos son los indicadores más habituales.

 

¿Cómo medimos o comprendemos la calidad de la investigación? ¿Hay algún problema con esas medidas?

En mi campo el consenso dicta que lo mejor es el sistema de evaluación por pares informada, que conjuga indicadores cuantitativos y de citas con la propia evaluación sobre la calidad de la propuesta. En bibliometría algunos equiparan número de citas y calidad, pero no es nuestra opinión. Las citas miden la fiabilidad y el impacto a corto plazo, no la calidad, que exige un enfoque más multidimensional.

El problema de los indicadores es que no miden la calidad directamente: solo se pueden medir unas pocas dimensiones de la actividad científica. Hay dos problemas principales. El primero es que la evaluación por pares suele ser conservadora, porque se basa en la situación actual de la disciplina. El segundo radica en los índices de citación, porque se basan en la actividad pasada. En consecuencia, lo que pretendemos con el sistema científico es conjugar la evaluación por pares y los indicadores empíricos, pero también te puedes encontrar con propuestas que, por ser demasiado insólitas o radicales, los pares no las valoren, o con que no se miden cosas como la creatividad o lo buena que es la pregunta que da pie a una investigación.

 

¿Cómo podemos saber si la ciencia es socialmente relevante?

No hay una única respuesta para esa pregunta. Se necesitan realmente estudios de caso que puedan incorporar indicadores y bases de datos muy concretos. La definición del impacto debe ser muy específica, aunque la disciplina sea demasiado general.

Por ejemplo, tenemos un proyecto sobre el impacto de la investigación sobre dolencias cardiacas financiado por la Fundación Neerlandesa del Corazón. En él observamos cómo influye en las revistas clínicas profesionales, en la organización de la asistencia sanitaria, en las prácticas hospitalarias y en los tratamientos médicos. Pero también tenemos un proyecto con un grupo de investigación teológica. En este se habla de algo muy diferente: de cómo aborda la prensa los problemas o de cómo influye en el discurso general sobre, por ejemplo, el sentido de la vida.

 

¿La métrica puede cambiar la forma de investigar? ¿Cómo?

Sí, hay dos mecanismos principales: la financiación y las carreras profesionales. Conozco a varias personas cuyo campo de investigación ya no se sufraga porque los organismos de financiación ya no lo consideran interesante. Por ejemplo, en las universidades de los Países Bajos se ha expulsado a economistas de sus departamentos de Economía porque no estaban publicando en revistas de esa disciplina, así que se han trasladado a Sociología o Derecho, donde combinan la investigación económica con esas materias. A corto plazo, la evaluación puede tener una enorme influencia en cómo se investiga.

A la larga también influye. Determina qué concepción tienen del investigador quienes se están formando o educando. La nueva generación de investigadores está entrando en un sistema en el que esos indicadores son muy importantes, no conoce nada más. Para ellos es lo normal. El inconveniente es que así nunca pensarán que el objetivo de la investigación es resolver problemas concretos, sino que es un instrumento profesional basado en la publicación en revistas de gran impacto. De ese modo estamos corrompiendo verdaderamente el sistema científico; vamos en contra de la motivación fundamental de todo ese sistema.

 

¿Pueden los indicadores cambiar la definición de excelencia científica?

Sí, en realidad la cambian. Antes el reconocimiento de la excelencia científica estaba siempre en manos de expertos. Hoy en día se define como algo que se publica en las revistas más importantes. En el futuro volverá a cambiar, porque el factor de impacto de las revistas no es la mejor manera de evaluar la calidad. A la larga, lo que querremos detectar es qué innovación influye más en la estructura de nuestro conocimiento. Pero esto solo lo sabemos cuando pasan veinte años, así es que es difícil hacer pronósticos.

Esto también explica que nos interese tanto la evaluación. La forma de crear indicadores influye en la definición de la propia actividad que quieres medir y la transforma. Así que te ves en una especie de bucle de retroalimentación.

 

La ciencia abierta representa una innovación en la forma de realizar las investigaciones: ¿qué tiene de relevante este enfoque para la sociedad actual?

Los investigadores también se enfrentan a este problema, porque a veces comprueban que la ciencia abierta se parece a la evaluación, que se les impone. Se preguntan: «¿Pero qué pasa? ¡Mi trabajo es bueno!»

A mí me parece que abrir el proceso de creación del conocimiento encaja mejor con una sociedad en la que haya muchos ciudadanos bien formados que puedan decirles algo útil a los investigadores. Ya no hay razón para tener cerrada la ciencia, que ahora podría ser como un foro de intercambio de ideas. Así se reduciría el capital necesario para acceder a la actividad científica y eso solo puede reportar ventajas. Y también se aceleraría la innovación.

 

¿Cómo tendría que cambiar la evaluación si pasáramos de los procedimientos actuales a la ciencia abierta?

La evaluación y los sistemas de evaluación por pares también deberían hacerse más transparentes y abiertos. Es lógico que en un sistema de evaluación por pares los evaluadores se hagan responsables de su trabajo, que rindan cuentas. Es importante incorporar al proceso de evaluación a los interesados en el conocimiento y a sus usuarios. Por ejemplo, estamos participando en un experimento de la universidad holandesa de Utrecht que pretende que los pacientes de un hospital participen en la evaluación de las investigaciones. Pero este es un primer paso, porque yo creo que el proyecto no debería limitarse a los pacientes.

 

¿En qué consiste el movimiento altmetrics [las otras métricas]? ¿En qué sentido son estas métricas una alternativa?

Las altmetrics miden los procesos comunicativos y la actividad en los medios sociales, pero no creemos que sustituyan los indicadores tradicionales de calidad y de impacto. No se trata de medir la actividad científica para revistas especializadas. Por ejemplo, el hecho de que tu publicación se tuitee mucho puede significar varias cosas. Desde luego significa que tu artículo suscita muchas comunicaciones, que tú suscitas interés. No se puede equiparar tuiteo con impacto social, ni actividad en Facebook con amistad, porque una y otra cosa pueden ser muy distintas: ese tipo de actividades no siempre conlleva que haya calidad o influencias a largo plazo.

El contexto de cada evaluación es lo que debe definir cómo utilizar los indicadores en cada momento. No hay una fórmula única: los indicadores solo aparecen al final de la historia, así que no deben dirigir las investigaciones.

 

Entrevista por Chema Arcos y Mireia Pons

Clasificación

Etiquetas

Temáticas

Contenidos relacionados

Infodato

Porcentaje de la población que realizó al menos un curso de formación relacionado con la cultura en el último año

¿Cuántas personas participan en cursos de formación complementaria vinculada a la cultura? En 2015, un 5,9% de la población española realizó alguna formación de este tipo.

Artículo

Expansión educativa y devaluación parcial de los títulos

¿Ha estado el acceso masivo de los españoles a la educación media y superior asociado a un deterioro del rendimiento de los títulos educativos, tal como han advertido algunos organismos internacionales?   

Artículo

¿Responde la investigación a las necesidades de salud?

¿Cómo asegurarnos de que la investigación biomédica está alineada con las necesidades sociales? Este artículo del Observatorio Social de ”la Caixa” analiza cómo podrían asignarse los recursos de forma eficiente.

Artículo

Ocupaciones en transformación: ¿A quién afectará el cambio tecnológico?

Históricamente, la tecnología ha transformado muchas profesiones. ¿Cómo afectará la evolución tecnológica al empleo futuro? El Observatorio Social de ”la Caixa” analiza la situación de nuestro país basándose en el “riesgo de computerización”.

Artículo

La investigación en España: las actitudes de empresas, Gobiernos y ciudadanos

La ciencia es una actividad muy relevante en términos económicos y, además, cuenta con una percepción social muy favorable. Sin embargo, nuestro país invierte menos en I+D que el resto de países europeos, lo que constata una brecha entre la actitud ciudadana y la voluntad política y empresarial.


También te puede interesar

Dossier

Investigación e innovación: ¿qué nos jugamos?

Investigación e innovación: ¿qué nos jugamos?

Ciencia

¿Son los países con recursos los que realizan una mayor inversión en ciencia? ¿O son los países que dedican más esfuerzo a la ciencia los que generan mayor riqueza? Con esta pregunta abre el tercer Dossier del Observatorio Social de ”la Caixa”, que analiza el actual contexto social de la ciencia y en qué medida esta supone una aportación de valor a nuestra sociedad. 

Artículo

¿Responde la investigación a las necesidades de salud?

¿Responde la investigación a las necesidades de salud?

Ciencia

¿Cómo asegurarnos de que la investigación biomédica está alineada con las necesidades sociales? Este artículo del Observatorio Social de ”la Caixa” analiza cómo podrían asignarse los recursos de forma eficiente.

Artículo

Medio ambiente y empleo ¿jugar limpio tiene premio?

Medio ambiente y empleo ¿jugar limpio tiene premio?

Ciencia

El Observatorio Social de ”la Caixa” se pregunta si es posible conjugar preocupación por el medio ambiente y crecimiento económico. Este estudio, uno de los primeros en su campo, demuestra el vínculo positivo entre ecoinnovación y creación de empleo, incluso en épocas de recesión.