«No hem d’avaluar tothom fent servir els mateixos criteris»

Paul Wouters és professor de Cienciometria i director del Centre for Science and Technology Studies de la Universitat de Leiden. És especialista en sistemes d’avaluació i com aquests sistemes estan condicionant el desenvolupament del coneixement. Hem tingut l’ocasió de parlar-hi en el marc del seminari sobre “Nous models d’avaluació de la recerca”, organitzat per la Universitat de Barcelona i la Universitat Oberta de Catalunya.

 

Per què és important mesurar i avaluar l’activitat científica?

Molts investigadors s’estan fent aquesta pregunta, perquè s’adonen que cada vegada han de dedicar més temps a l’avaluació i que això els treu temps del seu interès primordial, que és la recerca i tirar endavant els projectes. Crec que hi ha bons motius perquè hi prestem atenció.

El primer és que els antics mètodes per retre comptes (basats en les relacions professionals o d’àmbit local) ja no funcionen. Com que tot s’ha compartimentat i globalitzat, un sol individu ja no pot saber-ho tot d’una disciplina. Per avaluar en quin moment et trobes de la teva pròpia evolució, calen mètodes més sofisticats.

El segon motiu també té a veure amb retre comptes: la ciència ha d’explicar a la societat allò que fa, ja que es finança principalment amb fons públics. A més a més, la recerca influeix en gran manera en la nostra vida, en la comunicació, els mitjans o l’assistència sanitària. Està esdevenint un recurs molt important per al conjunt de la societat, doncs.

I el tercer motiu potser és el més positiu: si utilitzem l’avaluació amb finalitats formatives, en realitat això és útil per a l’investigador. Parlem de finalitats formatives perquè miren de detectar els teus punts forts i dèbils, i com pots evolucionar. Si l’activitat que fas no és correcta, cal dir-ho, però una avaluació formativa sempre t’ha de servir per a millorar. El problema és que les institucions volen avaluacions quantitatives: «Han estat ben gastats, els meus diners? Per què la nostra universitat està perdent punts en les classificacions?» Solen mirar enrere, però hauríem de centrar els esforços a mirar cap al futur i a fer servir l’avaluació de manera creativa.

 

Ens podria explicar què és el manifest de Leiden?

El manifest de Leiden es va publicar l’any 2015 a Nature. La iniciativa va sorgir d’una conferència de cienciòmetres, és a dir, dels investigadors que ens dediquem a mesurar la ciència. Allà vam analitzar quins indicadors hem d’utilitzar, sobretot per a l’avaluació individual dels investigadors. I vam decidir que volíem donar veu als neguits que molts d’ells tenen.

Encara que el manifest es basa en deu principis, podríem resumir-lo en dues idees principals. La primera és que els indicadors sempre han de donar suport a una valoració, i no substituir-la. La segona és que no s’han de fer servir els mateixos criteris per a mesurar tots els treballs. Quan fas una avaluació, comences per la missió del grup de recerca en qüestió, i després ve tota la resta. Per exemple, un grup de recerca clínica no té res a veure amb un altre que estudiï el trànsit a Barcelona.

 

Com es mesura avui l’impacte de la ciència? Quins indicadors es fan servir habitualment?

En aquest moment els indicadors més habituals són el factor d’impacte de les publicacions periòdiques i l’índex h (per a cada investigador o per a l’Investigador Principal d’un grup). Un altre indicador és el percentatge de citacions dels teus articles: és a dir, si altres autors els citen sovint, i si la teva posició se situa entre l’1% o el 10% dels més citats. Pot ser que aquest indicador sigui més útil per als departaments. Un altre indicador és la quantitat de fons externs que pots atreure. Les universitats fan servir molt la posició de cada centre en els rànquings. Tots els centres universitaris revisen constantment quina és la seva posició en aquestes classificacions. A mi això em sembla una mica estrany, però aquests són els indicadors més habituals.

 

Com mesurem o comprenem la qualitat de la recerca? Hi ha algun problema amb aquests mesuraments?

En el meu camp hi ha un consens que el millor sistema és l’avaluació d’experts informada, que conjumina indicadors quantitatius i de citacions amb la mateixa avaluació sobre la qualitat de la proposta. En bibliometria alguns equiparen el nombre de citacions amb la qualitat, però no compartim aquesta opinió. Les citacions mesuren la viabilitat i l’impacte a curt termini, no la qualitat, que exigeix un enfocament més multidimensional. Els indicadors no mesuren la qualitat directament: només podem mesurar unes poques dimensions de l’activitat científica.

Hi ha dos problemes principals. El primer és que l’avaluació d’experts sol ser conservadora, perquè es basa en la situació actual de la disciplina. El segon són els índexs de citació, perquè es basen en l’activitat passada. Per tant, el que pretenem amb el sistema científic és combinar l’avaluació d’experts i els indicadors empírics, però també et pots trobar amb propostes que els experts no valorin, perquè són massa insòlites o radicals, o bé amb el fet que no es mesuren coses com ara la creativitat o fins a quin punt és bona la pregunta que dona peu a una recerca.

 

Com podem saber quines recerques són socialment rellevants?

No hi ha una resposta única per a aquesta pregunta. Realment calen estudis de cas que puguin incorporar indicadors i bases de dades molt concrets. La definició de l’impacte ha de ser molt específica, encara que la disciplina sigui molt general.

Per exemple, tenim un projecte sobre l’impacte de la recerca sobre malalties cardíaques finançat per la Fundació Neerlandesa del Cor. Hi observem com influeix en les revistes clíniques professionals, en l’organització de l’assistència sanitària, en les pràctiques hospitalàries i en els tractaments mèdics. Però també tenim un projecte amb un grup de recerca teològica. En aquest altre grup parlem de coses molt diferents: com aborden els problemes els mitjans de comunicació o com influeixen en el discurs general sobre, per exemple, el sentit de la vida.

 

Aquests mesuraments poden canviar la manera amb què investiguem? Com ho poden fer?

Sí, a través de dos mecanismes principals: el finançament i les trajectòries professionals. Conec diverses persones el camp de recerca de les quals ja no rep finançament perquè els organismes que els finançaven ja no els consideren interessants. Per exemple, algunes universitats dels Països Baixos han expulsat economistes dels departaments d’Economia perquè no estaven publicant en revistes d’aquesta disciplina, de manera que s’han traslladat a Sociologia o Dret, on combinen la recerca econòmica amb aquestes matèries. A curt termini, l’avaluació pot tenir molta influència en la manera com investiguem.

A llarg termini, però, també hi influeix. Determina quina concepció tenen de l’investigador els qui s’estan formant o educant. La nova generació d’investigadors entra en un sistema en què aquests indicadors són molt importants, no coneixen res més. Per a ells, és una cosa normal. L’inconvenient és que així no pensaran mai que l’objectiu de la recerca és resoldre problemes concrets, sinó que és un instrument professional basat en la publicació en revistes de gran impacte. D’aquesta manera no fem sinó corrompre el veritable sistema científic: anem en contra de la motivació fonamental de tot aquest sistema.

 

Els indicadors, poden canviar la definició d’excel·lència científica?

Sí, i tant. Abans el reconeixement de l’excel·lència científica estava a les mans dels experts. Avui dia es defineix com el que es publica a les revistes més importants. En el futur tornarà a canviar, perquè el factor d’impacte de les revistes no és la millor manera d’avaluar la qualitat. A la llarga, el que voldrem detectar és quina innovació influeix més en l’estructura del nostre coneixement. Però això només ho sabrem quan passin vint anys, de manera que és difícil fer prediccions.

Això també explica el fet que ens interessi tant l’avaluació. La manera de crear indicadors influeix en la definició de la mateixa activitat que vols mesurar i la transforma. És una mica allò del peix que es mossega la cua.

 

La ciència oberta representa una innovació a l’hora de fer recerca; per què aquest enfocament és rellevant per a la societat actual?

Els investigadors també s’enfronten a aquest problema, perquè de vegades comproven que la ciència oberta s’assembla a l’avaluació, els fa l’efecte que és una imposició. Es pregunten: «Però, què passa? Si ho estic fent bé!»

A mi em sembla que obrir el procés de creació del coneixement encaixa millor amb una societat en què hi hagi molts ciutadans ben formats que puguin dir-los coses útils als investigadors. Ja no hi ha motiu per tenir tancada la ciència, que ara podria ser com un fòrum d’intercanvi d’idees. Així es reduiria el capital necessari per accedir a l’activitat científica i això només pot significar avantatges. I també s’acceleraria la innovació.

 

Com hauria de canviar l’avaluació si passem dels procediments actuals a la ciència oberta?

L’avaluació i els sistemes d’avaluació d’experts també haurien d’esdevenir més transparents i oberts. És lògic que en un sistema d’avaluació d’experts els avaluadors assumeixin responsabilitats per la feina que fan. És important incorporar al procés d’avaluació tant els interessats en el coneixement com els seus usuaris. Per exemple, estem participant en un experiment de la Universitat d’Utrecht, que vol que els pacients d’un hospital participin en l’avaluació de les recerques. Però aquest és només un primer pas, perquè crec que el projecte no s’hauria de limitar als pacients.

 

En què consisteix el moviment altmetrics [mesuraments alternatius]? En quin sentit aquests mesuraments són una alternativa?

Les altmetrics mesuren els processos comunicatius i l’activitat en els mitjans socials, però no creiem que substitueixin els indicadors tradicionals de qualitat i d’impacte. No és el mateix que mesurar l’activitat científica en les revistes especialitzades. Per exemple, el fet que la teva publicació circuli profusament a Twitter pot significar diverses coses. Naturalment vol dir que el teu article suscita moltes comunicacions, que tu despertes interès. Però no podem equiparar l’activitat de Twitter amb l’impacte social, ni l’activitat de Facebook amb l’amistat, perquè una cosa i l’altra poden ser ben diferents: aquesta mena d’activitats no sempre implica que hi hagi qualitat o influències a llarg termini.

El context de cada avaluació és el que ha de definir com fer servir els indicadors en cada moment. No hi ha una fórmula única: els indicadors només apareixen al final de la història, de manera que no han de dirigir les recerques.

 

Entrevista per Chema Arcos i Mireia Pons

Classificació

Etiquetes

Temàtiques

Continguts relacionats

Infodada

Percentatge de població que va fer almenys un curs de formació relacionat amb la cultura el darrer any

Quantes persones participen en cursos de formació complementària vinculada a la cultura? L’any 2015, un 5,9 % de la població espanyola va fer alguna formació d’aquesta mena.

Article

Expansió educativa i devaluació parcial dels títols

¿Hi ha una relació entre l’accés massiu dels espanyols a l’educació mitjana i superior i un deteriorament del rendiment dels títols educatius, tal com han assenyalat alguns organismes internacionals?

Article

Respon la recerca a les necessitats de salut?

Com ens podem assegurar que la recerca biomèdica està alineada amb les necessitats socials? Aquest article de l’Observatori Social de ”la Caixa” analitza com es podrien assignar els recursos de manera eficient.

Article

Feines que muten: a qui afecta el canvi tecnològic?

Històricament, la tecnologia ha transformat moltes professions. L’evolució tecnològica, com afectarà l’ocupació futura? L’Observatori Social de ”la Caixa” analitza la situació del país basant-se en el “risc de computerització”.

Article

La recerca a Espanya: les actituds de les empreses, els Governs i els ciutadans

La ciència és una activitat molt rellevant en termes econòmics i, a més, té una percepció social molt favorable. No obstant això, el nostre país inverteix menys en R+D que la resta de països europeus, fet que constata una bretxa entre l’actitud ciutadana i la voluntat política i empresarial.


També et pot interessar

Dossier

Recerca i innovació: què ens hi juguem?

Recerca i innovació: què ens hi juguem?

Ciència

Són els països amb recursos els que fan més inversió en ciència? O són els països que dediquen més esforç a la ciència els que generen més riquesa? Amb aquesta pregunta obre el tercer Dossier de l’Observatori Social de ”la Caixa”, que analitza el context social actual de la ciència i en quina mesura suposa una aportació de valor a la societat. 

Article

Avança la ciència a cop de funerals?

Avança la ciència a cop de funerals?

Ciència

Què passa quan un investigador d’alt nivell mor prematurament? Aquest article constata la proliferació d’articles de nous investigadors amb idees disruptives en el camp de la persona morta.

Article

Medi ambient i ocupació: jugar net té premi?

Medi ambient i ocupació: jugar net té premi?

Ciència

L’Observatori Social de ”la Caixa” es pregunta si és possible conjugar preocupació pel medi ambient i creixement econòmic. Aquest estudi, un dels primers en aquest camp, demostra el vincle positiu entre ecoinnovació i creació d’ocupació, fins i tot en èpoques de recessió.