Valutare la ricerca

La valutazione della ricerca è necessaria ma anche molto delicata. E’ necessaria perché senza una valutazione dei risultati dell’attività di ricerca si cade nel regno dell’arbitrio totale mentre si vorrebbero ripartire le risorse ed i posti in base alla qualità in modo che “il merito sia premiato”. Ma una valutazione della qualità è anche molto delicata perché, se fatta in maniera superficiale o sbagliata, può dare origine a delle dinamiche perverse.

La domanda se sia possibile formulare un giudizio obiettivo sulla qualità della ricerca svolta da un ricercatore non ha risposte necessariamente semplici perché non esiste un algoritmo matematicoche permetta di classificare in ordine di importanza i risultati scientifici. Le scienze “dure”, come ad esempio la fisica, hanno storicamente svolto un ruolo d’avanguardia. Per valutare la produzione scientifica di un ricercatore sono stati introdotti degli indici bibliometrici sempre più raffinati. Alcuni sono significativi, altri meno ed altri danno delle indicazioni del tutto fuorvianti. Vediamo qualche esempio.

Un primo indicatore bibliometrico ovvio riguarda il mero computo del numero di pubblicazioni. Nelle scienze dure per pubblicazioni s’intende un articolo su una rivista scientifica internazionale in cui sia effettuato il peer review (revisione da parte di pari). Ma un semplice conteggio del numero di pubblicazioni è del tutto incapace di dare un’idea della qualità delle stesse. Per questo si può conteggiare il numero di citazioni ricevute per ogni articolo. Questo fornisce un’idea non della vera e propria qualità scientifica, quanto piuttosto dell’impatto, o meglio della popolarità, che una pubblicazione ha avuto. Un indicatore sintetico, recentemente introdotto, che permette di conteggiare non solo il numero di pubblicazioni ma anche il numero di citazioni, è l’indice H, dal nome del suo inventore, Jorge E. Hirsch. Uno scienziato possiede un indice H se i suoi H articoli più citati hanno almeno H citazioni ciascuno ed i rimanenti articoli hanno ognuno meno di H citazioni. L’indice H permette di pesare l’impatto della produzione complessiva di un ricercatore in maniera più efficace del mero computo delle citazioni o delle pubblicazioni. Come per le citazioni, un alto indice H non è necessariamente un marchio di qualità, ma sicuramente un fattore di prestigioall’interno della comunità scientifica internazionale.

Negli ultimi anni l’impact factor si è affermato sempre di più come il metodo principale per stabilire il valore delle riviste scientifiche e, per estensione, alcuni usano questo indicatore per quantificare la qualità delle singole pubblicazioni. L’impact factor di una rivista è ottenuto contando le citazioni ottenute in un anno dagli articoli pubblicati nei due anni precedenti. In questo modo si può stimare quante siano, in media, le citazioni ricevute da un articolo di una data rivista. Riviste con articoli molto citati avranno un alto impact factor che quindi potrebbe fornire una stima della qualità della rivista. Questa affermazione in realtà è spesso falsa e l’uso dell’impact factor per valutare la ricerca è stato criticato aspramente. L’impact factor non ha alcuna rilevanza quando è applicato ad un singolo articolo in quanto esiste un’enorme variabilità nella distribuzione delle citazioni e non vi è praticamente alcuna correlazione tra il numero di citazioni di un articolo preso a caso e l’impact factor della rivista che lo ospita.

Dalla distribuzione di un indice bibliometrico in una data comunità si possono efficacemente identificare gli estremi: chi è molto bravo e chi è poco produttivo. Ad esempio un’analisi dell’indice H dei vincitori di premio Nobel mostra che questo è immancabilmente alto. D’altro canto è anche semplice identificare coloro che hanno una produzione scientifica molto scarsa e che si trovano dunque all’altro estremo della distribuzione. Il problema cruciale riguarda la classificazione di coloro che si trovano lontano da entrambi gli estremi citati sopra, e che rappresentano generalmente lamaggior parte dei casi. Pensare di fare una selezione del personale in base al valore dell’indice H è, nel migliore dei casi, molto ingenuo ed ha anche degli effetti molto pericolosi. Una grande attenzione a questi indici bibliometrici può spingere il ricercatore ad impostare la sua attività di ricerca con lo scopo di massimizzare il proprio indice H, non sulla base della qualità ed all’originalità dei propri risultati scientifici, quanto piuttosto appiattendosi alla ricerca dominante nel proprio campo (il cosiddetto mainstream). Infatti, ricercando il consenso sociale nell’interno della propria comunità scientifica si riesce ad essere citati senza problemi. Al contrario, una ricerca originale, controcorrente e controversa può portare a conseguire bassi indici bibliometrici, almeno nel corto-medio periodo. D’altra parte, essendo questo il tempo scala in cui si gioca la carriera scientifica, perché rischiare ?

In un recente articolo un noto fisico americano, facendo riferimento al caso dell’astrofisica, affronta un problema più generale che, soprattutto negli Stati Uniti, sta diventando sempre più importante. Ovvero che è una pratica comune tra i giovani di investire le proprie energie nella ricerca in maniera conservativa su idee mainstream, che sono già state esplorate nella letteratura. Questa tendenza è guidata dalla pressione dovuta della peer review, in quanto è più facile pubblicare ed essere citati quando si lavora su idee condivise dal maggior numero possibile di persone, e dalle prospettive del mercato del lavoro: solo coloro che pubblicano tanto, sono tanto citati e riescono a vincere progetti di ricerca, anch’essi basati sulla peer review, riescono alla fine ad ottenere delle posizioni permanenti. Al contrario, i giovani dovrebbero almeno diversificare la propria attività scientifica, lasciando spazio all’esplorazione di nuove idee e dunque dedicando una frazione del proprio tempo a progetti innovativi, che comportano rischi ma che potrebbero potenzialmente avere dei “ritorni” interessanti su tempi scala generalmente lunghi, mentre le commissioni di selezione e promozione dovrebbero trovare delle nuove strategie per premiare coloro che si imbarcano in tali imprese. Un tale cambiamento di strategia è vitale per la futura salute dello stesso processo scientifico.

Penso che queste importanti considerazioni trascendano il campo specifico cui si fa riferimento e che meritino una riflessione anche in quei campi in cui le dinamiche di “mainstream followers” sono evidenti, come ad esempio l’economia, dove anzi i criteri bibliometrici sono usati in maniera molto spesso impropria (ad esempio dando un’importanza spropositata all’impact factor) con un intento punitivo verso chi non fa ricerche su temi di mainstream. L’intero processo di valutazione può diventare negativo quando viene usato come strumento dalla maggioranza per ridurre al silenzio le minoranze. Se la fisica è stato un riferimento nell’elaborazione dei criteri bibliometrici quantitativi, è bene tener presente, a chi si ispira a questi modelli, quale siano i loro limiti e controindicazioni. E’ dunque necessario valutare la ricerca, ma è necessario farlo bene.

(Pubblicato su Il Fatto Quotidiano)