Si possono classificare gli scienziati come i tennisti? A seguito del mio post su Come ti divento uno scienziato citato sul tema della valutazione dell’attività di ricerca, ricevo e pubblico questa lettera da Mauro degli Esposti.
Nell’ultimo di una serie di articoli su Il Fatto Quotidiano riguardanti la valutazione scientifica, Francesco Sylos Labini sostiene che è molto semplice capire quali non debbano essere i metodi per valutare quantitativamente la ricerca e chi la fa. Infatti parte dal presupposto che “la qualità della ricerca non si classifica con un numero, ovvero non è ragionevole fare una classifica di scienziati come se si trattasse di tennisti”.
Affermazioni come queste si muovono in senso opposto all’iniziativa che insieme ai colleghi della Via-Academy abbiamo sviluppato. Si tratta del censimento delle eccellenze scientifiche italiane oTop Italian Scientists basato proprio su un numero, il parametro bibliometrico conosciuto come H-index o indice di H. Il quale è il numero X di pubblicazioni che hanno ricevuto almeno lo stesso numero X di citazioni. Se il lavoro di uno scienziato è citato significa che il lavoro di quello scienziato è importante, in genere. Nel citare le sue pubblicazioni si riconosce quindi che quello scienziato ha un impatto nel suo settore. Ma l’indice H misura anche la continuità di questo impatto, poichè il valore cresce col numero di pubblicazioni citate. In questo sta il valore dell H-index: sintetizza in un numero sia l’impatto (numero di citazioni) che la produzione (numero di pubblicazioni) di uno scienziato. Quindi risulta superiore, nel valutare il profilo scientifico di persone od istituti, sia al numero totale delle citazioni (che risente della popolarità e di distorsioni derivate dal tipo e campo di pubblicazione) che al numero delle pubblicazioni (certi campi ne producono volumi maggiori e con maggiore facilità di altri, e molte non vengono mai citate!).
Chiarito questo, veniamo al metodo per calcolare l’H-index. Al giorno d’oggi, Google Scholarrisulta migliore di tutti gli altri database per fare questo calcolo, come commenti recenti hanno sottolineato. Per settori specifici, Isi o altri database sono maggiormente accurati (e meglio considerati), ma se si vuole tracciare un quadro omogeneo delle eccellenze di un istituto universitario, o di una nazione, Google Scholar rimane la scelta globalmente più giusta. Soprattutto se poi i dati ottenuti con metodi diversi vengono esaminati da esperti nei vari rami della conoscenza, come regolarmente facciamo per verificare i Top Italian Scientists.
Riguardo proprio a questo, è opportuno menzionare che in uno studio che verrà presto pubblicato sulla rivista specializzata Scientometrics (Marco Geraci e Mauro Degli Esposti, “Where do Italian universities stand? An in-depth statistical analysis of national and international rankings”), un’approfondita analisi statistica ha mostrato che una graduatoria delle università italiane basata solo sui dati dei Top Italian Scientists ha un forte correlazione con le graduatorie più conosciute a livello internazionale (come ad esempio quella elaborata dell’Università di Shangai Jiao Tong). Questo ed altri risultati dell’analisi supportano un principio che sarebbe irragionevole controbattere e su cui apparentemente siamo tutti d’accordo: la qualità e il volume della ricerca sono parametri fondamentali di valutazione.
Ci sono poi, ovviamente, numerosi aspetti metodologici da discutere. Fra questi, rimane il problema dei falsi negativi nella valutazione basata su H-index, cioè dei casi di validissimi scienziati che risultano avere bassi valori di indice H. Ma sui casi singoli ci sarà da commentare ulteriormente, dato che la discussione sul tema proseguirà.
Qui di seguito la mia risposta:
La misura del numero di pubblicazioni e di citazioni di uno scienziato, e poi dell’indice H che è essenzialmente correlato al numero di citazioni (nella gran parte dei casi, la radice quadrata diviso 2), è uno strumento di cui è bene discutere pregi e difetti per usarlo ed interpretarlo in maniera sensata. Il numero di citazioni, che indica quanti ricercatori hanno letto e, in principio, trovato interessante ed utile un articolo, è un indice di popolarità e non direttamente di qualità. Il problema centrale è se popolarità implichi qualità: una semplice scorsa alla storia della scienza mostra che non la implica affatto in tantissimi casi.
Alcune istituzioni scientifiche di prestigio, come l’Accademia delle scienze francese, si sono dunque preoccupate di stilare delle linee guida sul corretto uso degli indici bibliometrici come degli strumenti da usare con grande cautela e da persone esperte, da affiancare sempre e necessariamente ad una valutazione puntuale della qualità di un ricercatore basata sullaconoscenza effettiva dei suoi contribuiti scientifici (bisogna leggersi gli articoli e, possibilmente capirli, per giudicare). Questi indici sono soggetti a deformazioni di vario tipo, tra i cui l’incompletezza e la manipolazione dei database, come dimostrato dall’eclatante caso di Ike Antkare.
Vi sono anche banche date certificate (ISI Web of Knowledge, ecc.), che indicizzano solo le pubblicazioni e le citazioni che compaiono su riviste in cui sia stata adottata la revisione da parte di pari: queste sono però sostanzialmente incomplete in tanti settori. In genere le scienze naturali, l’ingegneria e la medicina sono le più monitorate; un discorso completamente diverso andrebbe fatto per le scienze sociali, economia, letteratura, legge, ecc., dove le monografie (non censite sui database) sono le pubblicazioni principali. Inoltre vi è il problema delle auto-citazioni, del fatto che il numero di citazioni di un articolo è proporzionale al numero di autori dello stesso, ecc.
In aggiunta, l’indice H è un indice integrale ed aumenta con l’età: è necessario perciò normalizzare l’indice H con gli anni di carriera altrimenti s’introduce un effetto sistematico per il quale si sovrastima l’attività di scienziati anziani e si sottostima quella di scienziati giovani. Ci sono poi i falsi positivi, ad esempio scienziati che orientano la propria carriera con l’intento di massimizzare non tanto la qualità scientifica, quanto i propri indici bibliometrici: questo può essere ottenuto in vari modi, alcuni dei quali non eticamente corretti, come ad esempio firmando articoli non propri, citando per essere citati, dirigendo grandi gruppi di ricerca e firmando un numero abnorme ed insensato di articoli, ecc.
E’ noto inoltre che un’attenzione troppo grande al valore degli indici bibliometrici può influenzare inmaniera artificiale ma importante sia l’attività scientifica del singolo ricercatore, che cerca così di orientare la sua attività sulle linee di ricerca che vanno più di moda e sono percorse dal maggior numero di ricercatori (e dunque sono più citate), sia la dinamica globale di un campo, ad esempio eliminando completamente coloro i quali cercano di studiare problemi considerati marginali ad un certo momento ma che potrebbero in seguito rivelarsi importanti. Come ho già avuto modo di osservare, su questi punti c’è un vivo dibattito a livello internazionale.
Veniamo ora alla classifica della Via Academy. Supponiamo che i dati sui quali sia stata elaborata siano completi, ipotesi non verificata visto il database di provenienza (ScholarGoogle) e la varietà di discipline che include (dalla biologia alla letteratura passando per l’economia), supponiamo inoltre che le citazioni siano indice di qualità. Anche nel caso in cui queste più favorevoli ipotesi si verifichino questa classifica non è equivalente ad una di, ad esempio, tennisti, bensì ad una in cui i tennisti sono messi insieme ai calciatori, saltatori con l’asta, velisti, maratoneti, ecc.Questo avviene in quanto diversi campi scientifici (ed i sotto-settori di un campo) hanno delle modalità completamente diverse rispetto sia al numero di pubblicazioni che al numero di citazioni e dunque non sono semplicemente commensurabili. Ad esempio, si riscontrano variazioni enormi nel numero medio di citazioni ricevute da un articolo nell’arco di due anni: in matematica può raggiungere il valore di 2,55 mentre in medicina può arrivare a 51. Per superare questo problema sono stati proposti vari metodi, generalmente basati sull’idea di normalizzare il numero di citazioni a quantità standard appropriatamente scelte. Il problema non è banale e una soluzione recentemente proposta mostra che la distribuzione delle citazioni diviene la stessa quando normalizzata al numero medio di citazioni per articolo per disciplina. In questa maniera si trovano dei risultati sorprendenti, come ad esempio il fatto che un articolo pubblicato nel campo dell’ingegneria aerospaziale con sole 20 citazioni abbia “più successo” di un articolo in biologia con 100 citazioni. Ma questo chiaramente non significa che il primo è necessariamente più importante del secondo, ma solo che sia relativamente più citato e dunque più popolare.
Il punto fondamentale è che non bisogna ridurre il dibattito sull’uso degli strumenti bibliometrici in questi termini: chi critica gli indici bibliometrici è contro la valutazione. L’idea che unavalutazione della ricerca tramite i soli indici bibliometrici sia una cosa sensata da fare è ingenua e sbagliata, anche quando fatta usando database completi, normalizzando i dati appropriatamente per tener conto delle diverse discipline, considerando l’effetto integrato dell’età, delle auto-citazioni, ecc. La classifica della Via Academy, non soddisfacendo neanche queste condizioni basilari, per dirla con Francesco Vatalaro, “non aiuta alla comprensione del livello qualitativo del sistema accademico italiano: è solo un modo di sommare mele con patate”.
Nell’ultimo di una serie di articoli su Il Fatto Quotidiano riguardanti la valutazione scientifica, Francesco Sylos Labini sostiene che è molto semplice capire quali non debbano essere i metodi per valutare quantitativamente la ricerca e chi la fa. Infatti parte dal presupposto che “la qualità della ricerca non si classifica con un numero, ovvero non è ragionevole fare una classifica di scienziati come se si trattasse di tennisti”.
Affermazioni come queste si muovono in senso opposto all’iniziativa che insieme ai colleghi della Via-Academy abbiamo sviluppato. Si tratta del censimento delle eccellenze scientifiche italiane oTop Italian Scientists basato proprio su un numero, il parametro bibliometrico conosciuto come H-index o indice di H. Il quale è il numero X di pubblicazioni che hanno ricevuto almeno lo stesso numero X di citazioni. Se il lavoro di uno scienziato è citato significa che il lavoro di quello scienziato è importante, in genere. Nel citare le sue pubblicazioni si riconosce quindi che quello scienziato ha un impatto nel suo settore. Ma l’indice H misura anche la continuità di questo impatto, poichè il valore cresce col numero di pubblicazioni citate. In questo sta il valore dell H-index: sintetizza in un numero sia l’impatto (numero di citazioni) che la produzione (numero di pubblicazioni) di uno scienziato. Quindi risulta superiore, nel valutare il profilo scientifico di persone od istituti, sia al numero totale delle citazioni (che risente della popolarità e di distorsioni derivate dal tipo e campo di pubblicazione) che al numero delle pubblicazioni (certi campi ne producono volumi maggiori e con maggiore facilità di altri, e molte non vengono mai citate!).
Chiarito questo, veniamo al metodo per calcolare l’H-index. Al giorno d’oggi, Google Scholarrisulta migliore di tutti gli altri database per fare questo calcolo, come commenti recenti hanno sottolineato. Per settori specifici, Isi o altri database sono maggiormente accurati (e meglio considerati), ma se si vuole tracciare un quadro omogeneo delle eccellenze di un istituto universitario, o di una nazione, Google Scholar rimane la scelta globalmente più giusta. Soprattutto se poi i dati ottenuti con metodi diversi vengono esaminati da esperti nei vari rami della conoscenza, come regolarmente facciamo per verificare i Top Italian Scientists.
Riguardo proprio a questo, è opportuno menzionare che in uno studio che verrà presto pubblicato sulla rivista specializzata Scientometrics (Marco Geraci e Mauro Degli Esposti, “Where do Italian universities stand? An in-depth statistical analysis of national and international rankings”), un’approfondita analisi statistica ha mostrato che una graduatoria delle università italiane basata solo sui dati dei Top Italian Scientists ha un forte correlazione con le graduatorie più conosciute a livello internazionale (come ad esempio quella elaborata dell’Università di Shangai Jiao Tong). Questo ed altri risultati dell’analisi supportano un principio che sarebbe irragionevole controbattere e su cui apparentemente siamo tutti d’accordo: la qualità e il volume della ricerca sono parametri fondamentali di valutazione.
Ci sono poi, ovviamente, numerosi aspetti metodologici da discutere. Fra questi, rimane il problema dei falsi negativi nella valutazione basata su H-index, cioè dei casi di validissimi scienziati che risultano avere bassi valori di indice H. Ma sui casi singoli ci sarà da commentare ulteriormente, dato che la discussione sul tema proseguirà.
Qui di seguito la mia risposta:
La misura del numero di pubblicazioni e di citazioni di uno scienziato, e poi dell’indice H che è essenzialmente correlato al numero di citazioni (nella gran parte dei casi, la radice quadrata diviso 2), è uno strumento di cui è bene discutere pregi e difetti per usarlo ed interpretarlo in maniera sensata. Il numero di citazioni, che indica quanti ricercatori hanno letto e, in principio, trovato interessante ed utile un articolo, è un indice di popolarità e non direttamente di qualità. Il problema centrale è se popolarità implichi qualità: una semplice scorsa alla storia della scienza mostra che non la implica affatto in tantissimi casi.
Alcune istituzioni scientifiche di prestigio, come l’Accademia delle scienze francese, si sono dunque preoccupate di stilare delle linee guida sul corretto uso degli indici bibliometrici come degli strumenti da usare con grande cautela e da persone esperte, da affiancare sempre e necessariamente ad una valutazione puntuale della qualità di un ricercatore basata sullaconoscenza effettiva dei suoi contribuiti scientifici (bisogna leggersi gli articoli e, possibilmente capirli, per giudicare). Questi indici sono soggetti a deformazioni di vario tipo, tra i cui l’incompletezza e la manipolazione dei database, come dimostrato dall’eclatante caso di Ike Antkare.
Vi sono anche banche date certificate (ISI Web of Knowledge, ecc.), che indicizzano solo le pubblicazioni e le citazioni che compaiono su riviste in cui sia stata adottata la revisione da parte di pari: queste sono però sostanzialmente incomplete in tanti settori. In genere le scienze naturali, l’ingegneria e la medicina sono le più monitorate; un discorso completamente diverso andrebbe fatto per le scienze sociali, economia, letteratura, legge, ecc., dove le monografie (non censite sui database) sono le pubblicazioni principali. Inoltre vi è il problema delle auto-citazioni, del fatto che il numero di citazioni di un articolo è proporzionale al numero di autori dello stesso, ecc.
In aggiunta, l’indice H è un indice integrale ed aumenta con l’età: è necessario perciò normalizzare l’indice H con gli anni di carriera altrimenti s’introduce un effetto sistematico per il quale si sovrastima l’attività di scienziati anziani e si sottostima quella di scienziati giovani. Ci sono poi i falsi positivi, ad esempio scienziati che orientano la propria carriera con l’intento di massimizzare non tanto la qualità scientifica, quanto i propri indici bibliometrici: questo può essere ottenuto in vari modi, alcuni dei quali non eticamente corretti, come ad esempio firmando articoli non propri, citando per essere citati, dirigendo grandi gruppi di ricerca e firmando un numero abnorme ed insensato di articoli, ecc.
E’ noto inoltre che un’attenzione troppo grande al valore degli indici bibliometrici può influenzare inmaniera artificiale ma importante sia l’attività scientifica del singolo ricercatore, che cerca così di orientare la sua attività sulle linee di ricerca che vanno più di moda e sono percorse dal maggior numero di ricercatori (e dunque sono più citate), sia la dinamica globale di un campo, ad esempio eliminando completamente coloro i quali cercano di studiare problemi considerati marginali ad un certo momento ma che potrebbero in seguito rivelarsi importanti. Come ho già avuto modo di osservare, su questi punti c’è un vivo dibattito a livello internazionale.
Veniamo ora alla classifica della Via Academy. Supponiamo che i dati sui quali sia stata elaborata siano completi, ipotesi non verificata visto il database di provenienza (ScholarGoogle) e la varietà di discipline che include (dalla biologia alla letteratura passando per l’economia), supponiamo inoltre che le citazioni siano indice di qualità. Anche nel caso in cui queste più favorevoli ipotesi si verifichino questa classifica non è equivalente ad una di, ad esempio, tennisti, bensì ad una in cui i tennisti sono messi insieme ai calciatori, saltatori con l’asta, velisti, maratoneti, ecc.Questo avviene in quanto diversi campi scientifici (ed i sotto-settori di un campo) hanno delle modalità completamente diverse rispetto sia al numero di pubblicazioni che al numero di citazioni e dunque non sono semplicemente commensurabili. Ad esempio, si riscontrano variazioni enormi nel numero medio di citazioni ricevute da un articolo nell’arco di due anni: in matematica può raggiungere il valore di 2,55 mentre in medicina può arrivare a 51. Per superare questo problema sono stati proposti vari metodi, generalmente basati sull’idea di normalizzare il numero di citazioni a quantità standard appropriatamente scelte. Il problema non è banale e una soluzione recentemente proposta mostra che la distribuzione delle citazioni diviene la stessa quando normalizzata al numero medio di citazioni per articolo per disciplina. In questa maniera si trovano dei risultati sorprendenti, come ad esempio il fatto che un articolo pubblicato nel campo dell’ingegneria aerospaziale con sole 20 citazioni abbia “più successo” di un articolo in biologia con 100 citazioni. Ma questo chiaramente non significa che il primo è necessariamente più importante del secondo, ma solo che sia relativamente più citato e dunque più popolare.
Il punto fondamentale è che non bisogna ridurre il dibattito sull’uso degli strumenti bibliometrici in questi termini: chi critica gli indici bibliometrici è contro la valutazione. L’idea che unavalutazione della ricerca tramite i soli indici bibliometrici sia una cosa sensata da fare è ingenua e sbagliata, anche quando fatta usando database completi, normalizzando i dati appropriatamente per tener conto delle diverse discipline, considerando l’effetto integrato dell’età, delle auto-citazioni, ecc. La classifica della Via Academy, non soddisfacendo neanche queste condizioni basilari, per dirla con Francesco Vatalaro, “non aiuta alla comprensione del livello qualitativo del sistema accademico italiano: è solo un modo di sommare mele con patate”.
Segnalazione: Lo Scienziato ad una dimensione
Nessun commento:
Posta un commento