Abbiamo discusso in un precedente posti motivi per i quali l'impact factor non sia una misura ragionevole dell'impatto scientifico di un articolo o di un autore. La distribuzione delle citazioni presenta delle code lunghe e dunque la media (l'impact factor) di citazioni per articolo pubblicato da una certa rivista non e' significativa. Qui discutiamo una maniera piu' efficace (ma tuttavia sempre parziale e limitata come spiegato in dettaglio nel libro) di misurare l'impatto di un autore, l'H-index. Uno scienziato è di indice H se ha pubblicato almeno H lavori, ciascuno dei quali è stato citato almeno H volte. Nella figura qui a fianco riportiamo la distribuzione dell' l'H-index di tutti i docenti di fisica nelle universita' italiane (ordinari, associati e ricercatori --- fonte ). Si nota che anche in questo caso la distribuzione si discosta da una Gaussiana: e' infatti caratterizzata da una "coda lunga" ovvero i valori lontani dal picco della distribuzione sono molto piu' probabili che nel caso Gaussiano. In breve questo implica che il valore medio, ovvero l'H-index medio di un fisico italiano, non sia una quantita' ben definita in quanto viene determinata dall'estensione della coda. Pochi valori distanti dal picco della distribuzione possono spostare in maniera significativa la media. Bisogna avere ben presente questo fatto quando si discutono parametri macroscopici che riguardano la valutazione di un' universita' o addirittura della produzione scientifica di un intero paese. E' interessante notare che questo tipo di distribuzioni siano piuttosto frequenti sia nei fenomeni naturali che in quelli sociali, ma le loro implicazioni sono spesso sottovalutate. Per approfondire leggi questo articolo divulgativo.
Ma scusate, come potrete mai pensare di trovare una distribuzione 'Gaussiana' di parametri bibliometrici che sono di natura socio-biologica, e quindi fondamentalemente distribuiti in modo NON-parametrico?! In ogni caso l'H-index da una buona idea di che valore relativo sia la produzione scientifica di un certo scienziato. Aberrazioni e code potrenno infuenzare il suo valore quantitativo assoluto, ma non la sua categoria. Voglio dire, se sei un bravo scienziato con produzione costante di qualita' ti aspetti un H-index >10<100, ma se vinci un premio NObel ti aspetti un H-index >>100!
RispondiEliminaA priori non c'e' nessun motivo per il quale la distribuzione dell'H-index non sia Gaussiana. L'esempio che abbiamo riportato e' illustratativo del caso in cui una distribuzione sia caratterizzata da code lunghe. Questo concetto non pare essere molto chiaro, come quando si usa l'impact factor per valutare un articolo scientifico. L'H-index e' piu' utile dell'impact factor ma ha i suoi limiti che vanno compresi per una sua corretta utilizzazione (ne discutiamo in dettaglio nel libro). Il problema che abbiamo voluto mettere in evidenza riguarda l'uso di indicatori medi per stabilire la qualita'.
RispondiEliminaIl motivo principale per cui una distribizione di una certa variabile sia Gaussiana è che questa variabile possa essere espressa come la somma di variabili casuali, con varianza finita e non-correlate. Queste ipotesi, alla base del teorema del limite centrale sono a volte soddisfatte, ma molto spesso no. Le citazioni costituiscono un esempio, visto che la gente non sceglie a caso gli articoli da citare....in questo senso il commento di Degli Espositi è corretto. Il problema che vediamo è che molto spesso si usano indicatori statistici basati sul fatto che le ipotesi del teorema del limite centrale siano soddisfatte, senza accertarsi che questo sia vero.
RispondiEliminaProfessori di fisica... quale?
RispondiEliminaMi aspetto grandi variazioni per "sotto-classi", a prescidere poi dal discorso a parte sul fondamento di utilita' e rilevanza di H-index et similia (per i quali ho gia' espresso ultra-scetticismo).
Per docenti di fisica si intende la somma di professori ordinari, associati e ricercatori. Per una analisi delle singole classi si rimanda al nsotro libro. Dati originali qui
RispondiEliminahttp://www.pubblicoergosum.org/?p=592