Valutazione, Impact Factor e Gaussiane

Il problema di come valutare un articolo scientifico e' complesso e richiede un'analisi approfondita. Nel nostro libro ne diamo una introduzione. Qui ci soffermiamo su una particolare maniera di quantificare l'impatto (e quindi la qualita') di un articolo scientifico, l'impact factor (IF). L’ IF di una rivista è ottenuto contando le citazioni ottenute in un anno dagli articoli pubblicati nei due anni precedenti. Il problema e' se l'IF sia una misura significativa o meno dell'impatto di un singolo articolo pubblicato su quella rivista. Vi e' a questo proposito una ampia bibliografia (vedi ad esempio qui) che sconsigliano l'uso dell'impact factor in sede di valutazione. Avrebbe un senso affermare che l'IF di una rivista rifletta l'IF di ogni articolo pubblicato su quella rivista, se la distribuzione delle citazioni fosse molto stretta intorno ad un valore medio (ad esempio una Gaussiana) questo significherebbe che il valore medio e' rappresentativo per ogni articolo. Tuttavia non e' questo il caso. La distribuzione e' molto larga. Questo significa che valori molto lontani dal valore medio sono sufficientemente probabili.

Nelle figure (in scala lineare e logaritmica) sono riportate (asse x) il numero citazioni c ed in asse y il numero di articoli P(c) con c citazioni per gli articoli pubblicati sulla rivista di fisica Physical Review Letters negli anni 1982-2006, 1982 e 2000 (cortesia di Claudio Castellano --- ci sono vari studi pubblicati su questo argomento come ad esempio questo. ). La linea verticale indica il numero di citazioni medie per gli anni 1982-2006. La caratteristica significativa e' che le distribuzioni delle citazioni hanno la stessa forma nei differenti casi. Si vede infatti che la maggior parte degli articoli ha ottenuto poche citazioni ma vi e' un numero considerevole di articoli con tante citazioni (>200) . Studi di questo tipo portano alla conclusione che data la grande dispersione dei valori, l'IF per classificare un singolo articolo non ha senso. Valutando una pubblicazione in base all’IF si potrebbe giungere al risultato paradossale di considerare più meritevole un articolo mai citato e pubblicato sulla rivista A, di un articolo citato da centinaia di persone e pubblicato sulla rivista B solo perché l’IF della rivista A è più alto di B. Bisogna senz'altro valutare la ricerca e usare anche parametri quantitativi, ma bisogna farlo in maniera sensata.