"I ricercatori non crescono sugli alberi" è il titolo del libro scritto a quattro mani da Francesco Sylos Labini e Stefano Zapperi sulla ricerca e l'università in Italia. E' stato pubblicato da Laterza a gennaio 2010. A cosa serve la ricerca, perché finanziarla, cosa fanno i ricercatori, che relazione c'è tra ricerca ed insegnamento, come riformare il sistema della ricerca e dell'università, a quali modelli ispirarsi. Due cervelli non in fuga denunciano la drammatica situazione italiana e cosa fare per uscire dalle secche della crisi. Perché su una cosa non c'è dubbio: se ben gestito, il finanziamento alla ricerca non è un costo ma l'investimento più lungimirante che si possa fare per il futuro del paese e delle nuove generazioni.




venerdì 15 gennaio 2010

Valutazione, Impact Factor e Gaussiane




Il problema di come valutare un articolo scientifico e' complesso e richiede un'analisi approfondita. Nel nostro libro ne diamo una introduzione. Qui ci soffermiamo su una particolare maniera di quantificare l'impatto (e quindi la qualita') di un articolo scientifico, l'impact factor (IF). L’ IF di una rivista è ottenuto contando le citazioni ottenute in un anno dagli articoli pubblicati nei due anni precedenti. Il problema e' se l'IF sia una misura significativa o meno dell'impatto di un singolo articolo pubblicato su quella rivista. Vi e' a questo proposito una ampia bibliografia (vedi ad esempio qui) che sconsigliano l'uso dell'impact factor in sede di valutazione. Avrebbe un senso affermare che l'IF di una rivista rifletta l'IF di ogni articolo pubblicato su quella rivista, se la distribuzione delle citazioni fosse molto stretta intorno ad un valore medio (ad esempio una Gaussiana) questo significherebbe che il valore medio e' rappresentativo per ogni articolo. Tuttavia non e' questo il caso. La distribuzione e' molto larga. Questo significa che valori molto lontani dal valore medio sono sufficientemente probabili.

Nelle figure (in scala lineare e logaritmica) sono riportate (asse x) il numero citazioni c ed in asse y il numero di articoli P(c) con c citazioni per gli articoli pubblicati sulla rivista di fisica Physical Review Letters negli anni 1982-2006, 1982 e 2000 (cortesia di Claudio Castellano --- ci sono vari studi pubblicati su questo argomento come ad esempio questo. ). La linea verticale indica il numero di citazioni medie per gli anni 1982-2006. La caratteristica significativa e' che le distribuzioni delle citazioni hanno la stessa forma nei differenti casi. Si vede infatti che la maggior parte degli articoli ha ottenuto poche citazioni ma vi e' un numero considerevole di articoli con tante citazioni (>200) . Studi di questo tipo portano alla conclusione che data la grande dispersione dei valori, l'IF per classificare un singolo articolo non ha senso. Valutando una pubblicazione in base all’IF si potrebbe giungere al risultato paradossale di considerare più meritevole un articolo mai citato e pubblicato sulla rivista A, di un articolo citato da centinaia di persone e pubblicato sulla rivista B solo perché l’IF della rivista A è più alto di B. Bisogna senz'altro valutare la ricerca e usare anche parametri quantitativi, ma bisogna farlo in maniera sensata.

3 commenti:

  1. Renzino l'Europeo15 gennaio 2010 21:07

    Per me, e per molti altri, impatto NON e' sinonimo di qualita'. Qualita' si riferisce ad un giudizio sull'outcome, non sull'impact.

    RispondiElimina
  2. Deep 'Impact Factor'...6 febbraio 2010 11:56

    Rincorriamo (me compreso) questo strano essere...ma perchè? ...non lo sa nessuno!
    @ Renzino: parole sante!

    RispondiElimina
  3. E' sbagliato, che un indice così "soggettivo", venga usato anche nei concorsi pubblici, per valutare "oggettivamente" un ricercatore.
    Adesso mi sto scervellando per trovare questo indice per le riviste su cui ho pubblicato. Sto perdendo molto tempo, perchè gratis trovo solo liste parziali, e sul sito della Thomson Reuters non si capisce quanto costa questo benedetto Journal Citation Reports, sarà una cifra così stratosferica che si vergognano a dirlo :).
    Per fortuna sugli stessi siti delle riviste, è a volte scritto. Ma comunque cambia tantissimo a seconda dell'anno.

    RispondiElimina