"I ricercatori non crescono sugli alberi" è il titolo del libro scritto a quattro mani da Francesco Sylos Labini e Stefano Zapperi sulla ricerca e l'università in Italia. E' stato pubblicato da Laterza a gennaio 2010. A cosa serve la ricerca, perché finanziarla, cosa fanno i ricercatori, che relazione c'è tra ricerca ed insegnamento, come riformare il sistema della ricerca e dell'università, a quali modelli ispirarsi. Due cervelli non in fuga denunciano la drammatica situazione italiana e cosa fare per uscire dalle secche della crisi. Perché su una cosa non c'è dubbio: se ben gestito, il finanziamento alla ricerca non è un costo ma l'investimento più lungimirante che si possa fare per il futuro del paese e delle nuove generazioni.




venerdì 8 gennaio 2010

Correlazioni in libertà II

Vorrei provare a chiarire alcuni punti riguardo al post precedente, cercando allo stesso tempo di rispondere alle critiche. Il punto centrale riguarda l'uso del formalismo matematico e dei metodi quantitativi che si fa nelle scienze sociali e nell'economia. Si tratta di metodi caratteristici delle scienze "dure" come la fisica ma vengono usati sempre di più in tutti i campi del sapere. Non è detto che questo sia di per sé sbagliato, ma bisogna sempre tenere presente cosa si sta misurando, come lo si sta misurando e se le ipotesi da cui parte l'analisi siano fondate o meno. Spesso vediamo misurare alcune quantità o definire alcuni indicatori per poi trarre conclusioni sommarie che trascendono ciò che la misura realmente rappresenta. Un esempio classico è quello del quoziente intellettivo (QI). Il QI rappresenta la capacità che ha una persona ad un dato istante di tempo nel rispondere ad una serie di domande di un certo tipo. Quello che invece ci viene spesso raccontato è che il QI misura l'intelligenza innata di una persona e che questa quantità sarebbe addirittura ereditaria. Gli studiosi del QI fanno uso di metodi statistici e matematici sofisticati, quali l'analisi fattoriale, il p-value, il g-factor, matrici di cross-correlazionie e chi più ne ha più ne metta. Tutta questa matematica offusca una cosa evidente e cioé che l'intelligenza non è misurabile semplicemente su di una scala lineare come se fosse la circonferenza cranica, come discusso in dettaglio da S. J. Gould in un bellissimo libro (Intelligenza e pregiudizio).

Una misura quantitativa o una sofisticata analisi matematica sembra però rendere una tesi molto più forte e convincente, grazie all'idea che la scienza sia in un certo senso obbiettiva. Ad esempio, se misuro la resistenza meccanica dell'acciaio e mostro che aggiungendo una certa percentuale di carbonio il materiale diventa più resistente posso dire ad una industria metallurgica che in questo modo i suoi componenti saranno migliori (nel senso della resistenza). Abbiamo una misura di due quantità fisiche ben definite (resistenza meccanica, di trazione ad esempio) e percentuale di carbonio e una curva che lega una caratteristica all'altra (vedi grafico). Certo, se la curva di resistenza fosse simile al grafico riportato nel post precedente dubito che la nostra industria metallurgica utilizzerebbe il carbonio nella sua lega. Ma questo è solo un aspetto della questione, il punto è che ciò che viene misurato in quel grafico è molto lontano dalla nostra misura meccanica. Le ascisse riportano un indice, frutto di un'analisi fattoriale su vari indicatori di "autonomia", scelti arbitrariamente dagli autori e combinati poi linearmente. Questo almeno quello che io ho potuto capire dall'articolo in questione. In ogni modo si tratta di una misura perlomeno indiretta. Sulle ordinate invece troviamo l'inverso del punteggio di Shanghai, anche questa una misura indiretta della performance dell'università che riassume una serie di punteggi, normalizzandoli e combinandoli linearmente in maniera arbitraria. Adesso X e Y, di per sé quantità arbitrarie che riassumono in un unico indice tante qualità diverse, ognuna misurata in maniera arbitraria, vengono poste in un grafico per mostrarne la correlazione. Quello che io vedo è una nuvola di punti che riempiono il piano. Ma decidiamo di non fidarci dagli occhi (la correlazione c'è ma non si vede!) e facciamo un fit, possiamo estrarre una relazione lineare da cui concludiamo: se diamo maggiore autonomia l'università sarà migliore! Come dire: aumentiamo il contenuto di carbonio e la resistenza aumenterà! I messaggi sembrano simili: si tratta di conclusioni frutto di un'analisi sofisticata matematicamente, difficile da comprendere per il profano, ma oggettiva e scientifica. In realtà in un caso abbiamo la misura di quantità fisiche ben definite, mentre nell'altro caso ci viene detto che si stanno misurando "qualità dell'università" e "autonomia", ma in realtà si sta misurando altro: cosa esattamente non è neanche chiaro, ma di certo qualcosa di molto complicato e arbitrario, quindi facile da manipolare.

Detto questo, non vogliamo dare l'impressione di fisici arroganti disgustati di fronte al lavoro degli economisti, ma non vogliamo neanche essere presi in giro. Se ci si viene proposto un modello di università ideale quale frutto di un'analisi scientifica rigorosa, vogliamo vedere le carte, e quanto visto non ci convince affatto.

4 commenti:

  1. Il rigore dovrebbe imporci anche di documentarci prima di parlare di temi fuori dal nostro campo di studi. Ti segnalo un paio di sviste che avresti potuto evitare con un giro su Wikipedia.
    (1) I metodi di correlazione sono nati in psicologia e in biologia. Siete voi fisici che li prendete a prestito. Infatti metti il p-value fra i metodi "sofisticati" quando è un argomento che i diciannovenni iscritti a Psicologia o a Economia studiano a Statistica 1 all'inizio del triennio. E per le fattoriali e le matrici di correlazione bisogna solo aspettare Statistica 2 o Metodi quantitativi.
    (2) Confondi il g-factor di Landé con il g-factor degli psicologi, che è un po' come confondere il Paolo Rossi calciatore con Paolo Rossi il comico.
    Venendo al dunque, uno studio sociale non dice "se diamo maggiore autonomia l'università sarà migliore" ma "ho misurato l'autonomia così e così, la qualità così e così, e ho trovato che le due misure sono correlate". Il valore e l'onestà dello studio dipendono, come in qualunque altra scienza, dalla possibilità data alla comunità di contestare i metodi e le conclusioni. Ma questo richiede un esercizio intellettuale informato; i giudizi apodittici "non sono convinto" nelle scienze sociali non valgono.
    Quanto poi alla tua tesi che se un fenomeno è qualitativo e non lineare allora non è misurabile credibilmente, beh, a questo punto mi immagino che nel vostro libro proponiate anche di abolire la valutazione della ricerca universitaria. Perché il numero di pubblicazioni sulle riviste prestigiose, o il numero di volte che si è citati dalla comunità scientifica, non possono mica misurare qualcosa di "molto complicato" come la qualità del ricercatore, no?

    RispondiElimina
  2. Discutere con i "flamers", per di più anonimi, è in genere una perdita di tempo. Perdiamo comunque un po' di tempo:
    1) Non ho mai affermato che gli psicologi abbiano imparato le correlazioni dai fisici come sostiene l'anonimo. Tra l'altro, la storia dei metodi di correlazione si può leggere sul citato libro di Gould e non c'è bisogno di ricorrere a wikipedia. L'anonimo sembra poi sostenere che la statistica sia una banalità per ragazzini. Io penso che sia invece una disciplina sofisticata di cui troppo spesso si abusa, non comprendendone a pieno i fondamenti.
    2) Non confondo proprio nulla. Per pensare che se si scrive di QI e si cita il fattore
    g ci si riferisca al fattore giromagnetico e non al fattore di intelligenza generale di Spearman bisogna avere molta fantasia (o forse essere in malafede al puro scopo di provocare?).
    3) La mia "tesi" non è quella enunciata dall'anonimo. Quello che penso è che non tutti i concetti e le idee si possano quantificare adeguatamente usando un singolo indice numerico.
    4) Invece di "immaginare" e quindi criticare a vanvera, suggerisco all'anonimo la lettura del libro stesso.

    RispondiElimina
  3. Bene il contenuto del post.

    Certo, gli economisti vogliono numeri - sono abituati al numerario che piu' interessa per eccellenza, il denaro.

    E hanno forti ansie da "prestazioni". Ma le prestazioni sono azioni umane, non si "misurano" cosi' facilmente, e soprattutto non nel senso delle scienze naturali.

    Si tratta di mettere per bene in chiaro i concetti e i ragionamenti, dice il commentatore "rufo", di cui trovo utile evidenziare la ricostruzione dei fatti:
    "ho misurato l'autonomia così e così, la qualità così e così, e ho trovato che le due misure sono correlate".

    Questo sarebbe lo schema epistemologico del genere di lavori che stiamo commentando.

    Si', ma a monte della raccolta dati e dei numerini graficati c'e' moolto di piu' di cio' che viene detto; c'e' un "ho concepito l'autonomia delle Universita' cosi' e cosi', e ho individuato degli indicatori numerici che mi rappresentano [?] questo concetto" - un discorso che viene spesso glissato e sommerso dalla mera descrizione fattuale della scelta, mentre invece e' fortemente carico di valori, valutazioni tacite e comunque personali, che vengono cosi' sottratte al giudizio del lettore. Per poter maneggiare questa realta' sociale che e' sia fisica sia assiologica si procede con l'accetta.

    Sul tema specifico in oggetto segnalo - per gli interessati - questa analisi dell'Agenzia finanziatrice del sistema universitario inglese, l'HEFCE: "Counting what is measured or measuring what counts?"
    http://www.hefce.ac.uk/Pubs/HEFCE/2008/08_14/

    RispondiElimina
  4. Cari Stefano e Francesco,

    ho letto con molto interesse la segnalazione dell'articolo su lavoce.info, e la discussione mi incuriosisce, visto che a) sono un politologo, quindi esponente delle scienze sociali; b) mi occupo di analisi quantitative (e le insegno); c) mi occupo di comportamento elettorale, un terreno da sempre oggetto di notevoli invasioni di campo degli economisti.

    Capirete che io sostengo l'uso delle tecniche quantitative nelle scienze sociali. Tuttavia questo uso richiede una enorme attenzione in due fasi precedenti: 1) la formazione dei concetti (che deve precedere l'analsii dei dati); 2) la definizione operativa, ovvero quel complesso di decisioni su come *rilevare* (uno scienziato sociale attento non dovrebbe quasi mai usare la parola "misurare" ;-) una determinata proprietà.

    In questi due processi, i piu' attenti sono senza dubbio i sociologi, al limite dell'autolesionismo, anche se un po' di cose stanno cambiando. I politologi sono una via di mezzo. Venendo agli economisti, per la mia esperienza, la maggior parte di questi ultimi in genere fa facce strane quando si parla di concettualizzazioni e definizioni operative ;-)

    Venendo alla correlazione, e' chiaro che - come detto da voi - dimostra che i due ricercatori hanno torto ;-) Mi riferisco a quanto riportato su La Voce, nonche' sulla figura riportata nel blog.

    1) Anzitutto, da quello che capisco, c'e' un grosso errore di concettualizzazione. Tralasciando che autonomia e concorrenza sono due concetti ovviamente diversi (le due correlazioni andrebbero analizzate separatamente), non si riesce a capire perche' il tasso di endogamia (% di professori che hanno preso il dottorato nella stessa universita') debba essere un indicatore di autonomia e concorrenza. Casomai e' un indicatore di quello che si vuole ottenere (ovvero la qualita'), quindi dovrebbe apposta essere escluso dall'analisi. Saro' malizioso, ma ho il sospetto che in quel caso la correlazione scenderebbe parecchio.

    2) Detto questo, il grafico mostra come la correlazione e' gia' praticamente inesistente. Nelle scienze sociali (ma credo ovunque!) r diventa rilevante sopra 0,3, per il semplice motivo che, elevandolo al quadrato, si ottiene un R-quadro di 0,1, ovvero la nostra variabile "spiega" il 10% del fenomeno. In questo caso quindi la relazione esiste soltanto nel Regno Unito, e mostra che questo curioso indice (in cui e' compresa anche una variabile sospetta) spiega il 57% (0,76 * 0,76) delle differenze nell'indice di Shanghai. Nell'intero campione l'indice "spiega" appena l'8% (0,29 * 0,29), in tutti i paesi eccetto UK appena l'1% (cioe' assolutamente nulla, visti i margini di errore).

    Traete le vostre conclusioni ;-)

    L.

    RispondiElimina