Colao e la supercazzola della VQR

Giuseppe De Nicolao

Per qualche ragione misteriosa chi in Italia si sente titolato a prescrivere ricette sulle riforme dell’Università è solito imbastire discorsi corredati di numeri e citazioni che impressionano il lettore distratto o sprovveduto, ma che, una volta dissezionati, rivaleggiano con la famosa supercazzola prematurata. L’ultimo episodio di una lunga serie è lo “Spunto di riflessione” riportato nel Rapporto redatto dal Comitato di esperti in materia economica e sociale, presieduto dal top manager Vittorio Colao. Si intitola “Una differenziazione smart per il sistema universitario” che, tradotto in parole povere, significa “Università di serie a e serie B”. Perché bisogna differenziarsi? Ce lo chiede la VQR: nell’Area economica c’è solo un misero 6% di ricercatori eccellenti che, per di più, sono dispersi in tutta Italia. ”Un’analoga frammentazione della migliore ricerca è stata rilevata nelle Vqr successive ed è propria di quasi tutte le aree scientifiche” ci garantisce la task force. Abbiamo controllato e abbiamo scoperto che era solo una “Tarapìa tapiòco”. Nelle altre aree ci sono percentuali di eccellenti fino a 5 volte maggiori e in molti atenei più del 50% dei ricercatori sono “eccellenti”, qualsiasi cosa possa voler dire. Come non bastasse, il vero dato dell’area economica era 9% e non 6%. Per quanto riguarda l’Università, il rapporto della task force di Colao assomiglia un po’ troppo a quei rapporti che ti rifilano a caro prezzo alcune quotate società di consulenza: storielle per gli ingenui, confezionate per puntellare scelte decise a priori (la differenziazione tra università di serie A e serie B, tanto per cambiare). In tutto ciò, che ruolo hanno i numeri? Beh, fungono da guarnizione. Come la panna montata spray.

L’indimenticato Conte Mascetti di Amici miei, per non pagare una multa, stordiva il vigile sciorinando una cantilena senza senso: «Tarapìa tapiòco! Prematurata la supercazzola, o scherziamo». Per qualche ragione misteriosa chi in Italia si sente titolato a prescrivere ricette sulle riforme dell’Università è solito imbastire discorsi corredati di numeri e citazioni che impressionano il lettore distratto o sprovveduto, ma che, una volta dissezionati, rivaleggiano con la famosa supercazzola prematurata.

L’ultimo episodio di una lunga serie è lo “Spunto di riflessione” (sic) riportato a pagina 38 del Rapporto Iniziative per il rilancio “Italia 2020-2022”, redatto dal Comitato di esperti in materia economica e sociale, presieduto dal top manager Vittorio Colao. Ecco il primo paragrafo.

Spunto di riflessione – Una differenziazione smart per il sistema universitario

La qualità scientifica in Italia non è concentrata in pochi atenei eccellenti, ma è relativamente diffusa. Prendiamo l’esempio dell’area economica: nel primo esercizio di valutazione della qualità della ricerca (Vqr) i ricercatori che hanno presentato lavori valutati tutti come ‘eccellenti’ erano solo 296 (poco più del 6% del totale), ma distribuiti in ben 59 atenei e 93 diversi dipartimenti. Un’analoga frammentazione della migliore ricerca è stata rilevata nelle Vqr successive ed è propria di quasi tutte le aree scientifiche. Si tratta dunque di un dato che contraddistingue stabilmente il sistema universitario italiano rispetto alla maggior parte dei sistemi universitari più avanzati. Questa dispersione dei migliori ricercatori fra le varie sedi ci aiuta a spiegare un apparente paradosso. Da un lato, nonostante il cronico sotto-investimento in ricerca e il bassissimo numero di ricercatori occupati, la qualità complessiva della produzione scientifica risulta molto elevata in Italia in termini comparati e in netto aumento negli ultimi 15 anni. Dall’altro, le università italiane risultano pressoché assenti fra le top 100 in tutti i ranking internazionali basati su produttività e impatto della ricerca, mentre sono molto numerose fra le top 500. Una spiegazione di questo paradosso sta appunto nell’elevata dispersione dei migliori ricercatori italiani fra atenei diversi, che fa sì che molti atenei siano di buona qualità, ma (quasi) nessuno eccellente.

Un’argomentazione scritta con autorevolezza e fondata sui numeri, come insegna lo stile McKinsey, azienda da cui è transitato Colao. In sintesi:

• solo il 6% di ricercatori “eccellenti”;
• viene citata solo l’area economica e, per di più, prestazioni vecchie di un decennio (VQR 2004-2010), ma state tranquilli: “Un’analoga frammentazione della migliore ricerca è stata rilevata nelle Vqr successive ed è propria di quasi tutte le aree scientifiche“;
• dato che i pochi “eccellenti” sono dispersi in tante sedi, nessun ateneo raggiunge la massa critica per entrare nell’Olimpo delle top 100 nei ranking internazionali.

Chi ha un minimo di pratica con i dati della VQR, sente però ronzare nelle orecchie “Tarapìa tapiòco!” E anche: “come fosse Antani!“.

“È propria di quasi tutte le aree scientifiche” ci rassicurano i cervelloni della task force. Bene, verifichiamo come stavano le Scienze Fisiche in quanto a ricercatori eccellenti.  I dati che ci servono sono nella Tabella 2.17a del Rapporto VQR di Area 2:

• il 35% dei ricercatori (736 su 2.113) hanno ottenuto il punteggio massimo;
• un altro 32% ha ottenuto punteggio “quasi massimo” (2 giudizi eccellenti e 1 buono su tre prodotti, pari al 93% del punteggio massimo);
• nessuno dei 50 atenei è privo di “eccellenti”, ma il loro numero varia da 1 a 54 (Roma Sapienza). Padova gli eccellenti sono 49 su 102 ricercatori, ovvero quasi il 50%;
• per quanto riguarda la massa critica, in 8 atenei la percentuale di eccellenti supera il 50%.

È vero nell’area della Fisica le cose vanno diversamente, ma una rondine non fa primavera, obietterà qualcuno. Gli esperti hanno precisato che la mancanza di massa critica di eccellenza era propria di “quasi tutte le aree scientifiche”. Prendiamo allora l’Ingegneria Industriale e dell’Informazione, Tabella 4.16 del Rapporto VQR di Area 9:

• il 34% dei ricercatori (1.661 su 4.822) hanno ottenuto il punteggio massimo;
• un altro 26% dei ricercatori ha ottenuto punteggio “quasi massimo”, pari al 93% del punteggio massimo;
• il numero di “eccellenti” per singolo ateneo varia da 0 a 250 (Milano Politecnico);
• in 11 atenei la percentuale di eccellenti supera il 50%: Trento, Ferrara, Torino, Catanzaro, Roma Foro Italico, Urbino, Bolzano, Pisa Sant’Anna, Enna, Roma Biomedico, Napoli Parthenope.

Nella maggior parte delle aree l’Anvur non aveva fornito le statistiche dei voti individuali, ma per farci un’idea di quanto l’eccellenza sia rara, dispersa e carente di massa critica, bastano le seguenti percentuali di prodotti eccellenti (Tabella 6.2 di Tabelle Parte Prima):

• Scienze Matematiche e informatiche: 40%
• Scienze Chimiche: 55%
• Scienze Biologiche: 39%
• Scienze Veterinaria: 41%
• Ingegneria Civile: 41%

A questo punto, facciamo un esperimento. Riprendiamo il paragrafo dello “spunto di riflessione” e vediamo come suona se sostituiamo i dati dell’area economica con quelli dell’Ingegneria industriale e dell’informazione.

Spunto di riflessione – Una differenziazione smart per il sistema universitario
La qualità scientifica in Italia non è concentrata in pochi atenei eccellenti, ma è relativamente diffusa. Prendiamo l’esempio dell’area dell’ingegneria industriale e dell’informazione: nel primo esercizio di valutazione della qualità della ricerca (Vqr) i ricercatori che hanno presentato lavori valutati tutti come ‘eccellenti’ erano solo 1.661 (poco più del 34% del totale), ma distribuiti in ben 58 atenei. […]

Solo 1.661 eccellenti? Solo il 34%? Ci sono ricercatori eccellenti in 58 atenei e dovremmo preoccuparcene? Abbiamo 4 atenei (Milano Politecnico, Padova, Bologna, Torino Politecnico) in ciascuno dei quali ci sono più di 100 ricercatori a punteggio pieno e piagnucoliamo perché non riusciamo a concentrare le eccellenze? Il Conte Mascetti era un dilettante, al confronto.

Se l’esperto che ha partorito questo “Spunto” credesse veramente ai responsi della VQR, dovrebbe piuttosto concludere che, mentre in diverse aree le concentrazioni di eccellenti ci sono e sono anche parecchie, ci sono aree che scontano dei ritardi. Tra queste vi è l’area economica, una sacca di sottosviluppo nel panorama dell’accademia italiana. Dato che i numeri del Rapporto sono stati presi pari pari dalle pagine 31-32 del  Rapporto VQR 2004-2010 dell’area economica, è lecito sospettare che l’esperto fosse proprio un economista. Curiosamente, ha anche ritoccato verso il basso la percentuale dei ricercatori che hanno presentato lavori valutati tutti come ‘eccellenti’ (9,6%), sostituendola con quella dei valutati con 3 valutazioni eccellenti (6,4%). Perché negare la medaglia di eccellente ai giovani che, essendo tenuti a presentare meno di tre lavori, avevano comunque ottenuto l’en plein? La battuta sarebbe fin troppo facile: l’area economica è talmente scientificamente depressa da annoverare come “esperto” chi ha persino scordato quel minimo rigore scientifico che ti fa controllare i numeri (e magari riportarli fedelmente), prima di dare per scontato che la propria desolante situazione sia rappresentativa delle altre aree. Ma, a differenza del Rapporto Colao, preferiamo tenerci lontani dalle analisi sociologiche un tanto al cento.

In base ai numeri, le ricette avrebbero dovuto essere ben diverse. È evidente che gli italiani sono un popolo di fisici, di ingegneri (e di matematici, di chimici, etc), ma non di economisti. Inutile che l’Italia butti soldi in un secchio bucato, meglio concentrare i finanziamenti nelle aree in cui eccelliamo davvero e  riorientare gli studi economici verso corsi professionalizzanti, capaci di fornire, senza fronzoli inutili, le competenze basilari richieste dal mondo del lavoro. Alla luce di quel misero 6%, mettiamo in pratica la differenziazione smart e lasciamo la scienza economica a quelle nazioni in cui l’eccellenza economica può raggiungere masse critiche che non fanno per noi.

Vista la sua credulità nella VQR, questo avrebbe dovuto concludere l’esperto della task force, se solo avesse controllato cosa dicevano davvero i numeri. Ma si sarebbe ugualmente sbagliato. Chi crede nella VQR difficilmente la conosce a fondo. Infatti, la sua fede subirebbe un duro colpo se scoprisse che, in base alla VQR, Unicusano e Messina superano i Politecnici di Milano e Torino per qualità della ricerca.

Una delle conseguenze dell’avvento dell’Anvur e delle sue valutazioni pseudoscientifiche è aver messo in circolazione dei fondi di caffè che vengono pensosamente interpretati dagli esperti di turno, chiamati al capezzale di un malato che, invece, avrebbe un gran bisogno di levarsi di torno i venditori di elisir miracolosi (e scaduti, visto che gli ingredienti sono quelli di 10 e più anni fa).

Di fondi di caffè ce ne sono già a sufficienza in circolazione, anche senza l’Anvur. Basta pensare alle classifiche internazionali degli atenei, il cui unico merito è quello di essere una cartina di tornasole quasi infallibile: se incroci qualcuno che porta le classifiche a sostegno dei suoi ragionamenti, puoi star sicuro che di istruzione superiore ha studiato e capito ben poco. Infatti, solo chi non le conosce e non sa come funzionano può dar credito a quelle classifiche e usarle a supporto delle proprie tesi senza provare imbarazzo. Difficile dare troppo credito alla scientificità dei World University Rankings di Times Higher Education se sai che l’Università di Assuan (Egitto) con i suoi 100 punti su 100 (a pari merito con altri 6 atenei), è la prima università mondiale per impatto scientifico (misurato dall’indicatore Citations). Gli egiziani superano di diverse posizioni Stanford (posizione 8-9, a pari merito con la Anglia Ruskin University), Massachusetts Institute of Technology (posizione 14-15, a pari merito con la Nova Southeastern University)  e Harvard (18-19, a pari merito con la cilena University of Desarrollo).

Le più note classifiche internazionali sono costruite in modo da premiare con le prime posizioni nella classifica generale gli atenei con bilanci miliardari e, da un certo punto in poi, sono troppo influenzate dal rumore statistico e dall’arbitrarietà degli algoritmi di standardizzazione. Sono pertanto inutilizzabili per qualsiasi valutazione delle prestazioni scientifiche e didattiche e, a maggior ragione, delle loro variazioni nel tempo. Nel 2019, Roma Sapienza è tornata la prima delle università italiane nella classifica ARWU, grazie alle affiliazioni di due scienziati Highly cited: un ex-docente ultraottantenne che negli articoli si firma come affiliato a diversi enti (Helmholtz Institute Ulm, IIT, … ), tutti diversi da Roma Sapienza, e un professore che invece era di Ferrara. Il rettore aveva commentato il “balzo in avanti” con queste parole: «Questo risultato giunge grazie all’impegno di tutti ed è frutto di investimenti della Sapienza per quanto possibile crescenti».  Secondo Paolo Fox, il 2020 sarebbe stato “un anno di crescita, vantaggioso per viaggi e spostamenti”;”tra gennaio e maggio avete una bellissima situazione”, aggiungeva. Se c’è chi crede agli oroscopi, perché non dovrebbe esserci anche chi crede nei ranking degli atenei?

Il vero problema è che ci creda anche chi dovrebbe avere per mestiere una mentalità scientifica. Beata l’ingenuità di chi si spiega l’assenza degli atenei italiani nelle “top 100” con la storiella della dispersione:

le università italiane risultano pressoché assenti fra le top 100 in tutti i ranking internazionali basati su produttività e impatto della ricerca, mentre sono molto numerose fra le top 500. Una spiegazione di questo paradosso sta appunto nell’elevata dispersione dei migliori ricercatori italiani

Ma è davvero così? Proviamo a rispondere guardando i numeri.

La figura mostra il punteggio PUB (pubblicazioni) estratto dagli indicatori della classifica ARWU per 20 “national champions” (rosso), ovvero le prime università delle rispettive nazioni e per gli atenei italiani censiti dalla classifica (blu). Il punteggio PUB mostra una chiara correlazione con i costi operativi: chi dispone di più risorse pubblica di più e scala la classifica. Si vede anche che con i fondi a loro disposizione gli atenei italiani ottengono ottimi risultati.

Per quanto riguarda l’Università, il rapporto della task force di Colao assomiglia un po’ troppo a quei rapporti che ti rifilano a caro prezzo alcune quotate società di consulenza: storielle per gli ingenui, confezionate per puntellare scelte decise a priori (la differenziazione tra università di serie A e serie B, tanto per cambiare). In tutto ciò, che ruolo hanno i numeri? Beh, fungono da guarnizione. Come la panna montata spray.