Confronto tra FLC CGIL e ANVUR sulla valutazione di sistema

Si è svolto il giorno 7 febbraio un incontro tra la FLC CGIL e l'ANVUR rappresentata dal presidente Prof. Stefano Fantoni, dal cordinatore della Valutazione della Qualità della Ricerca (VQR), Sergio Benedetto, e dai componenti del consiglio direttivo Andrea Bonaccorsi e Luisa Ribolzi. Per la FLC CGIL erano presenti Alessandro Arienzo coordinatore del Forum Docenti Universitari FLC, Laura Beranzoli componente  esecutivo FLC dell' INGV,  Gabriele Giannini responsabile della struttura di comparto degli enti di ricerca, Rosa Ruscitti coordinatrice della FLC al CNR, Francesco Sinopoli segretario nazionale FLC CGIL, Sergio Zilli componente del CUN e della segreteria regionale FLC CGIL Friuli Venezia Giulia.

I componenti della delegazione ANVUR avevano ben chiare le nostre posizioni e si sono dimostrati subito interessati ad un confronto schietto sulle diverse problematiche da noi evidenziate.

• La discussione, molto approfondita, ha quindi toccato i seguenti argomenti: valutazione delle strutture e VQR,
• applicazione d.lgs 150 ‘Brunetta’  accreditamento  ( mera introduzione delle problematiche).

Sia il Prof. Fantoni che gli altri hanno confermato che l'Agenzia intende rendere sempre disponibili i propri pareri e documenti, come fatto in passato, per raccogliere proposte di modifica in un dialogo con le aree disciplinari e con le associazioni scientifiche. Ritiene che l'attività fino ad oggi si sia svolta nella massima trasparenza.

E' stato evidenziato il carattere sperimentale, ma urgente, dell’avvio di questo percorso di valutazione che si intende svolgere con cadenza quadriennale. Ammettono che il tempo utile per costruire il modello è stato troppo breve (sia in termini assoluti che in relazione a quanto accaduto in altri paesi europei) ma non ritengono opportuno, visto l’impegno al rispetto dei tempi da loro assunto con il MIUR,  rallentare il percorso della valutazione avendo come obiettivo quello di offrire elementi per la ripartizione premiale delle risorse già dal 2013 su dati aggiornati. Rispetto all'intreccio tra legge Brunetta e attività di valutazione dell'Agenzia ci è stato comunicato l’avvio di un tavolo di confronto ANVUR, Crui, Civit.

Sulla VQR in particolare, i componenti della delegazione ANVUR affermano:

la centralità e la piena autonomia/responsabilità dei Gruppi di Esperti della Valutazione  (GEV), le cui scelte saranno sempre rese pubbliche e fondate su linee guida chiare e trasparenti ma devono operare in piena autonomia;

• che la VQR sarà esclusivamente utilizzata per la valutazione delle strutture; i risultati della valutazione saranno riservati e indisponibili per altri tipi di valutazione;
• che le procedure implementate e i dati raccolti potranno invece essere utilizzati nel quadro delle più generali politiche di valutazione di sistema;
• che il processo attivato è di  carattere innovativo e sperimentale , evidenziando la necessità di un monitoraggio costante del processo e di una auto-valutazione dell’esperienza finalizzata a consolidare le procedure di valutazione della ricerca negli anni a venire;
• che, particolarmente per le aree 10 e 14, il processo di ricognizione delle case editrici (non è previsto, né ritenuto opportuno alcun ranking di editori e collane), nonché di mappatura e ranking delle riviste potrà essere la base per una futura definizione di liste dal carattere progressivo, aperto, ciclico e finalizzate a rafforzare il riconoscimento sul piano internazionale dei contenitori italiani. Il processo vedrà direttamente coinvolte le case editrici e le riviste;
• che  che lo spostamento dal 31 gennaio al 29 febbraio della pubblicizzazione dei criteri e parametri utilizzati nella valutazione dei prodotti è dovuto ad una revisione delle procedure prefissate
• che è in gestazione un articolato documento con linee guida sulla valutazione nelle scienze sociali e umanistiche attraverso strumenti bibliometrici;
• che il ricorso a indici di natura bibliometrica è sempre connesso ad una valutazione tra pari dei prodotti.

In relazione a temi di stretta attinenza con la valutazione degli enti di ricerca, l'ANVUR ha sostenuto che:

• la scarsa presenza del personale degli Epr nei GEV è dipesa dal fatto che ci sono state pochissime candidature da parte di ricercatori degli enti;
• la misurazione dell'output degli enti è cosa complessa ma nel bando è prevista una sufficiente elasticità per misurarlo;
• verrà comunque avviato un tavolo di confronto con i presidenti degli enti.

Come delegazione FLC abbiamo osservato che:

con la pubblicazione il 29 febbraio delle linee guida per la valutazione dei prodotti di ricerca per quanti sforzi la struttura ANVUR possa fare, la procedura VQR procederà secondo i modi e i tempi individuati e le osservazioni e i pareri raccolti non potranno modificare il percorso. Le eventuali verifiche sullo strumento potranno avere effetti nel futuro in altre valutazioni, ma non nella procedura vqr che a quel momento sarà chiusa.

Abbiamo quindi ribadito e sottolineato come, in particolare negli enti di ricerca, la discussione sulla VQR è partita in ritardo e con molte incertezze; è quindi necessario intervenire con determinazione per evitare penalizzazioni di queste strutture che non possono essere valutate solo sulla base di indicatori bibliometrici. L'attività di costruzione di prototipi, il trasferimento tecnologico, la costruzione e il mantenimento di infrastrutture  che fanno di alcuni enti ‘centri di competenza’ per le istituzioni (Ministeri, protezione Civile, Regioni), reti per l'innovazione con gli enti locali sul territorio, l’attività di rilevazione – solo per fare qualche esempio-   sono in alcuni casi il 30% - 40% del lavoro di questi enti. E' indispensabile introdurre dei correttivi al bando anche se la responsabilità di non aver avanzato proposte precise dovesse essere individuata nello scarso protagonismo di alcune amministrazioni.

Altro problema rilevante è quello degli articoli con molti coautori che è strutturale del lavoro in moltissime discipline e riguarda gli enti in particolare che basano la loro organizzazione del lavoro sulla cooperazione di differenti figure professionali che tutte insieme concorrono al raggiungimento degli obiettivi di ricerca. Leffetto di questo tipo di valutazione su prodotti unici rischia di diventare un disincentivo alla cooperazione. Diventa quindi urgente il tavolo di confronto con il presidenti ma soprattutto un maggiore approfondimento della conoscenza del lavoro che si svolge in queste strutture. E’ necessario integrare i GEV per tener conto di queste differenti realtà.

In termini più generali abbiamo richiamato alla massima pubblicità e chiarezza nelle procedure attraverso cui i GEV dovranno individuare i panel dei revisori e delle linee guida per la valutazione dei prodotti. Abbiamo anche richiamato l'ANVUR, in considerazione della novità del processo e dei timori e resistenze che questo suscita, a rafforzare il lavoro di informazione, dialogo e confronto con le comunità di ricerca non solo attraverso un rapporto con la Crui o con le dirigenze degli enti. Tutto ciò conferma le critiche da noi sollevate ad un modello di valutazione che non è stato in grado di tenere conto delle specificità tipiche degli enti di ricerca. Sotto questo profilo emblematico è il caso del CNR dove la stessa ANVUR ha trovato difficoltà di interlocuzione negli stessi livelli di vertice per il VQR. Ciò anche a causa dell’assenza di un interlocutore in grado di parlare a nome degli EPR, come è per l’università la CRUI, o di solo quelli vigilati dal MIUR ai quali si rivolge ora il VQR. Infatti l’altro limite evidenziato è che il sistema dovrebbe rivolgersi a tutti gli epr, compresi quelli cui sono vigilanti altri ministeri.

Sulle politiche della valutazione più in generale i componenti della delegazione ANVUR affermano che:

• verranno avviati processi di valutazione diversi su didattica, ricerca, governance degli atenei e definire modalità di coordinamento e integrazione tra questi per arrivare ad offrire una analisi e una valutazione di sistema
• In relazione ai prossimi regolamenti che gli atenei dovranno definire per le  chiamate nonché per la valutazione premiale dei docenti e l’attribuzione degli scatti si vogliono definire percorsi di coordinamento nelle attività di valutazione degli atenei favorendo l’adesione ad un unico modello di riferimento che le strutture possono arricchire con elementi ualificanti propri
• Nel quadro delle definizione delle linee guida per l’accreditamento, l’ANVUR ribadisce l’opportunità di ranking di strutture come dipartimenti, corsi di laurea, atenei al solo fine informativo e analitico
• L’ANVUR ha sottolineato l’importanza delle procedure di accreditamento a garanzia di livello minimi di qualità

Su questi aspetti come delegazione FLC abbiamo sottolineato l’importanza dell’agenzia, del suo sforzo e della sua piena autonomia in particolare dal Miur. Proprio a garanzia di un ruolo di piena autonomia e terzietà, l'ANVUR non può essere “il braccio operativo del Miur”, né può sostituirsi a questo nelle policy come emerge in alcune prese di posizione dei suoi componenti o nelle stesse competenze che vengono attribuite all’Agenzia. Come sono stati richiamati i rischi che la valutazione, per quanto l’ANVUR potrà cercare di evitare, possa essere lo strumento utilizzato da altri per determinare l’odiata classifica delle performance individuali dei ricercatori e tecnologi degli epr, prevista dal dlgs 150/09. Valutazione che nulla ha che fare con lo specifico mondo della ricerca, inattuabile per la sua visione impiegatizia, gerarchica e punitiva, che tanto è stata avversata dalle comunità scientifiche, oltre che dalle rappresentanze sindacali.

Abbiamo sottolineato la necessità di interpretare in maniera rigorosa il mandato dell'Agenzia nel pieno dialogo con la comunità scientifica sulla base della convinzione che per l’Italia il processo di valutazione avviato è certamente opportuno ma è nuovo e richiede consenso e condivisione per essere attuato al meglio. 

In tal senso, gli interlocutori dell'ANVUR sono sparsi (società scientifiche, enti di ricerca, associazioni, sindacato) e l’unico ente con cui l’ANVUR esplicitamente procede nel confronto è la Conferenza dei Rettori. Ad oggi non vi è stato alcun rapporto, se non formale, con il Cun che non è mai stato citato tra gli interlocutori.  Se è vero che l’interlocuzione con il sistema universitario e della ricerca deve evitare il sorgere di conflitti di interesse e di opacità di rapporti tra valutatori e valutati, è allora necessario garantire la massima chiarezza e trasparenza, ex ante, delle procedure, dei processi, dei risultati.

Abbiamo rimarcato come la procedura VQR si impone, nei fatti, come la base per costruire l’intero sistema di valutazione futuro, e  la scelta, annunciata nel corso dell’incontro, di voler mantenere i 14 responsabili del GEV come collaboratori diretti dell’Anvur anche per le procedure successive in ragione della esperienza acquisita, a prescindere dal lavoro da loro svolto, appare una forzatura anticipata.

La gerarchia delle riviste rischia di venire in qualche misura cristallizzata, soprattutto se si pensa di proprorre a ISI Thompson e Scopus/Elsevier l’acquisizione nelle rispettive banche dati di tutti i periodici delle aree socio umanistiche non già presenti ritenuti eccellenti. Le eventuali modifiche successive, quindi, avranno a che fare non soltanto con l’Agenzia, ma con società private di diffusione di banche bibliometriche. Quindi il lavoro di classificazione richiede, a maggior ragione, la massima attenzione e tutto il tempo necessario affinché sia realizzato al meglio.

Abbiamo sottolineato come la valutazione dei prodotti non dica nulla sulle condizioni nelle quali questi prodotti sono stati costruiti: dotazioni strutturali, di organici, di finanziamenti. Riteniamo che nell’implementare delle serie politiche di valutazione si debbano individuare non solo i risultati dell’attività di ricerca, ma anche collocarli nel complessivo quadro di sottofinanziamento e depauperamento del sistema che, peraltro, incide in maniera diversificata in alcuni atenei ed enti piuttosto che in altri.

Abbiamo, pertanto, chiesto all’ANVUR di sollevare il problema del sottofinanziamento del sistema al MIUR quale elemento non neutro per una seria analisi della produzione scientifica delle strutture e di valutazione di sistema.

A tal fine abbiamo ribadito che la scarsità di risorse non può essere assunta come scontata né può costituire uno strumento “punitivo” delle strutture in difficoltà. Il processo di distribuzione “premiale” delle ricorse finirà, altrimenti, per alimentare e sostenere le differenze di partenza piuttosto che intervenire a sanarle, alla lunga non garantendo la tenuta del sistema nel suo complesso.

In conclusione come FLC, pur apprezzando la disponibilità a discutere senza riserve da parte dei componenti della delegazione ANVUR e rimanendo in attesa di conoscere i criteri, conserviamo molte delle nostre perplessità. In particolare riteniamo che un processo di questa portata, se davvero si ritiene sperimentale, non possa produrre come risultato la ripartizione delle risorse messe a disposizione già nel fondo ordinario 2013 anche considerando l'attuale prevedibile sua entità.

La stessa definizione dei parametri bibliometrici richiede grandissima cautela e la pressione per introdurne l’uso in quelle aree che ne sono soltanto parzialmente dotate appare una forzatura non adeguatamente giustificata dall’esigenza di disporre di uno strumento”meccanico” di conteggio di citazioni.

.Il tempo a disposizione è, quindi, davvero  troppo breve.  Inoltre riteniamo che la finalità della valutazione debba essere quella di incentivare il miglioramento dei sistemi e non di produrre classifiche tra le strutture, anche per questo sarebbe stato meglio attuare un preliminare lavoro di promozione utile a favorire il massimo coinvolgimento delle comunità scientifiche interessate e creare le condizioni perché queste ultime possano interloquire veramente con l’Agenzia dopo la diffusione dei criteri che verranno usati.

Soprattutto è impensabile ripartire risorse con questa modalità senza aggiungerne di nuove. Non ci convince l'idea che il disporre di un qualche strumento di valutazione in tempi rapidi venga riconosciuto come vantaggio maggiore rispetto alla presenza di inevitabili difetti, “a prescindere” dalla loro dimensione o da potenziali effetti di distorsione di lunga durata. E' indicativo che il ritardo nella diffusione dei criteri di valutazione VQR dal 31 gennaio al 29 febbraio derivi proprio dalla volontà di recuperare deficienze evidenziatesi in fase di prima attuazione.

Appare in sostanza chiaro che il VQR rappresenti nelle intenzioni dell'ANVUR un primo passo per l’introduzione di un sistema di controllo sull’intero sistema universitario, che nei prossimi anni si allargherà a tutte le sue parti, enti di ricerca compresi. L’assenza di direttive politiche esplicite da parte governativa attribuisce un mandato troppo ampio all’agenzia che questa intende esercitare appieno e nella massima autonomia. In tal senso VQR costituisce un’operazione che va ben al di là della valutazione di pubblicazioni effettuate tra il 2004 e il 2010 (ovvero di ricerche svolte tra i dieci/dodici ai cinque/tre anni fa) e che piuttosto mira a trasformare significativamente il lavoro del personale della ricerca e della università secondo criteri che l’ANVUR ritiene come propri.

Ribadiamo anche alla luce di questo incontro l'opportunità di sospendere temporaneamente la VQR con l'obiettivo di introdurre le modifiche necessarie e di consentire l'avvio di una autentica sperimentazione. Inoltre riteniamo indispensabile l'aperura di un serio dibattito sulle finalità della valutazione e l'assunzione di una maggiore responsabilità da parte del Miur che deve esplicitare le sue intenzioni in quanto unico soggetto competente sulle policy.