Il 23 aprile 2021 si conclude la fase di raccolta del materiale scientifico che servirà per realizzare la Valutazione della Qualità della Ricerca (VQR) relativa al periodo 2015-2019, gestita dall’ANVUR (Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca). Le università e gli istituti di ricerca, in questi mesi, hanno probabilmente guardato con ansia a questa scadenza: presentarsi a questo appuntamento nei propri abiti migliori è infatti essenziale, poiché dall’esito della VQR dipende – oltre alla reputazione dell’ateneo o dell’ente di ricerca – l’assegnazione di una parte consistente dei fondi statali per la ricerca (sulla base dei risultati della VQR viene assegnata la quota premiale del Fondo di Finanziamento Ordinario). Gli stanziamenti per la ricerca sono – com’è noto – un bene scarso nel nostro Paese, dato che, stando ai dati più recenti (relativi al 2018) gli investimenti pubblici dell’Italia in Ricerca e Sviluppo sono pari a circa lo 0,5% del PIL nazionale. Un dato nettamente inferiore a quello di alcuni nostri vicini europei: la Francia investe lo 0,75% del PIL, la Germania l’1%; secondo quanto riportato nel rapporto annuale dell’OCSE Education at a Glance (2020), in media, nei paesi OCSE, le spese (pubbliche e private) per l’istruzione universitaria ammontano all’1,4% del PIL nazionale.

Il rapporto sulla qualità della ricerca scientifica italiana che verrà pubblicato dall’ANVUR entro giugno 2022 è il terzo dall’introduzione della VQR: finora, infatti, gli esercizi di valutazione portati  a termine hanno riguardato i periodi 2004-2010 e 2011-2014. Come evidenziato nel primo dei rapporti finali redatti dall’ANVUR, questo genere di valutazione ha diversi obiettivi: offre a studenti, famiglie e ricercatori uno strumento per orientarsi nella scelta dei corsi di formazione e nell’individuazione dei migliori luoghi della ricerca; consente agli organi di governo delle strutture censite di definire criticità e possibilità di miglioramento;  crea uno strumento di valutazione interna agli atenei, in base al quale «orientare, nel rispetto della loro autonomia, la redistribuzione interna delle risorse acquisite»; infine, «consente un confronto della qualità della ricerca nazionale in alcune aree con quella dei principali paesi industrializzati».

Un intento nobile, dunque, muove la periodica organizzazione della VQR: l’obiettivo, infatti, è il progressivo miglioramento della qualità della ricerca, basando la valutazione e l’allocazione dei fondi su criteri oggettivi e meritocratici, che tengano in considerazione fattori come l’originalità, il rigore metodologico e l’impatto internazionale del lavoro dei ricercatori italiani.

Foto: Louis Reed/Unsplash

Come funziona la VQR?

Come specificato nel bando rilasciato dall’ANVUR, la Valutazione della Qualità della Ricerca interessa le università e gli enti di ricerca pubblici di tutto il Paese, nonché tutte le realtà private che presentano la propria adesione. Ogni università sottopone alla valutazione i lavori – definiti “prodotti della ricerca” – della propria comunità scientifica: ogni ricercatore può presentare un massimo di quattro lavori, prodotti negli anni d’interesse, che sono inviati all’ANVUR per essere sottoposti a giudizio, rappresentando l’attività di ricerca dell’intero ateneo nelle diverse aree.

Per ognuno dei settori di ricerca (in Italia ne sono individuati 17) viene composto un GEV (Gruppo di Esperti Valutatori), i cui membri sono nominati dal Consiglio direttivo dell’ANVUR estraendo a sorte fra coloro che hanno risposto all’avviso pubblico e che hanno adeguate caratteristiche per effettuare la valutazione.

Uno dei nodi centrali della VQR è il metodo adottato per la valutazione: come si legge nel bando, il metodo seguito dai GEV è una «peer review informata [...] da indizi citazionali internazionali, depurati dalle autocitazioni» (art. 5 c. 1). Al giudizio qualitativo, lasciato alla valutazione dei membri dei Gruppi, esperti nei diversi settori di ricerca, viene cioè affiancata una valutazione basata sull’analisi bibliometrica, che tiene conto dell’H-index (indice di Hirsch) e del Fattore di Impatto (Impact factor, IF), due strumenti utilizzati per valutare il numero di citazioni ricevute da un lavoro scientifico. La peer-review segue precisi criteri, anch’essi specificati nel bando: «Il giudizio di qualità si baserà sulla valutazione del prodotto tenendo conto della sua originalità, del rigore metodologico e dell’impatto nella comunità scientifica internazionale e/o nella società, in base a standard internazionali della ricerca [...]» (art. 5 c. 6).

Conclusa la fase di analisi e valutazione, ad ogni “prodotto della ricerca” viene assegnato un giudizio, che lo colloca in una fra le cinque categorie individuate:

• «Eccellente ed estremamente rilevante: prodotto di eccellenza, estremamente rilevante in termini di originalità, rigore metodologico ed impatto nella comunità scientifica internazionale e/o nella società;
• Eccellente: prodotto di eccellenza in termini di  originalità, rigore metodologico ed impatto nella comunità scientifica internazionale e/o nella società, ma non classificabile come estremamente rilevante;
• Standard: prodotto rispondente agli standard internazionali, ma non classificabile come eccellente;
• Rilevanza sufficiente: prodotto di rilevanza nella comunità nazionale in termini di originalità e rigore;
• Scarsa rilevanza o Non accettabile: prodotto di scarsa rilevanza o non accettabile».

Foto: Davide Cantelli/Unsplash

Peer-review e bibliometria: un metodo davvero universale?

Una delle questioni sollevate fin da subito dalla comunità accademica riguarda proprio i metodi adottati per il giudizio sulla qualità della ricerca: vi sono, ad esempio, molti dubbi sull’opportunità di eseguire la valutazione in base agli indici bibliometrici, che in primo luogo rischiano di offrire una visione parziale della portata scientifica del lavoro in questione, e in secondo luogo possono essere facilmente “aggirati” e dare adito a distorsioni – è il caso delle pratiche di autocitazione o di citazione incrociata, spesso miranti solamente a far aumentare l’H-index degli autori o l’Impact factor delle riviste. Un recente articolo di Nature pone l’attenzione su una delle peggiori conseguenze di questo sistema largamente basato sulle citazioni: la diseguaglianza. Infatti, l’articolo richiama una ricerca comparsa sulla rivista PNAS, che dimostra come l’1% degli scienziati – i più citati – abbiano ricevuto circa un quinto di tutte le citazioni su scala globale, percentuale salita dal 14% nel 2000 al 21% nel 2015.

Nel caso della VQR, l’affiancamento degli indicatori bibliometrici – sicuramente più rapidi e, in quanto basati su calcoli matematici, più oggettivi – alla più tradizionale (e inevitabilmente più soggettiva) peer review condotta da esperti è visto da più parti con una certa diffidenza. Fra le motivazioni di queste riserve vi è proprio la complessità dei sistemi di analisi bibliometrica, che garantiscono sì, in teoria, una maggiore imparzialità, ma che, per via della loro complessità, rischiano di rendere i risultati delle valutazioni, nella pratica, opachi e difficili da interpretare.

Il ricorso al sistema delle citazioni come criterio di valutazione genera, poi, un’ulteriore diseguaglianza, in quanto determina la possibilità – sia per i singoli studiosi, sia in generale per gli atenei e i centri di ricerca – di accedere o meno a fondi e risorse aggiuntivi, contribuendo così a generare un circolo vizioso in cui solo chi può già contare su una buona qualità della ricerca avrà le risorse per continuare a migliorarsi. Un rapporto del 2019 curato dall’OCSE (Supporting Entrepreneurship and Innovation in Higher Education in Italy), che analizza l’innovatività delle università italiane, si concentra proprio su questo punto: «Il sistema premia le prestazioni degli istituti di istruzione terziaria in un dato momento, tenendo conto solo, e in misura limitata, delle tendenze positive. Le disparità tra i vari istituti di istruzione terziaria in termini di dotazioni finanziarie si cristallizzano, e il divario tra le università del Nord e del Sud rischia di diventare sempre più ampio. [...] Al fine di massimizzare il numero di citazioni, i ricercatori possono adottare un atteggiamento avverso al rischio, e preferire continuare a pubblicare in ambiti scientifici più “sicuri” piuttosto che avviare nuove linee di ricerca – magari interdisciplinari – che potrebbero non garantire lo stesso numero di citazioni nel breve periodo».

Peer-review, analisi bibliometrica, inquadramento settoriale, grande attenzione ai “prodotti della ricerca” – e (per ora) minore considerazione per altre attività accademiche, come quelle che rientrano nella definizione della “terza missione” delle università – sono, ad oggi, gli ingredienti principali della VQR. Un sistema con luci e ombre, sulle quali sembra opportuno continuare a riflettere.