No alla bibliometria per valutare università e ricerca

Lo scorso novembre sono stata invitata a a far parte della commissione per valutare la proposta di "tenure" di una persona che lavora (senza tenure) alla LSE (London School of Economics). Mi sono stati inviati diversi documenti, incluso il CV, l'elenco delle pubblicazioni, la valutazione del Dipartimento, e la "Research Trajectory" (breve documento dove il/la candidato/a presenta il proprio percorso scientifico - molto utile). Sono stata invitata a LEGGERE (ai fini della valutazione) i quattro lavori indicati dal candidato. Per fornire la mia valutazione (che doveva essere articolata in diversi punti - tipo referaggio), ho dovuto leggere con molta attenzione una parte della produzione scientifica. Con il sistema esistente oggi in Italia, nessuno legge nulla. Ci si limita a classificare e contare.

questa pseudoscienza della valutazione premierà moltissimi gregari che saranno chiamati dai loro capi. Questo porterà a dei disastri che verranno rimediati in tempi lunghissimi a scapito di giovani indipendenti. Si veda che cosa diceva un Premio Nobel: Loose end,Sydney Brenner Current Biology 1995, 5:568. 1568-1568.

Il desiderio di usare criteri meccanici per valutare nasce anche dall'improprio uso di quelli qualitativi. Chi vive in Università sa di sicuro come siano troppi gli esempi di criteri elastici, anzi elasticissimi, grazie ai quali è successo e succede di tutto. Moralizzare i concorsi pubblici a colpi di accetta non è tuttavia una soluzione: anzi! La velocità con cui molti si stanno attrezzando a usare la scure anziché l'elastico è spettacolare, e nel frattempo pochi si sono accorti dei "danni collaterali"- ad esempio l'accettazione di principi perversi come quello delle mediane. Lo dico con la serenità personale di chi sta per andare in pensione come professore ordinario...  ma anche con il dispiacere di chi ha visto maltrattare, grazie al vento dell'impatto, persone più giovani (peraltro già valutate come meritevoli, seppure con altri criteri). L'uso improprio dei criteri quantitativi di produzione ha permesso che a persone così ne venissero preferite altre (un tanto al chilo?) senza tenere conto delle pubblicazioni non impattate, del lavoro didattico e gestionale e, dulcis in fundo, nemmeno del settore disciplinare.

E’ fuor di dubbio che un minimo di qualificata produttività scientifica deve essere un prerequisito essenziale per poter concorrere ad una abilitazione così importante. Tuttavia gli indici bibliometrici adottati destano le perplessità che tutti conosciamo, e la loro adozione “sic et simpliciter” sembra la classica soluzione all’italiana di un problema indubbiamente delicato da risolvere. Nella discussione in atto sulla validità di questi indici bibliometrici voglio fare alcune considerazioni. Prima tra tutte, la considerazione che questi indici non rendono conto di aspetti critici del rapporto tra autore e lavoro. Non è possibile capire dagli indici adottati quanto un autore abbia pesato nel lavoro stesso. Spesso i lavori sono firmati da una pletora di nomi ed è frequente, soprattutto in certi settori, l’inserimento e lo scambio di nomi in tutti i lavori prodotti. E spesso la natura di questi lavori non è nemmeno multidisciplinare, cosa che forse potrebbe giustificare l’alto numero di coautori. Possiamo trovarci di fronte a gruppi che tradizionalmente o forzatamente inseriscono tra gli autori il “capo”, o presunto tale, della struttura in cui operano. Vi sono gruppi che hanno così prodotto quasi un lavoro ogni tre giorni negli ultimi anni. Poi c'è l'aspetto dei tuttologi, cioè di coloro che si occupano delle cose più svariate e che forse in sostanza non si sono occupati di nulla in concreto, tuttologi che con questi meccanismi verrebbero però premiati.
Gli indici adottati sfavoriscono il personale universitario e favoriscono certamente chi proviene dagli enti di ricerca, che, non dovendo impiegare il proprio tempo in lezioni, esami, consegna di verbali, consigli di facoltà, dipartimenti, scuole di specializzazione etc, si è potuto dedicare esclusivamente alla ricerca.
Ma chi ha voluto questi parametri dimostra in realtà di non conoscere cosa sta accadendo nell’editoria scientifica internazionale. Le Riviste sono ormai in crisi perché in pochi se ne possono permettere l’abbonamento, ed ecco che compaiono le riviste free access, a pagamento però. Se vuoi pubblicare un articolo cioè, devi pagare. Il numero di citazioni: qui viene il bello. Bisogna fare molta attenzione. Esiste in letteratura un cartello delle citazioni, orchestrato anche da certi Editori, con l’obiettivo di far lievitare il “prestigio” delle proprie riviste quantificato nel famigerato Impact Factor. Una rivista ha un Impact Factor elevato in base al numero di citazioni che gli articoli pubblicati in quella data rivista collezionano in letteratura. Ora è bene sottolineare che un lavoro pubblicato in una rivista ad alto fattore di impatto può non significare nulla perché il fattore di impatto riguarda la rivista e non il singolo lavoro. Per aumentare il fattore di impatto basta far aumentare le citazioni della rivista. Per questo scopo sono disponibili riviste che iniziano a proliferare sul web, spesso edite da editori asiatici, per pubblicare sulle quali basta pagare qualche migliaio di euro o di dollari per articolo. Alcune di queste riviste sono entrate nell’Olimpo delle riviste con fattore d’impatto; e il gioco è fatto. Difficilmente l’editore di tali riviste rigetta un lavoro, anche contro il parere di referee eventualmente consultati, ed il motivo è semplice: perché perderebbe l’incasso che gli deriva dagli articoli da pubblicare. Per fare un esempio di quanto si verifica si può citare il caso della rivista Cell Trasplantation, che ha utilizzato, tramite ricercatori del suo Editorial Board, una di queste riviste on line, il World Scientific Journal, per farvi apparire articoli che in bibliografia riportavano quasi esclusivamente lavori apparsi su Cell Trasplantation. (http://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/
D’altra parte case editrici prestigiose, comprese quelle di Nature e Science si sono attrezzate con qualche rivista “ombra” on line, e si cominciano ad offrire a pagamento anche gadget legati alla pubblicazione del lavoro (copertine incorniciate ad es.). Bastano una cinquantina di citazioni in più per far innalzare sensibilmente il fattore di impatto di una rivista. Di fronte a questi comportamenti entrambe le riviste sono state sospese dalla Thompson Reuters dall’inserimento nel Journal Citation Report (JCR), e la stessa Thompson Reuters sta verificando la possibile esistenza di altri di questi casi.
Allora, anche il numero di citazioni può essere un indice bibliometrico taroccabile, che può non rispecchiare l’effettivo impatto scientifico di un lavoro.
Ecco perché le Commissioni che dovranno attribuire l’idoneità scientifica avranno un ruolo delicato e difficile, dovendo prestare molta attenzione nell’assicurare quella accurata valutazione dell’attività scientifica che una mera graduatoria basata sul “chi ne ha di più ne metta” non può garantire.
Prof. Eugenio Scarnati, Università dell'Aquila