Al momento non esiste ancora uno studio attendibile per capire se la peer review sia effettivamente garanzia della qualità e robustezza di un lavoro scientifico. Un team di scienziati italiani ha in mente un nuovo protocollo per capire come migliorare la ricerca
(foto: Getty Images)
Migliorare la ricerca per migliorare la ricerca. Un meccanismo insondabile, come il pensiero del pensiero, che potrebbe andare avanti all’infinito. Eppure da qualche parte bisognerà pur cominciare. L’idea di fare scienza sulla scienza, d’altronde, non è nuova: da tempo, infatti, la comunità scientifica cerca di accumulare evidenze ed elaborare modelli per rendere più efficienti, robusti e sicuri tutti i suoi processi interni, tra cui – ma non solo: la lista potrebbe andare avanti a lungo – buone pratiche di laboratorio, corretta analisi, gestione e condivisione dei dati, rapporti civili tra pari, interazioni sane tra autori e publisher. Uno dei processi più discussi, che riguarda l’ultima fase di una ricerca, ossia la sua pubblicazione sulle riviste scientifiche, è quello della peer review, il sistema al momento più collaudato per verificare l’attendibilità e la correttezza di uno studio. Il meccanismo di funzionamento è piuttosto semplice: ogni articolo inviato a una rivista scientifica (o, più precisamente, alle riviste che prevedono questo tipo di controllo) viene sottoposto al vaglio e alla revisione critica da parte di uno o più scienziati esterni alla ricerca e competenti nel campo. I pari, per l’appunto, che valutano il lavoro, invitando eventualmente gli autori a intervenire sulle criticità individuate, e infine ne sanciscono l’approvazione o la bocciatura.
Il tema della peer review, già da tempo nell’occhio del ciclone della comunità scientifica, è tornato di attualità in tempo di pandemia, un momento di emergenza sanitaria in cui la ricerca deve cercare di correre più velocemente del virus. E in cui quindi bisogna cercare il corretto bilanciamento tra assicurare la correttezza di un lavoro scientifico (tramite la peer review, ma non solo) e dei processi di pubblicazione il più possibile snelli e veloci: come ha recentemente ricordato Andra Meneganzin su L’Espresso, infatti, “le pandemie non aspettano la peer-review: il processo di ‘revisione tra pari’ […] richiede diversi mesi, e non di rado supera l’anno”, e quindi “in presenza di un’emergenza sanitaria, la comunicazione e la collaborazione tra i ricercatori non può permettersi di seguire il business as usual, con gruppi di ricerca che custodiscono per sé importanti dati di rilevanza pubblica in attesa che vengano pubblicati ufficialmente su una rivista ad alto fattore d’impatto, dopo i tempi flemmatici di una revisione tra pari, e nel timore che una condivisione precoce acceleri il lavoro di gruppi concorrenti”.
In passato è già successo, e con esiti incoraggianti: durante le epidemie di Zika (2015-2016) e di ebola (2014-2016), per esempio, i preprint (ossia gli articoli scientifici caricati in rete prima della peer review) hanno accelerato significativamente la disseminazione dei dati e, di riflesso, il progresso della ricerca biomedica, arrivando sulle scrivanie degli scienziati in media 100 giorni prima della loro pubblicazione ufficiale.
Emergenza a parte, comunque, la peer review è un sistema abbastanza sicuro, e di certo al momento il migliore che siamo riusciti a elaborare. Tuttavia, come qualsiasi processo che implica il coinvolgimento degli esseri umani e delle loro imperfezioni, è esso stesso perfettibile e suscettibile di migliorie. Ed eccoci tornati all’inizio: per migliorare il modo di fare ricerca è necessario fare ricerca sulla ricerca. È l’obiettivo che si è posta un’équipe di scienziati dell’università di Milano, in collaborazione con colleghi di altri enti: i ricercatori hanno appena proposto un nuovo protocollo per valutare quantitativamente l’efficienza del processo di peer review e, successivamente, per proporre gli interventi più opportuni sulla base di queste valutazioni. Il tutto è descritto in dettaglio su un commento appena pubblicato su Nature; abbiamo raggiunto Flaminio Squazzoni, sociologo all’Università di Milano, direttore del Behave Lab e primo autore del lavoro, per farci spiegare la loro idea.
Luci e ombre
“Da tempo”, comincia Squazzoni, “la comunità scientifica elabora buone pratiche per garantire che la conoscenza sia il più possibile solida, robusta e condivisa. Uno dei gold standard è la peer review, che ha iniziato a essere applicata in modo sistematico più o meno dal secondo dopoguerra, anche se il termine ha cominciato a essere usato solo negli anni settanta”. Ed è certamente uno standard appropriato: il processo di peer review offre un buon grado di assicurazione sull’accuratezza delle conclusioni di una ricerca, sollevando ogni scienziato dall’obbligo di valutarne personalmente la veridicità.
Attraverso gli sforzi degli editori e degli esperti indipendenti, la peer review effettivamente incrementa la qualità di quello che viene pubblicato; anche per i non scienziati, le pubblicazioni in peer review sono considerate sinonimo di affidabilità e sicurezza. Nulla da eccepire, insomma? Quasi. Perché “come tutte le cose umane, anche la peer review è perfettibile”, continua Squazzoni. “Ce ne siamo resi conto, per esempio, nel 2005, quando Science pubblicò un articolo peer-reviewed sul tema delle cellule staminali che poi si scoprì essere fallato. La vicenda scatenò un’accesa discussione sui processi editoriali: emerse piuttosto chiaramente che nove revisori erano stati condizionati dal fatto che i risultati erano attesi da tempo e quindi, in qualche modo, non potevano essere sbagliati”. E invece.
Ma c’è dell’altro. Se quello del 2005 non fu un caso di malafede, a volte le cose possono prendere una brutta piega anche per altre ragioni: “Il problema del publish or perish [ossia il fatto che un accademico che non pubblica muore, lavorativamente parlando, nda] e dell’ipercompetizione tra gli scienziati”, dice ancora Squazzoni, “può indurre, e ha indotto, pratiche di manipolazione e frode all’interno della comunità scientifica. Pratiche che in passato hanno riguardato anche il processo di peer review, mettendone a rischio la solidità”.
Poca ricerca sulla ricerca
Ad aggravare la situazione c’è il fatto, per nulla scontato, che la peer review è, per sua stessa intrinseca natura, una specie di scatola nera praticamente insondabile: perché sia efficace, infatti, c’è bisogno di un alto grado di confidenzialità.
Per esempio, per essere realmente indipendenti, inattaccabili e incorruttibili, i revisori non dovrebbero conoscere i nomi degli autori, e viceversa. Si tratta di clausole di riservatezza che, se da un lato garantiscono il buon funzionamento dell’intero processo, dall’altro ostacolano la ricerca, perché limitano i dati a disposizione di chi vuole analizzare quantitativamente il meccanismo. “Nonostante ci siano decine di richieste per studiare la questione”, si legge nel paper di Nature, “la ricerca sulla peer review è al momento molto scarsa. Le indagini sono frammentate, poco connesse tra loro e con scarsa condivisione delle conoscenze. Manca del tutto una ricerca sistematica su come gli editori gestiscano questo processo (per esempio: come selezionano, istruiscono e ricompensano i revisori, come gestiscono i conflitti tra i revisori o come ne pubblicano i rapporti), su come definire la qualità e l’utilità delle revisioni e perfino su come valutare la peer review”. Serve una peer review sulla peer review? Lo dicevamo prima: in questi termini, il meccanismo potrebbe somigliare a un nastro attorcigliato su se stesso.
Una nuova infrastruttura
Eppure, Squazzoni e colleghi sono convinti che ci sia un ampio margine di manovra. E tutto anche grazie ai progressi della tecnologia, che oggi – a differenza di pochi anni fa – consentono di raccogliere, aggregare, anonimizzare e infine processare grandi quantità di dati. L’infrastruttura proposta dagli scienziati si basa proprio su questo: “La digitalizzazione di tutti i processi editoriali”, dice Squazzoni, “fa sì che sia a nostra disposizione una mole di dati che, opportunamente trattati, possono fornirci informazioni estremamente importanti e preziose per valutare la peer review”. Non sono solo parole: Squazzoni e colleghi, già nel 2014, hanno avviato il progetto Peere, dedicato per l’appunto allo sviluppo di un’infrastruttura digitale per la valutazione della peer review. Nel 2017 hanno poi pubblicato un protocollo per la condivisione di dati relativi al processo di revisione, che tiene conto sia delle esigenze di editori e autori che di aspetti etico-legali (come quelli relativi alla protezione dei dati e alla privacy).
In particolare, il protocollo prevede che i dati raccolti relativamente a ciascun manoscritto inviato a una rivista scientifica siano anonimizzati e organizzati in quattro categorie: una relativa al manoscritto vero e proprio (che contiene per esempio informazioni sugli autori, stato di approvazione o bocciatura e testo, codificato in modo da essere leggibile solo da un computer), una relativa alla rivista (disciplina, impact factor, numero di articoli ricevuti ogni anno, tasso di bocciature), una relativa al processo di peer review (caratteristiche degli editor, tempo impiegato per il processo, modello di peer review adottato, numero dei revisori, round di revisioni), e una relativa ai rapporti dei revisori.
In un progetto pilota, il sistema è stato testato su 150 riviste (di cui non si conoscono i nomi, dal momento che le informazioni sono anonime; si sa però che tra gli editori figurano nomi blasonatissimi come Elsevier, la Royal Society, Springer Nature e Wiley) per un totale di circa tre milioni di scienziati e sembra funzionare bene: “Il progetto pilota costituisce la base tecnica per un’infrastruttura di condivisione più ampia, che possa facilitare una ricerca sistematica sulla peer review”. Gli ideatori del progetto sperano che un giorno non troppo lontano, se tutto dovesse andare per il verso giusto, l’analisi dei dati così raccolti possa servire anzitutto a definire precisamente delle variabili per misurare la qualità della peer review, e in seconda battuta a utilizzare queste variabili per migliorare il processo, decidendo per esempio qual è il modello che funziona meglio rispetto alla disciplina in esame, o definendo delle linee guida per rendere più civile l’interazione tra autori e revisori, o ancora per isolare i temibili predatory journals. Ma questa è un’altra storia.
Leggi anche
