Il metodo della peer review adottato dalle principali riviste scientifiche per dare il via libera alla pubblicazione è sostanzialmente efficace nell'individuare i lavori validi ma potrebbe incontrare difficoltà nel riconoscere quelli eccezionali. (La peer review consiste nel controllo della validità scientifica generale, soprattutto metodologica, di un articolo da parte di altri specialisti del settore, che sono all'oscuro dell'identità degli autori). E' questa la conclusione di tre ricercatori (Kyle Siler, Kirby Lee e Lisa Bero, rispettivamente dell'Università di Toronto, dell'Università della California a San Francisco e dell'Università di Sydney) che hanno condotto una ricerca sistematica - ora pubblicata sui "Proceedings of the National Academy of Sciences” - per valutare pregi e difetti di quel metodo.

Benché la peer review sia generalmente considerata essenziale per la valutazione della produzione scientifica, esiste un'ampia aneddotica sugli errori che ha prodotto nel corso degli anni, rifiutando contributi poi rivelatisi importanti oppure accettando articoli mediocri o addirittura truffaldini. Tuttavia, gli studi sistematici in grado di valutare oggettivamente i limiti del metodo sono statI ben pochi, soprattutto perché è difficile riuscire a esaminare articoli rifiutati dalle riviste.

Siler, Lee e Bero hanno avuto accesso a 1008 articoli presentati nel 2003 e nel 2004 a tre fra le più importanti riviste del settore medico - gli "Annals of Internal Medicine" (AIM), il "British Medical Journal"(BMJ)  e "The Lancet" – e alle relative valutazioni da parte di revisori e redattori. Di questi le tre riviste ne hanno accettati e pubblicati 62 (il 6,2 per cento). I ricercatori si sono però concentrati in modo specifico su quelli che, dopo essere stati rifiutati da AIM, BMJ e "The Lancet", sono stati successivamente pubblicati su altre riviste. Hanno quindi confrontato il valore degli articoli pubblicati usando come misura il numero di citazioni ricevute una volta entrati a far parte della letteratura scientifica.

Molti dei testi rifiutati - ben 757 -  sono stati pubblicati su altre testate dopo una revisione più o meno incisiva da parte degli autori, ma hanno sistematicamente ricevuto meno citazioni di quelli accettati dalle tre riviste, e il loro numero di citazioni è risultato direttamente proporzionale al punteggio assegnato dalla prima peer review, confermandone quindi la qualità del giudizio.

Tuttavia, la peer review non ha sempre colto nel segno: fra gli articoli respinti senza appello da AIM, BMJ e "The Lancet" e poi pubblicati altrove, 14 hanno riscosso un consenso accademico particolarmente elevato (tanto da rientrare nel due per cento di articoli in assoluto più citati nel periodo considerato).

Questo dato - concludono Siler, Lee e Bero - suggerisce che la peer review non sia il modo migliore per riconoscere gli articoli che propongono idee particolarmente innovative, eppure "nonostante questo, i risultati mostrano che nei casi da noi studiati la peer review rappresenta nel complesso un valore aggiunto. Generalmente, anche se non sempre, redattori e revisori prendono buone decisioni sull'identificazione e la promozione della qualità degli articoli scientifici.”