Скучная статья о противораковой активности чего-то из лишайников, была полностью сфабрикована со скучными, но критическими дефектами в постановке и описании исследования, которые предполагали её однозначное отфутболивание дееспособными рецензентами/редакциями. Тем не менее, её успешно всосали 157 журналов из 304 изданий, которые были окучены трудолюбивым Джоном и которые якобы практикуют peer review+open access!John Bohannon. Who's Afraid of Peer Review? Science 4 October 2013:Vol. 342 no. 6154 pp. 60-6 (доступ свободный)
Продвинутые комментаторы справедливо подметили, что традиционные журналы (включая собственно Science) под раздачу не попали, что вовсе не означает, что у них нет подобных проблем и что идеальное рецензирование вообще где-то существует.
Естественно, проблем хватает. Причём многие из них были выявлены задолго до экзерсисов Боханнона и весьма остроумными, даже изящными методами. Просто в приличном научном обществе говорить об этих язвах не принято - почти как о венерических болезнях.
Исторически первая мистификация, которая наделала много шума, вошла в летописи как Sokal Affair (1996). Профессор Alan Sokal, физик из Нью-Иоркского Университета, без особого напряга опубликовал совершенно бессмысленный пост-модернистский креатив с зубодробительным названием Transgressing the Boundaries: Toward a Transformative Hermeneutics of Quantum Gravity в рецензируемом журнале Social Text, "a leading North American journal of cultural studies". Пишут, что креатив искрится очаровательным юмором, пост-модернистскими аллюзиями и неопознанными глупостями. Очевидно, именно эта афера вдохновила в своё время отцов Корчевателя.
Куда более изощрённую провокацию, которая наглядно продемонстрировала некомпетентность и снобизм рецензентов и редакторов, провернули психологи Peters и Ceci ещё 1982 году:
Peters DP, Ceci SJ. Peer-review practices of psychological journals: the fate of published articles submitted again. Behav Brain Sci 1982;5:187–95.
Авторы отобрали 12 работ, уже опубликованных ведущими психологами в престижных журналах за 18-32 месяцев до эксперимента, изменили лишь имена и названия организаций на никому не известные фиктивные типа Tri-Valley Center for Human Potential и отправили их …в те же самые журналы!
Плагиат распознали лишь трое (8%) из 38 (редакторов+рецензентов), а
9 из 12 рукописей были всерьёз отрецензированы и
8 из 9 были зверски зарублены.
Руки к этому приложили 16 из 18 (89%) рецензентов, причём отсутствие оригинальности не значилось среди их претензий, которые касались poor study design, inadequate statistical analysis, or poor quality.
После скандала с Сокейлом продвинутые редакторы крутых журналов типа JAMA, Lancet, etc очевидно решили выбить инициативу из рук спонтанных критиков, опасных мистификаторов и прочих аутсайдеров и возглавить (т.е. взять под контроль) процесс разоблачения собственных изъянов. С большим отрывом на этом поприще зажигала команда British Medical Journal под предводительством редактора Фионы Годли (Fiona Godlee). В 1998 году [1] она прославилась весьма показательным и масштабным модельным исследованием процесса рецензирования на основе работы, которая уже прошла эту процедуру и и была поставлена на очередь в печать. Потребовалось небольшое насилие, чтобы превратить эту работу в модельный объект: в манускрипт были намеренно имплантированы восемь (8) недопустимых ошибок, затрагивавших концепцию исследования, анализ и интерпретацию полученных данных, после чего разослали её 420 (!) потенциальным рецензентам.
Рецензиями разродились 221 (53%);
среднее количество выявленных ошибок составило – 2,
причём более 5 не отследил никто,
а 16% рецензентов не засекло ни одной!
И ещё – в качестве дополнительного бонуса для редакции – многие из участников эксперимента зело осерчали и почему то начали манкировать своими почётными обязанностями рецензента BMJ.
Наконец, ещё одно важное статистическое исследование, которое проливает свет на воспроизводимость результатов рецензирования:
Rothwell, P.M. and Martyn, C.N. Reproducibility of peer review in clinical neuroscience – is agreement between reviewers any greater than would be expected by chance alone? Brain 2000, v.123, 1964–9.
Авторы провели статистический анализ согласия рекомендаций по крупным выборкам рецензируемых материалов, полученных двумя разными журналами, с привлечением 14 и 16 экспертов, соответственно. Как можно догадаться по названию статьи, существенной корреляции мнений независимых экспертов обнаружено не было.
Ярый противник рецензирования Дэвид Хорробин (Horrobin, D. Something Rotten at the Core of Science?) высказался на этот счёт яснее:Forget the reviewers. Just flip a coin.
Отсутствие искомой корреляции получило независимое подтверждение в недавней работе:
Eyre-Walker A, Stoletzki N. The Assessment of Science: The Relative Merits of Post-Publication Review, the Impact Factor, and the Number of Citations. PLoS Biol 2013, 11(10): e1001675
Напоследок несколько цитат из [1]:
The problem with peer review is that we have good evidence on its deficiencies and poor evidence on its benefits:
Slow and secret
Inconsistent: no standardization
Prone to bias
Open to abuse
Lacks accountability
Possibly anti-innovatory
Unable to detect fraud
Published papers that emerge from the process are often grossly deficient
BMJ 1997;315:759-60
The mistake, of course, is to have thought that peer review was any more than a crude means of discovering the acceptability - not the validity - of a new finding. We portray peer review to the public as a quasi-sacred process that helps to make science our most objective truth teller. But we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong. Richard Horton, Lancet editor
Given all these problems, how can peer review be growing in popularity? My guess is that editorial peer review is seen by investigators and research institutions as a convenient quality control mechanism, for which they usually do not have to pay. Despite the growing evidence that peer review is a blunt, inefficient, and expensive tool, most of those involved want to keep it, believing that other alternatives, such as audit, are worse. Reviewers frequently do spot poor design, methodological flaws, internal inconsistencies, unbalanced citation, distorted analyses, and so on. And even if studies have shown that they often do not, peer review seems to be better than nothing.
В закромах Либгена можно найти:
1. Peer Review in Health Sciences. /Jefferson,T., Godlee F. (Eds). BMJ Books 2003; 392 pp.
2. Wager, E., Godlee, F., Jefferson, T. How to Survive Peer Review. BMJ Books 2002; 69 pp.
3. Hames, I. Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. Wiley-Blackwell 2007; 307 pp.
4. Daniel, H.D. Guardians of Science: Fairness and Reliability of Peer Review. VCH Verlag 1993; 123 pp.
