Система ворожит креаклам

Существующая система оценки продуктивности учёных, успешности университетов и солидности научных журналов влечёт за собой подмену научной работы погоней за формальным показателями, порождает неоправданную дискриминацию университетов и учёных, не принадлежащих к аглоязычному миру и убивает науку в странах периферийного капитализма, к которым и мы имеем удовольствие принадлежать.   А потому необходимо ... и дальше совершенствовать существующую систему.

https://www.kommersant.ru/doc/...

Чужие ошибки и свой аршин

Исследования / Наукометрия

"Наука". Приложение №54 от 30.11.2018, стр. 34

Кембриджский университет в последнем рейтинге Times Higher Education – второй

Фото: Nick Ansell/PA Images/ТАСС

В 2000-е годы появились мировые рейтинги университетов — THE, QS, ARWU. При их составлении используются индексы цитирования Web of Science и Scopus, поэтому научные администраторы стали требовать от ученых регулярных публикаций в международных журналах. Но оказалось, что такой способ оценки научной деятельности имеет серьезные дефекты. О том, как создавать стимулы для качественных научных публикаций российских ученых,— президент Ассоциации независимых центров экономического анализа (АНЦЭА), директор Института анализа предприятий и рынков Высшей школы экономики Андрей Яковлев.

Учреждая в Филадельфии в 1960 году Institute for Scientific Information (ISI), на основе которого впоследствии была сформирована база данных Web of Science, химик Юджин Гарфилд вряд ли предполагал, как разрастется его начинание и как широко будет использоваться его Science Citation Index (SCI). В 1992 году ISI был приобретен компанией Tompson Reuters, к концу 1990-х круг журналов, включаемых в SCI, достиг 8000. 40 лет SCI и другие продукты ISI рассматривались в первую очередь как источник информации о научных работах. В СССР схожие функции выполнял Всесоюзный институт научной и технической информации — ВИНИТИ.

Глобальные рейтинги и гонка за публикациями

Изменения начались, когда число публикаций в журналах с определенным уровнем цитируемости стало использоваться для оценки научной активности. В конце 1980-х годов в Великобритании для оценки результатов деятельности университетов правительство предложило процедуру Research Assessment Exercise (RAE). Во внимание принимались размеры грантов, полученные патенты и пр., но наиболее существенная часть итоговой оценки приходилась на качество научных публикаций. По итогам RAE (они проводились сначала каждые 3–4 года, а потом раз в 7 лет) правительственные агентства определяли финансирование на следующий период — и университеты стали требовать публикаций от сотрудников.

Свои списки и рейтинги журналов стали формировать отдельные исследовательские институты. С 1990-х Институт Тинбергена в Голландии для аттестации сотрудников стал использовать собственный список журналов по экономике с выделением трех категорий: АА — топ-журналы, А — очень хорошие журналы общего профиля или топ-журналы в отдельных областях, В — хорошие журналы для всех областей исследований. В середине 2000-х в список входило около 130 журналов, включая 6 в категории АА и порядка 30 в категории А. Получить научную степень или занять позицию исследователя в Институте Тинбергена можно было, лишь набрав определенное число баллов за статьи, опубликованные в журналах из этого списка, причем баллы начислялись в зависимости от категории журнала.

Но наибольший импульс «гонке за публикациями» в журналах с высокими индексами цитирования придало появление рейтингов университетов — британского THE (составляемого журналом Times Higher Education) и «шанхайского рейтинга» ARWU — Academic Ranking of World Universities; с 2009 года к ним добавился рейтинг QS. Рейтинги стали инструментами давления на национальные системы исследований и высшего образования. Правительства многих стран (включая Россию) начали рассматривать места своих университетов в рейтингах как индикатор уровня исследований. Все три рейтинга, несмотря на некоторые различия, исходят из предположения, что репутация ученого может быть измерена числом цитирований его работ, а потому большой вес в оценке университетов имеет цитируемость публикаций их сотрудников. Основой же для анализа цитируемости стала база Web of Science и ее европейский конкурент — база Scopus, поддерживаемая издательством Elsevier.

На первый взгляд, у такой системы оценки есть положительные стороны: сталкиваясь с давлением правительства и научных фондов и сравнивая себя с конкурентами в глобальном академическом пространстве, национальные университеты и научные центры вынуждены повышать эффективность и будут требовать того же от сотрудников. Но есть и обратная сторона, точнее, обратные стороны.

Мусорные журналы и библиометрические картели

Одна из них — искусственная погоня за цитируемостью: формальные наукометрические индикаторы становятся важнее научных результатов. Как в спорте, где коммерциализация стимулирует применение допинга, что лишает состязания изначального смысла.

Применительно к академическим публикациям можно говорить о новом типе издательского бизнеса, получившем название «predatory publishing» (https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916–015–0469–2). В основе модели — взимание платы за скорость публикации при отсутствии или имитации рецензирования статей. Публикуются в таких журналах в основном авторы из развивающихся стран (https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.23265) — скорее всего, это следствие слабости местного академического сообщества и упрощенной оценки исследований по числу публикаций в «международных журналах».

Многие такие журналы смогли войти в WoS и особенно в Scopus, где менее жесткие критерии. Критика в адрес Scopus породила реакцию издательства Elsevier, поддерживающего эту базу. В апреле 2017 года на конференции в Москве представители Scopus объявили программу противодействия «хищническим журналам» (https://conf.neicon.ru/materials/28-Sem0417/170417_0930_Steiginga.pdf), ее результат: прекращено индексирование 303 журналов (в 2018 году добавилось еще 116), начат регулярный мониторинг журналов, ужесточены требования к ним.

Взимание платы при фактическом отсутствии рецензирования — не единственный канал манипуляций. Несколько лет назад зафиксированы «картельные соглашения» между журналами о взаимном цитировании с целью повышения импакт-факторов. В комментарии https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ подробно рассмотрен такой картель трех медицинских журналов: Cell Transplantation, Medical Science Monitor и The Scientific World Journal, обеспечивший Cell Transplantation полуторакратный рост импакт-фактора.

Большой резонанс получила история малоизвестного литовского журнала Technological and Economic Development of Economy (TEDE). Этот журнал лишь в 2000 году был учрежден Вильнюсским технологическим университетом, но в Journal Citation Reports за 2010 год он внезапно оказался третьим в рейтинге экономических журналов WoS — с показателями цитирований за два предшествующих года выше, чем у Journal of Political Economy или American Economic Review. У «феноменального успеха» было простое объяснение: 60% всех цитирований статей из TEDE в 2010 году было обеспечено за счет ссылок в пяти журналах, издаваемых тем же Вильнюсским технологическим университетом (включая 24% самоцитирований), а еще 23% дали ссылки из двух других литовских журналов.

Реакцией на манипуляции стало ужесточение политики WoS и Scopus в отношении самоцитирования и взаимоцитирования. В частности, Scopus стал отдельно рассчитывать импакт-фактор без учета цитирований из данного журнала, а WoS, используя определенные «пороговые значения», стал исключать журналы из SCI Report при выявлении перекрестного цитирования, ведущего к «ненормальному» росту импакт-факторов.

В июне 2018 года возник публичный скандал, связанный с исключением из SCI Report за 2017 год двух ведущих журналов по истории экономической мысли: Journal of the History of Economic Thought (JHET, издатель Cambridge University Press) и European Journal of the History of Economic Thought (EJHET, издатель Routledge). Причина: появление в другом, гораздо менее известном, издаваемом в Италии журнале History of Economic Ideas (HEI) обзора литературы по истории экономической мысли, в котором было много ссылок на статьи из JHET и EJHET, что привело к взрывному росту индекса цитирований для этих журналов. А уже это дало основание компании Clarivate Analytics, владеющей с 2016 года базой Web of Science, заподозрить эти три журнала в сговоре с целью завышения своих индексов.

Однако, как показано в комментарии на сайте Institute for New Economic Thinking (https://www.ineteconomics.org/perspectives/blog/boycott-the-journal-rankings), искажения в стимулах к цитированию в данном случае были порождены не сговором между журналами (так как HEI не получил обратного потока цитирований), а стали следствием формализованной системы оценки научных исследований на основе данных WoS и Scopus, введенной правительством Италии: основываясь на данных WoS и Scopus, правительственное агентство формирует список журналов, публикации в которых позволяют пройти аттестацию, преподавать на докторских программах и получить должность профессора. Ученым важно, чтобы определенные журналы по их направлениям относились в национальном рейтинге к высшей категории А, поэтому у них есть стимул активно цитировать эти журналы (вне связи с потребностью в реальных ссылках), тем самым увеличивая их рейтинг. И в небольших дисциплинах с малым числом профильных журналов это может вести к «взрывному» росту уровня цитирований — как это получилось с JHET и EJHET.

Но аналитики WoS и Scopus, обрабатывающие данные о миллионах статей в десятках тысяч журналов, не в состоянии отслеживать такие детали. Они действуют в формализованной логике «пороговых значений», при превышении которых для соответствующих журналов начинают действовать санкции. Парадокс в том, что если такие формальные пороги не превышаются, то журналы сомнительного качества сохраняют места в рейтингах. В частности, упоминавшийся выше литовский журнал TEDE по состоянию на август 2018 года продолжал входить в WoS — на почетном 31-м месте среди 353 экономических журналов (https://journals.vgtu.lt/index.php/TEDE) с импакт-фактором 3,244. Для сравнения — у весьма известного и респектабельного Journal of Comparative Economics, издаваемого Elsevier в сотрудничестве с Association for Comparative Economic Studies, импакт-фактор в 2017 году составил лишь 1,236.

Россия и мировые рейтинги

Таким образом ориентация администраторов на глобальные рейтинги вызывает оппортунизм у недобросовестных издателей, а для некоторых дисциплин создает и серьезные содержательные проблемы. Например, в АНЦЭА уже несколько лет идет дискуссия, как жесткий фокус на публикации в зарубежных журналах, заданный документами российского правительства («программа 5/100» или оценка институтов РАН), влияет на формирование тематики экономических исследований. Исследователи выбирают темы, которые потенциально «проходимы» для международных журналов. Однако, по моей личной оценке, из общего перечня проблем, актуальных для современной российской экономики, в лучшем случае 10% могут вызывать интерес у международных научных журналов — оставшиеся 90% воспринимаются либо как уже решенные в большинстве стран мира, либо как специфические. То есть у нас возникает разрыв между набором проблем, которые актуальны в России и для решения которых нужна экономическая экспертиза, и той научной тематикой, к которой подталкивает система стимулов в ведущих университетах и в РАН, с фокусом на публикации в журналах, индексируемых WoS и Scopus. А мои контакты с коллегами из Германии, Франции, Японии и других неанглоговорящих стран показывают, что такие же проблемы характерны и у них, для многих дисциплин в социальных и гуманитарных науках — просто потому, что многие темы исследований имеют сильную национальную специфику и для местных ученых гораздо эффективнее обсуждать их между собой на родном языке в национальных журналах.

Означает ли все это, что глобальные рейтинги университетов и международные базы цитирований искажают реальность и на них не нужно обращать внимания? Нет, не означает. Наука уже превратилась в глобальную отрасль, ученым в каждой стране будет все труднее продолжать деятельность, не ведя диалог на международном уровне. А правительства и научные фонды объективно нуждаются в независимой оценке научных исследований, в том числе в сравнении с международными конкурентами. Поэтому некуда деваться от рейтингов и международных баз цитирований.

Но публикации в хороших международных журналах — это просто один из индикаторов профессионального признания, не нужно превращать их в фетиш.

Одновременно необходимо развивать и поддерживать собственную национальную инфраструктуру научных коммуникаций. Шагом в этом направлении был запуск в середине 2000-х Российского индекса научного цитирования (РИНЦ). Однако и он во многом повторил проблемы WoS и Scopus — в особенности в социальных науках, где в базе РИНЦ оказались сотни низкокачественных журналов. Показательна, в частности, ситуация с экономическими науками, которые в РИНЦ на август 2018 года были представлены 1256 российскими журналами. Хотя в «список ВАК» — перечень журналов, публикации в которых учитываются при защите кандидатских и докторских диссертаций,— из них включены только 240. А база WoS по всему миру включает лишь 353 экономических журнала.

Для разграничения всей этой массы журналов по качеству на основе общепринятых критериев научных публикаций полезной оказалась идея «внешней оценки» — через кооперацию РИНЦ с WoS. Этот совместный проект был реализован в 2015 году и привел к тому, что из 14 307 российских журналов было выделено 1097, которые вошли в ядро РИНЦ, и 769 журналов, которые были включены в Russian Science Citation Index (RSCI) на платформе Web of Science. Показательно, что по экономическим наукам в эти списки попали соответственно лишь 36 и 28 журналов.

Но подобные экспертные оценки не могут повлиять на окружающую среду, если не появляются институты, готовые применять их на практике. И здесь важную роль может сыграть переход с 2017 года группы ведущих университетов и институтов РАН к созданию собственных диссертационных советов (вне системы ВАК) и присуждению собственных степеней. Быстрого эффекта ждать не стоит, но это очень значимый шаг с точки зрения запуска институциональной конкуренции. Ставка на репутацию университета при присуждении научных степеней будет формировать для академической аудитории сигналы о качестве журналов, публикации в которых данный университет учитывает при защите диссертаций. Такой подход приведет к падению спроса на «мусорные» журналы.

Но наряду с расчисткой от «завалов» нужны и способы поддержки сильных журналов — с пониманием, что издание хорошего журнала с полноценными процедурами рецензирования и соблюдением стандартов научных публикаций требует серьезных ресурсов. Помимо продвижения результатов российских исследований в англоязычном пространстве (о чем недавно заговорили на уровне правительства — http://www.interfax.ru/russia/623673) необходимо поддерживать сильные русскоязычные журналы, так как для развития отечественной науки нужны регулярные научные коммуникации на русском языке. Каналом такой поддержки, на мой взгляд, могла бы стать система грантов для журналов, включенных в RSCI или в «ядро» РИНЦ.