Как устроен рейтинг Nature и кто чего добился

Журнал Nature представил обновленный рейтинг публикационной активности научных организаций — Nature Index 2014 Global. Поскольку разнообразный библиометрический анализ науки сейчас в моде, недавно стал частью отечественной научной политики и даже маленьким кошмаром, Научная Россия решила изучить этот рейтинг подробнее.

Рейтинг регионов и стран

Страны в Nature Index 2014 Global сгруппированы по девяти регионам, для которых посчитаны показатели AC, FC и WFC. Лидирует Северная Америка с WFC равным 20125, 98, за ней следует Северная и Западная Европа (WFC=15794,62), Восточная и Юго-восточная Азия (WFC=10811,81), на четвертом месте с меньшим на порядок WFC=1063,86 идет регион Австралазии и островов Тихого океана, и только пятым стоит Центральная, Восточная и Южная Европа, куда входят страны пост-советского блока (WFC=1019,34). Что означают показатели AC, FC и WFC, объясняется чуть ниже.

Отношение AC к FC дает степень участия стран в международных коллаборациях. Соответственно рейтинг по этому показателю выстраивается обратно по отношению рейтингу по WFC: в нем лидирует Африка, за ней регион Центральной, Восточной и Южной Европы, на третьем месте Западная Азия. То есть ученые этих стран представлены в статьях Nature Index главным образом в составе многочисленных международных авторских коллективов.

Если посчитать соотношение WFC страны и валовых внутренних расходов на исследования и разработки (Gross Domestic Expenditure on R&D — GERD), то можно оценить финансовую эффективность финансирования, иначе говоря, как потраченные на науку деньги отражаются в публикациях в элитарных журналах. По этому показателю лидируют Саудовская Аравия, Швейцария, Канада, Великобритания, Кипр и Сингапур.

Статьи из рейтинга проанализированы по научным дисциплинам, и к каким из них тяготеют страны. Большинство стран сфокусировано на физических науках и науках о жизни, за исключением Азии (читай — Китай), которая традиционно тяготеет к химии.

Наиболее продуктивной научной организацией России остается Академия наук. Вообще в Центральной и Юго-Восточной Европе наука мирового уровня производится в основном двумя странами — Россией и Польшей. За ними следуют Чехия, Греция и Венгрия. В научных публикациях этих стран доминирует физика (о показателях России и МГУ в Nature Index 2014 Global портал Научная Россия рассказывал на днях). За подробностями по каждому региону и стране можно обратиться к обзору в Nature, который опубликован онлайн в открытом доступе.

Кстати, Nature Index 2014 Global позволяет оценить популярность научной статьи в СМИ, блогосфере и соцсетях. С помощью DOI (идентификатор цифрового объекта) статьи, можно подсчитать число ссылок на нее в онлайн-сообществах: число твитов, упоминаний в Facebook, в статьях в онлайн-СМИ, в блогах, в различных соцсетях, например, Google+, Reddit, Mendeley и даже на форумах. Такую аналитику предоставляет стартап Altmetric, созданный в 2011 году в Лондоне. С сайта компании можно установить бесплатное дополнение (букмарклет — JavaScript-закладка) для браузеров, которое запускается на фоне открытой научной статьи и подсчитывает число ее упоминаний в интернете и показывает ссылки на посты, твитты, их географию.

Например, согласно Altmetric, статья о геноме домашних кошек (Научная Россия рассказывала о ней) в PNAS удостоилась 99 твиттов, 39 новостей в СМИ, 16 упоминаний в Facebook, 7 постов в блогах.

Как составляется рейтинг

При анализе учитываются только исследовательские статьи из журналов. Основной показатель, используемый при анализе базы Nature Index — это число статей (AC — Articles Count). Например, если в статье есть один или несколько соавторов из России, то России присваивается AC=1. Соответственно по единице присваивается научной организации, которую указал автор в качестве аффилиации. Используется также дробный показатель (FC — Fractional Count), который показывает вклад института или страны в создание статьи. По умолчанию считается, что авторы внесли равный вклад в статью, поэтому FC всей статьи равен 1. Если у статьи 5 авторов, то каждый получает по FC=0,2. Соответственно, чем больше авторов у статьи, тем меньше вклад каждого. Третий показатель — взвешенный дробный показатель (WFC — Weighted Fractional Count) — стал необходим, когда в базе статей обнаружился уклон в астрономию. Nature Index содержит в пять раз больше статей по астрономии и астрофизике, чем по всем другим дисциплинам. WFC получается умножением FC на 0,2.

База статей Nature Index находится в свободном доступе на сайте natureindex.com. Сейчас в ней можно проанализировать 59440 статей, опубликованных с 1 сентября 2013 года по 31 августа 2014 года и увидеть показатели AC, FC и WFC института или страны, посмотреть какие статьи организации и в каких журналах публиковались.

Возьмем для примера два близких по области исследований научных заведения — Институт физики высоких энергий (ИФВЭ) и Институт теоретической и экспериментальной физики (ИТЭФ). В базе Nature Index содержится примерно одинаковое число статей, где есть вклад этих институтов: ИФВЭ — 164 статьи, ИТЭФ — 174. Но показатель FC различается на порядок. FC ИТЭФ — 14.35, FC ИФВЭ — 2,18. Это говорит о том, что сотрудники ИФВЭ публиковались в составе очень больших авторских коллективов, где их доля оказалась размытой. В то время как вклада сотрудников ИТЭФ в статьи оказался более сконцентрированным.

Как устроен рейтинг

Рейтинг использует базу Nature Index и показывает вклад страны и научной организации в авторство статьи, а также выявляет степень взаимодействия между научными организациями. Рейтинг основан на публикациях в списке элитарных научных журналов по естественным наукам — астрономия, физика, химия, науки о жизни, науки о Земле (в английской традиции они называются natural sciences). По замыслу авторов рейтинга он дает представление о вкладе страны или организации в развитие мировой науки.

Вести собственный рейтинг Nature начал в 2005 году, используя исключительно журналы своего издательства. В 2011 году аналитику распространили на журналы других издательств. Независимые эксперты составили список научных журналов по естественнонаучным дисциплинам, статьи в которых анализировались по предметной области, аффилиациям, то есть месту работы авторов, и странам.

Как отбирали экспертов и журналы

Сначала редакция Nature выбрала руководителей двух экспертных направлений: «главным по физике» стал Джон Мортон (John Morton), профессор Лондонского центра нанотехнологий и департамента электроники и электротехники в Университетском колледже Лондона. За науки о жизни отвечал Инь-Бяо Сан (Yin-Biao Sun) из департамента Рэнделла клеточной и молекулярной биофизики в Кингс-колледже в Лондоне. Кандидатов в экспертные группы предлагали члены редколлегий журналов Nature, из числа признанных действующих ученых в основных естественных дисциплинах и представляющих все регионы мира. Предпочтение отдавали скорее ученым в расцвете научной карьеры, выдерживался также гендерный баланс. Всего сформировали две группы экспертов общим числом 68 человек.

Экспертов попросили назвать в порядке предпочтения 10 журналов, в которых они сами хотели бы опубликовать свои лучшие работы. Смысл такого отбора в том, чтобы выявить качественные журналы, не используя формальный показатель — импакт-фактор журнала. Используя систему баллов, на основе предпочтений экспертов были сформированы рейтинги научных журналов. Далее редакция Nature провела аналогичный опрос среди 100 тысяч ученых по всему миру. Из более чем 2800 откликов учитывали ответы тех, кто публиковался в последние два года. Результаты опроса в основном совпали с началом списка, созданного экспертами, хотя далее расхождения между экспертной оценкой и мнением опрошенных возрастают. Окончательный список журналов утвердили эксперты: в него вошли 68 научных журналов. Ожидаемо там оказалась большая группа журналов Nature, PNAS, Physical Review Letters, Cell и Science, Journal of the American Chemical Society, Advanced Materials. С полным списком журналов можно ознакомиться здесь.





Дополнительно:

Рейтинг публикационной активности научных организаций — Nature Index 2013

Рейтинг публикационной активности научных организаций — Nature Index 2012