Новая методология составления рейтинга в 2010 году была определена лишь после 10 месяцев тщательных консультаций с ведущими экспертами в сфере глобального высшего образования: более 50 уважаемых фигур с каждого континента активно обсуждали проект, предоставив в сумме более 250 страниц комментариев. Университетское сообщество в широком смысле также смогло сказать свое слово – разместив на сайте более 300 комментариев.

Рейтинг представляет собой наиболее полное и комплексное в истории исследование, позволяющее получить прозрачные, строгие и действительно содержательные всемирные сравнительные оценки, которые затем могут быть использованы университетскими факультетами, стратегическими лидерами, лицами, формирующими политику и будущими студентами.

В рейтинге используется 13 отдельных индикаторов (по сравнению со всего шестью по старой системе), выбранных для отражения широкого спектра деятельности. Эти элементы объединены в пять категорий:

Преподавание – образовательная среда (30% от окончательной оценки в рейтинге)
Исследования – объемы, доход и репутация (30%)
Цитирование – влияние исследований (32,5%)
Отраслевой доход – инновации (всего 2,5%)
Международное взаимодействие – сотрудники и студенты (5%)

Процентное значение для пяти категорий – и 13 индикаторов в них – разнится в значительной степени. Бóльшие значения индикаторы имеют в том случае, если в ходе консультаций было принято решение о том, что такой индикатор является ценным показателем и позволяет уверенно интерпретировать имеющиеся данные. Более низкие значения применяются в отношении тех индикаторов, где уверенность в точности данных или полезности такого индикатора не так значительна.

Методология

Для вычисления общего рейтинга были введены "Z-показатели" для всех массивов данных.

Так можно стандартизировать различные типы данных на единой шкале и провести сравнение между различными типами данных – что очень важно при объединении разнообразной информации в единый рейтинг.

Каждый пункт получает оценку, основанную на его удаленности от среднего (усредненного) значения по всему массиву данных, при том, что такая шкала представляет среднее квадратическое отклонение от массива данных. Затем Z-показатель превращается в "оценку кумулятивной вероятности", позволяющую получить окончательный результат.

По словам Саймона Пратта, проектного менеджера по институциональным исследованиям Thomson Reuters, анализировавшего данные для Всемирного рейтинга университетов, оценка кумулятивной вероятности показывает для любого реального значения, какова вероятность того, насколько нормально распределенное среднее значение будет ниже такой точки.

Например, если университет Х имеет оценку 98, тогда случайная организация из того же самого распределения данных будет опускаться ниже этого университета в 98% случаев.

Исключения

Университеты не включаются во Всемирный рейтинг университетов, если в них не осуществляется обучение студентов; если результаты их научной работы составляют менее 50 статей в год; если в них осуществляется обучение лишь по одной узкой специализации.

Получение данных

Каждая организация, отраженная в этих рейтингах, провела оценку и проверку своих институциональных данных. Если организации не предоставили данных в определенной области (что отмечается лишь в областях, имеющих небольшое значение), колонка была оставлена пустой.

Очень важным принципом нового Всемирного рейтинга университетов Times Higher Education в первой год существования этой абсолютно новой системы стал тот факт, что отраженные в рейтинге университеты активно сотрудничали с системой и предоставляли свои данные. Рейтинги должны стать полезным и строгим инструментом всемирного образовательного сообщества, и мы рады отметить, что большинство университетов из разных стран мира активно участвовали в работе.

Характеристика основных категорий Всемирного рейтинга TimesHigherEducation

1. Доходы по отрасли – инновации

Эта категория определяется единственным индикатором: простым числом, отражающим доходы от исследовательской деятельности организации по отрасли в сравнении с числом академических сотрудников.

Индикатор позволяет определить степень, в которой пользователи готовы платить за исследование и способность университета привлекать коммерческие средства – это существенные индикаторы качества.

Однако в связи с тем, что значения, предоставленные организациями для определения этого индикатора, были разнородными, этой категории была дана относительно низкая значимость в рейтинге 2010 -11 годов: она составляет всего 2,5% от общей оценки в рейтинге.

2. Преподавание – образовательная среда

В этой широкой категории используется пять отдельных индикаторов, позволяющих ясно понять качество преподавания и образовательной среды каждой организации – как с точки зрения студентов, так и с точки зрения сотрудников.

Основным индикатором в этой категории являются результаты опроса с целью оценки репутации в преподавании.

Компания Thomson Reuters провела Опрос с целью оценки академической репутации – всемирный опрос опытных ученых – весной 2010 года. Целью опроса было изучение воспринимаемого престижа организации – как в сфере исследований, так и в сфере преподавания. Всего было получено 13388 ответов, статистически представляющих географическую и предметную выборку учреждений высшего образования со всего мира.

Результаты исследования в отношении преподавания составляют 50% оценки в широкой категории "Образовательная среда" и 15% от общей оценки в рейтинге.

В этой широкой категории также измеряется число студентов, принятых на обучение, в сравнении с числом академических сотрудников. По сути это форма коэффициента преподаватель-студент, и используется эта мера в качестве показателя качества обучения – мы предполагаем, что если коэффициент низкий, студенты получают больше внимания, необходимого им со стороны факультета.

Поскольку эта мера является лишь грубым показателем, и во время консультаций высказывались сомнения в правильности ее использования, ей было дано относительно небольшое значение: она составляет 15% от оценки в категории "Преподавание" и всего 4,5% от общей оценки в рейтинге.

В предыдущих измерениях эта мера получала значение в 20%.

В категории "Преподавание" также оценивается соотношение кандидатских степеней и степеней бакалавров, присуждаемых каждой организацией. Мы полагаем, что организации с более высокой плотностью исследовательского персонала проводят более активную политику в сфере обучения, и что наличие активного постдипломного сообщества является показателем нацеленной на исследования образовательной среды, ценной как для студентов, так и для ученых.

Коэффициент кандидаты наук - бакалавры получает значение в 7,5% в данной категории и 2,25% от общей оценки в рейтинге.

В категории "Преподавание" также используются данные о числе кандидатских степеней, присужденных организацией, относительно ее размера, измеряемого числом академических сотрудников.

Высокое число исследователей, обучающихся по постдипломным программам, показывает, насколько организация стремится к воспитанию следующего поколения преподавателей, а также свидетельствует о высоком уровне обучения, привлекательном для студентов и помогающем им развиваться.

Студенты также ценят работу в богатой среде, включающей в себя обучающихся по постдипломным программам. Этот индикатор, имеющий значение в 20% в категории "Образовательная среда", составляет 6% от общей оценки в рейтинге.

Последний индикатор в этой категории – простое число, показывающее доход организации, разделенный на число академических сотрудников.

Это число, рассчитанное с учетом покупательной способности – чтобы все страны могли быть оценены на одном уровне – указывает на общий статус организации и позволяет в самом широком смысле понять, какая инфраструктура и средства доступны студентам и сотрудникам.

Этот индикатор получил значение в 7,5% в этой категории и 2,25% от общей оценки в рейтинге.

3. Цитирование – влияние исследований

Влияние исследований университета – измеряемое числом цитирования опубликованных в нем работ другими исследователям – крупнейшая из широких категорий рейтинга, имеющая значение чуть менее одной трети от общей оценки.

Такое значение отражает относительно высокую уверенность глобального академического сообщества в значимости этого индикатора как показателя качества исследований.

Использование цитирования в качестве индикатора качества довольно неоднозначно – например, его использование для распределения 1,5 миллиардов фунтов в Великобритании в рамках программы по совершенствованию исследований было значительно сокращено после продолжительных консультаций.

Тем не менее, существуют доказательства наличия взаимосвязи между числом цитирований и качеством исследований.

Данные получены из 12 000 исследовательских журналов, включенные в базу данных Web of Science компании Thomson Reuters. Показатели собирались по каждому университету, при этом данные суммировались за период с 2004 по 2008 годы (времени для оценки таких данных по статьям, опубликованным в 2009 и 2010 годах, было недостаточно).

В отличие от подхода, применявшегося в старых системах оценки, все данные по влиянию цитирования стандартизованы для отражения различий в объемах цитирования между различными предметными областями. Это значит, что организации с высоким уровнем исследовательской деятельности в предметных областях, традиционно отличающихся высоким уровнем цитирования, более не будут получать несправедливого преимущества.

4. Исследования – объемы, доход и репутация

Как и в отношении категории "Преподавание", наиболее значимый индикатор качества в этой категории основан на результатах опроса.

Консультации с нашими экспертами позволили предположить, что уверенность в этом индикаторе была выше по сравнению с индикатором качества обучения, поскольку научные сотрудники более полно знают о репутации исследовательских подразделений в своих предметных областях. По этой причине такой индикатор получил большее значение: оно составляет 65% в данной категории и 19,5% от общей оценки в рейтинге.

Примерно 17,5% от данной категории – и 5,25% от общей оценки в рейтинге – определяется доходом университета от исследований, в пропорции к числу исследователей и с корректировкой на покупательную способность. Это неоднозначный индикатор, поскольку на него могут оказывать влияние государственная политика и экономическая ситуация. Однако доходы от исследований очень важны для осуществления исследований на мировом уровне, а поскольку большая часть таких исследований осуществляется в условиях конкуренции и оценивается специалистами, эксперты сочли этот индикатор обоснованным.

Категория "Исследовательская среда" также включает в себя простой индикатор объемов исследований, разделенный на число сотрудников. Экспертами подсчитывается число работ, опубликованных в научных журналах, включенных в базу данных Thomson Reuters, на каждого сотрудника, что позволяет судить о способности организации публиковать работы в качественных профессиональных изданиях. Этот индикатор составляет 15% от данной категории и 4,5% от общей оценки.

Около 2,5% от данной категории – и всего 0,75% от общей оценки – составляет показатель государственных средств, выделяемых на исследования, по сравнению с общим доходом организации. Столь низкое значение отражает сомнения в возможности сравнения заявленных организациями данных между странами.

5. Международное взаимодействие – сотрудники и студенты

В последней категории рассматривается состав университета – показатель того, насколько организация глобальна.

Способность университета привлечь наилучших сотрудников со всего мира является ключевым фактором глобального успеха. Поэтому в этой категории 60% были выделены показателю соотношения международных и внутренних сотрудников, при том, что такой показатель составляет 3% от общей оценки в рейтинге.

Рынок исследовательских и административных вакансий является международным, и такой индикатор позволяет судить о глобальной конкурентоспособности. Однако поскольку это довольно грубый показатель, и поскольку географическая ситуация может влиять на него, значение было снижено по сравнению с 5% по старой системе рейтинга.

Другой индикатор в этой категории основан на соотношении международных и внутренних студентов. Это знак глобальной конкурентоспособности организации и ее стремления к глобализации. Как и в случае с показателем сотрудников, проведенные консультации выявили сомнения в том, можно ли точно измерить качество студентов и проблемы, вызванные географическими факторами и способами оплаты обучения. Поэтому этот показатель получил 40% в этой категории и 2% от общей оценки в рейтинге.

6. Влияние цитирования: все относительно

Цитирование широко используется в качестве существенного показателя важности и значимости научной работы.

Однако данные о цитировании следует использовать с осторожностью, так как показатели могут различаться в зависимости от предметной области и времени.

Например, работы в сфере естественных наук обычно цитируются более часто, чем работы в сфере социальных наук.

В рейтинге этого года используется стандартизированный показатель цитирования, в котором цитирование по каждой работе сравнивается со средним числом цитирований по всем работам, опубликованным в той же сфере и в том же году. А значит, работа с относительным уровнем цитирования 2.0. цитируется в два раза чаще по сравнению со средним значением для схожих работ.

Данные взяты из ресурса компании Thomson Reuters – Web of Science – крупнейшей и наиболее полной базы данных о цитировании исследований, существующей на сегодняшний день.

Ее авторитетное и мультидисциплинарное содержимое включает более 11 600 наиболее влиятельных научных журналов по всему миру. Оценка проводится на том же уровне между 251 предметными областями за каждый год в период с 2004 по 2008.

В случае если организация публикует мало работ, относительное влияние цитирования может быть значительно изменено одной или двумя часто цитируемыми работами и, таким образом, не будет точно отражать обычные показатели такой организации. Однако организации, публикующие менее 50 работ в год, не были включены в рейтинг.

Есть случаи, когда прорывная научная работа оказывается настолько влиятельной, что показатели ее цитирования достигают огромных значений – до тысяч. Организация, опубликовавшая одну из таких работ, получает существенное и значительное увеличение числа цитирований, отражающее вклад такой организации во всемирно значимые исследовательские проекты.


Результати рейтингу Times Higher Education, який складається однойменною британською газетою на основі даних, наданих агентством Thomson Reuters 2011-2012 >>>>