В мире глобализированного высшего образования международные университетские рейтинги с каждым годом становятся все актуальнее.

Для абитуриентов — чтобы сориентироваться, куда же поступить в другой стране. Для самих университетов — чтобы иметь возможность привлекать высокими позициями (или хотя бы фактом включения в рейтинг) иностранных студентов, грантовые средства и инвестиции, лучших преподавателей и исследователей. Собственно, аналогичная ситуация и с рейтингами внутри стран, в том числе и в Украине. Университетам нужно привлекать студентов и преподавателей, а тем — ориентироваться, выбирая университеты. Таким образом, ежегодно мы наблюдаем в СМИ всплеск внимания к месту украинских вузов в международных рейтингах и изменениям в рейтингах украинских.

Совершенно очевидно, что при составлении рейтинга следует использовать надежные источники данных, которые можно проверить и подтвердить, учитывать специфику университетов разных типов, а также особенности системы высшего образования в каждой стране. Менее очевидное (по крайней мере, в Украине), однако не менее важное требование — вместе с рейтингом публиковать четкую и доступную методологию его составления, чтобы было понятно, какие индикаторы учитывались, какой они имели вес, из каких источников поступала информация и т.п.

Ни один рейтинг не показывает непосредственно качество образования в учебном заведении. Зато составители оценивают ряд показателей, которые, по их мнению, более-менее прямо свидетельствуют о качестве образования (или же других параметрах университетской деятельности). Обычно эти критерии охватывают оценку работодателей, оценку представителей академического сообщества, показатели научной деятельности, количество иностранных студентов и преподавателей, соотношение количества студентов и преподавателей. Однако в процессе толкования каждого из этих показателей могут возникнуть замечания, которые нужно держать в голове, когда мы анализируем результаты рейтингов — и международных, и украинских.

Рассмотрим для примера несколько самых известных международных рейтингов, попасть или продвинуться в которые хотят украинские вузы, — Шанхайский рейтинг (The Academic Ranking of World Universities), рейтинг QS (The QS World University Rankings), Times Higher Education.

Академический рейтинг мировых университетов, больше известный как Шанхайский рейтинг, разработанный в 2003 г. по заказу китайского правительства для оценивания эффективности государственных программ по стимулированию научной деятельности в китайских университетах. Поэтому большинство индикаторов касается результатов научной деятельности университета. Составители выбирают 500 из 1200 университетов мира по следующим критериям:

— количество выпускников университета, являющихся лауреатами Нобелевской премии или медали Филдса (10%);

— количество преподавателей университета, являющихся лауреатами Нобелевской премии или медали Филдса (20%);

— количество наиболее цитируемых исследователей среди преподавателей. Thomson Reuters ежегодно определяет авторов 1% наиболее цитируемых работ в 22 научных областях (20%);

— количество статей, опубликованных преподавателями университета в журналах Science и Nature за последние пять лет (20%);

— количество статей, опубликованных преподавателями университета за предыдущий год, которые прошли через индекс цитирований по естественным или социальным наукам того же Thomson Reuters (20%);

— взвешенные показатели всех предыдущих критериев, разделенные на количество штатных работников университета (10%).

По этим критериям видно, что Шанхайский рейтинг практически на 90% составляется из оценки научной деятельности (кроме первого критерия). Причем это довольно специфическая оценка — ведь на уровень цитируемости или шансы опубликоваться в престижном научном журнале, кроме собственно качества научных работ, влияют многие социальные и экономические факторы. Кроме того, из поля зрения составителей рейтинга полностью выпадают гуманитарные науки. Тем более сложно судить по этому рейтингу о качестве преподавания в университете.

Мировой рейтинг университетов QS составляет британская компания Quacquarelli Symonds, которая дает консультации по обучению за рубежом. Основа рейтинга — опрос работодателей и преподавателей со всего мира (в этом году составители опросили свыше 76 тысяч представителей академического сообщества и более 42 тысяч работодателей).

В этом году QS оценивал более двух тысяч учреждений, из которых определил 800 лучших по следующим параметрам:

— опрос академического сообщества (40%), где каждый из респондентов должен определить 10 отечественных и 30 зарубежных университетов, которые считает лучшими в отрасли, в которой работает респондент. Причем балл каждого вуза состоит на 85% из голосов зарубежных респондентов и на 15% — отечественных;

— опрос работодателей (10%), которые должны определить столько же университетов, выпускники которых кажутся им лучшими. При этом оценки иностранных работодателей так же имеют больший вес, чем отечественных, но в соотношении 70 на 30%;

— соотношение количества студентов к количеству преподавателей (20%); — уровень цитирования по Scopus, приходящийся на одного преподавателя (20%);

— доля иностранных студентов и преподавателей (5+5%).

Критерии рейтинга QS разнообразнее Шанхайского, однако и к его методологии есть много вопросов. Например, значительная часть опрашиваемых представителей академического сообщества (17,4%) проживает в США, а значит, американские университеты получают более высокий "отечественный" балл. Неравномерное распределение голосов касается также и отраслей, и опроса работодателей.

В показателе "количество студентов к количеству преподавателей" данные предоставляют сами университеты, так что проверить их достоверность практически невозможно. Кроме того, в категорию преподавателей попадают как те, кто непосредственно преподает, так и научные работники.

Вопрос количества иностранных студентов и преподавателей также в определенной мере проблематичен — ведь в категорию "иностранные студенты" попадают и те, кто учится семестр по обмену, и те, кто слушает полную программу и получает диплом, а "иностранными преподавателями" могут быть и профессора, которые читают один гостевой курс, и штатные работники.

Рейтиг Times HigherEducation имеет целью ранжировать исследовательские университеты, то есть в него не входят учебные заведения, основной функцией которых является обучение, а не наука, а также узкоспециализированные вузы наподобие музыкальных или медицинских. Условием включения в рейтинг является публикация преподавателями университета не менее тысячи научных статей в течение последних пяти лет в журналах, входящих в базу Scopus.

Составители рейтинга замеряют 13 показателей, которые разделены на пять групп:

— преподавание (учебная среда) весит 30% и включает результаты опроса в академическом сообществе о качестве преподавания в университете (15%), соотношение количества студентов и преподавателей (4,5%), соотношение количества бакалавров и PhD (2,25%), соотношение количества присвоенных докторских степеней и преподавателей (6%), доходы университета (относительно количества преподавателей) (2,25%);

— исследование (объем, доход и репутация) также весят 30%. Академическая репутация определяется по результатам упомянутого выше опроса академического сообщества (18%), доход от исследований относительно количества преподавателей и отрасли знаний (6%), объем измеряется количеством публикаций в научных журналах, индексированных в базе данных Elsevier (6%);

— цитирование (исследовательское влияние) весит 30%. В этом году поставщик библиометрических данных издательство Elsevier обработало более 51 млн ссылок на 11,3 млн статей, опубликованных за пять лет;

— международный обзор (преподаватели, студенты, исследования) оценивается в 7,5% и включает в одинаковых пропорциях баллы за соотношение количества иностранных студентов и отечественных, иностранных и отечественных преподавателей и международное научное сотрудничество;

— промышленный доход (трансфер знаний) весит 2,5% и измеряется в объеме дохода университета от исследований, которые заказывают предприятия.

Этот рейтинг наиболее разносторонний и объединяет репутационную, наукометрическую, кадровую, международную составляющие в достаточно взвешенных пропорциях.

Когда переходишь к украинским рейтингам, на первый взгляд, может показаться, что они используют те же критерии, что и международные, — репутационные, наукометрические, кадровые.

Однако, анализируя их методологию, понимаешь, что украинские рейтинги обычно сосредоточиваются на каком-то одном виде критериев оценивания — на мнении работодателей или количественных показателях работы университета.

В качестве примера первого подхода можно вспомнить рейтинги журналов "Корреспондент", "Деньги" и "Фокус". Рейтинг "Корреспондента" базируется исключительно на опросе работодателей. Представителей отделов кадров 29 украинских и международных компаний попросили выбрать от одного до пяти лучших вузов в шести профессиональных категориях (юриспруденции, экономике и финансах, маркетинге, пиаре и рекламе, ІТ и гуманитарных специальностях). За каждое упоминание университет получал один балл, а общее место в рейтинге выводили простым добавлениям баллов. Довольно непритязательная методология, впрочем, она понятна и доступна, к тому же, журнал опубликовал перечень компаний, мнение которых он изучил.

Редакция журнала "Деньги" также предлагала кадровикам разных компаний оценить выпускников разных вузов, разбив их на несколько категорий (экономические, юридические, технические, гуманитарные, строительные и аграрные специальности). Перечень вузов, предложенных для оценки, работодатели могли дополнить вузами, которые, по их мнению, качественно готовят студентов. Кроме того, сами университеты, которые хотели видеть себя в рейтинге, могли подать заявку на включение в него. Каждому из учебных заведений работодатели могли поставить оценку 0, 2, 5 или 10 (или промежуточный балл), что означало "не возьму на работу", "возьму, если нет альтернативы, но с зарплатой, ниже рыночной", "возьму на заплату, среднюю на рынке" и "готов взять с зарплатой, даже выше рыночной". Как дальше считаются баллы каждого вуза, методология рейтинга, изложенная отдельным блоком при публикации, не уточняет, но, взглянув на собственно рейтинг, можно понять, что составители просто посчитали среднее арифметическое оценок, полученных каждым университетом. Перечня компаний, оценивавших вузы в 2015 г., журнал не публикует, однако в публикации рейтинга за 2014 г. можно найти такой перечень (впрочем, не совсем понятно, исчерпывающий ли он).

Рейтинг "Фокуса" тоже опирается на мнение работодателей, а именно 22 крупнейших компаний — им предложили оценить знания, практические навыки и умение обучаться выпускников лучших вузов страны (50% от итогового балла). К этому составители рейтинга добавили данные рейтинга "Вебометрикс" (который показывает, как представлены университеты в Интернете) и индекс Хирша (измеряющий цитируемость научных работ, написанных преподавателями) — по 25% оценки. "Фокус" также уточнил, к каким именно работодателям он обращался за оценкой, и описал методологию — впрочем, не уточнив, как именно для рейтинга пересчитывались баллы "Вебометрикса" и индекс Хирша. Понятно только, что за основу брались показатели КНУ им. Шевченко, который имеет максимальный среди украинских вузов балл в обоих этих измерениях.

Еще более софистицирован в плане методологии рейтинг "Компас", составлявшийся до 2013 г. компанией СКМ. Его готовили на основе опросов работодателей, выпускников и экспертов (последнее использовали, чтобы определить весовые коэффициенты для каждого из критериев рейтинга). По сравнению с другими репутационными рейтингами "Компас" — очевидно, благодаря привлечению Киевского международного института социологии — имеет значительно более проработанную методологию. Прежде всего, это касается отбора респондентов, а также оценивания веса критериев.

Следует отметить, что рейтинги, которые опираются на опросы работодателей, хотя и пытаются охватить крупнейшие компании в разных сферах экономики, страдают недостатком системности, — ни одна из них (кроме "Компаса") не публикует критериев, по которым выбирала респондентов. Так что можно предположить, что этот опрос не репрезентативен и не дает хотя бы более-менее достоверной картины по всему рынку труда.

Теперь взглянем на другой тип рейтингов — основанных на количественных показателях.

Один из самых известных в Украине университетских рейтингов "Топ-200 Украина", составляемый Центром международных проектов "Євроосвіта", включает агрегированный показатель (интегральный индекс), формируемый на основе индикаторов прямого измерения (80%), экспертной оценки качества подготовки выпускников вузов представителями работодателей и академического сообщества (15%), а также международных наукометрических и веб-метрических данных (5%). Интегральный индекс представлен тремя составляющими: качеством научно-педагогического потенциала (42%), качеством обучения (26%), международным признанием (12%). Качество педагогического потенциала, в свою очередь, измеряется количеством академиков и членкоров НАН и отраслевых академий наук, докторов, кандидатов наук, лауреатов государственных премий среди преподавателей вуза, а также количеством патентов, полученных университетом. Качество обучения оценивается по количеству победителей международных и всеукраинских студенческих олимпиад, соотношению бакалавров и магистров и масштабу вуза (общее количество студентов, разделенное на среднее количество студентов в вузе по стране). Международное признание определяется, прежде всего, по количеству иностранных студентов, а также по членству в международных ассоциациях университетов. Как именно проводилась экспертная оценка, в методологии не указано. Кроме того, последнее описание методологии представлено по опросу 2009 г., так что остается предположить, что за последние шесть лет она не изменялась. Как видим, значительную часть рейтингового балла составляет показатель качества научно-педагогического потенциала. При этом 36 из 42% этого показателя приходится на критерии членства в академиях наук. Учитывая, честно говоря, мафусаилов возраст украинских академиков, многочисленные жалобы на низкое качество исследований и бюрократический принцип продвижения по карьерной лестнице в НАН, эта часть рейтинга представляется не особо показательной в контексте качества преподавания. То же касается составляющей качества обучения — 11 из 26% приходится на критерий "масштаб вуза", хотя не очень понятно, как количество студентов коррелирует с качеством обучения. Количество международных студентов, формирующее половину балла за международное признание, могло бы считаться объективным показателем, как в большинстве международных рейтингов. Однако не стоит забывать, что подавляющее большинство иностранных студентов в Украине — выходцы из стран СНГ, Африки, Азии и Ближнего Востока или стран глобального Юга, которые едут в Украину, учитывая не столько качественное образование, сколько низкие цены и высокий уровень коррупции, — ведь у нас можно просто купить диплом, фактически не учась.

На основе рейтинга Топ-200 сайт Osvita.ua составил свой рейтинг, добавив к нему результаты рейтинга Scopus и "Вебометрикс". Вместе с этим добавились и методологические недостатки. Скажем, Scopus учитывает лишь показатель цитирований (индекс Хирша), без соотношения к количеству преподавателей в университете, так что крупные университеты имеют очевидное преимущество. Также нет соотношения согласно специальности, то есть не учтена специфика публикаций в разных научных отраслях (которая обычно учитывается в международных рейтингах). Рейтинг "Вебометрикс", измеряющий влияние и присутствие официального сайта вуза в Интернете, также имеет определенные методологические замечания: университеты могут накручивать показатели, создавая субдомены для каждого факультета и кафедры, или же более простыми методами.

Подводя итог, можно сказать, что изучение методологий университетских рейтингов показывает нам не столько лучшие или худшие украинские вузы, сколько системные проблемы украинского высшего образования в целом. Низкие позиции или отсутствие в ведущих международных рейтингах свидетельствует о недостаточной научной деятельности в украинских университетах, проблемах с интеграцией в международную научную и образовательную среду (часто — просто из-за языкового барьера), также это свидетельствует об "утечке мозгов" из-за низких зарплат и бесперспективности.

Украинские же рейтинги, скорее, свидетельствуют о невозможности оценить уровень образования, исходя из количественных показателей. Ведь в украинском высшем образовании из-за системной коррупции, отсутствия механизмов обеспечения качества образования и научной деятельности все эти показатели — и научные степени, и ученые звания, и магистерские дипломы, и международное сотрудничество — слишком часто являются профанацией.

Таким образом, украинским студентам будет полезнее потратить время и самостоятельно изучить сайты университетов, среди которых они выбирают, и отзывы студентов в соцсетях, чем полагаться на университетские рейтинги.





Додатково:

"Trv-science": Мировые рейтинги университетов как мыльная опера

Рейтинг публікаційної активності наукових установ — Nature Index 2015

Сергій Курбатов: Дослідницький університет та проблема його розбудови

Рейтингам - вісім років. Що ми зрозуміли?