Шрифт
Source Sans Pro
Размер шрифта
18
Цвет фона
Благодарности
Эта книга обязана своим появлением Катрин Доннар, в июне 2011 года пригласившей меня прочитать лекцию об использовании библиометрии в Национальном институте агрономических исследований (Institut National de la Recherche Agronomique, INRA). Это приглашение убедило меня в том, что настало время разобраться с многочисленными и зачастую бессодержательными дебатами по поводу использования библиометрии в оценке научных исследований. За последние пятнадцать лет мне неоднократно приходилось выступать на эту тему на разных публичных площадках. Здесь я воспроизвожу и отчасти подробнее развиваю некоторые из этих выступлений, чтобы нарисовать как можно более полную картину того, как следует и как не следует использовать библиометрию. Мне хотелось бы поблагодарить коллег, которые прочитали этот текст и сделали полезные замечания: Жерома Бурдье, Мишеля Гроссетти, Йохана Хейлброна, Камий Лимож, Венсана Ларивьера, Франка Пупо, Виктора Штоцковски и Жан-Филиппа Уаррена. Я также признателен Жан-Пьеру Робитаю и Филиппу Монжону за подготовку графиков. Разумеется, я несу полную ответственность как за содержание этой книги, так и за ошибки, которые могут в ней обнаружиться.
Введение
«Оценка»… Это слово вот уже несколько лет сотрясает академический и университетский мир. Особенно это ощущается в Европе, где с начала 2000-х годов идет процесс реформирования высшего образования. Оценивать стремятся всех и вся: преподавателей, профессоров, исследователей, учебные программы и сами университеты. Показателей превосходства (excellence) и качества становится все больше, однако не всегда понятно, на каких основаниях эти показатели сконструированы.
Среди инструментов, используемых для создания многочисленных индикаторов превосходства, которые менеджерский подход к высшему образованию и науке повсеместно навязывает как некую очевидность, одно из почетных мест принадлежит сегодня библиометрии. В качестве критериев оценки научной продукции и ее различных применений этот исследовательский метод использует научные публикации и их цитирование. Подсчет числа публикаций и ссылок, производимый с целью рейтингования университетов, лабораторий или исследователей, часто выдается за объективную меру ценности тех или иных научных результатов.
Реагируя на распространение этих количественных показателей, многие исследователи критикуют библиометрию, ее изъяны и побочные эффекты, связанные с тем, что количество публикаций, а главное, число ссылок на них стали показателем качества и импакта их работ. Однако, как ни парадоксально, зачастую сами исследователи, принадлежащие к разным дисциплинам, спешат упомянуть об импакт-факторе журналов, в которых они публикуются, и кичатся своим индексом Хирша, как будто это гарантия их ценности и успеха. При этом они не всегда указывают на источник этих цифр и даже не вполне понимают реальное значение подобных показателей. Иными словами, невозможно всерьез вменять в вину одним лишь бюрократам всю эту «измерительную лихорадку». Ее сопровождает бешеная гонка к вершинам многочисленных рейтингов университетов, тогда как – и мы это покажем – эти рейтинги не имеют под собой ни малейшего научного основания.
Во Франции в результате принятия закона 2007 года об автономии университетов и попыток реформирования организации научных исследований возникла повышенная чувствительность к вопросам оценивания, которые прежде мало обсуждались во французских академических кругах. Под влиянием этого контекста и несмотря на то что использование библиометрии редко является единственным критерием оценки, утвердилось ложное и опасное представление о тождестве между библиометрией и оцениванием, как если бы библиометрия была нужна лишь для оценки исследователей. А ведь именно отсутствие серьезной методологической рефлексии дает простор для хаотического, если не сказать дикого использования библиометрии. Например, на страницах журналов Nature, Science или в блогах полным-полно писем, опубликованных учеными, которые записались в «оценщики»… в основном своих конкурентов. Пока исследователи занимаются вычислением своего h-индекса в базах данных, не особо понимая, что он в действительности означает, профессора разглядывают под лупой многочисленные мировые рейтинги, чтобы выбрать из них тот самый, в котором их университет займет наилучшее место. Как отмечается в отчете Жоэля Бурдена, сенатора департамента Ер (Eure), в разных рейтингах почему-то систематически оказываются на первых позициях университеты разных стран: «Шанхайский рейтинг очень благоволит американским университетам… английский же рейтинг подчеркивает достижения вузов Соединенного королевства… а по Лейденскому рейтингу на лучших местах оказываются нидерландские университеты». Автор мог бы еще добавить, что рейтинг парижской Горной школы (Ecole des mines) отдает предпочтение французским высшим школам (grandes écoles)…
Хотя самые известные рейтинги университетов (включая Шанхайский) часто основываются и на библиометрических данных, проблемы, которые они поднимают, относятся не только к оценке научных исследований. Несмотря на частую критику в адрес этих рейтингов, большинство их защитников довольствуются тем, что указывают на их ограничения, не поднимая вопроса об их эпистемологических основаниях: действительно ли выбранные для рейтингования показатели обладают тем значением, которое им приписывается? В этой связи необходимо всерьез задуматься о компетентности многих руководителей вузов. Так, во Франции 61 % из них заявляют о том, что хотят повысить позицию своего университета в Шанхайском рейтинге, хотя можно с большой долей уверенности предполагать, что они не знают, что именно он измеряет!
С середины 2000-х годов проходят многочисленные конференции и появляется множество публикаций об оценке научных исследований. В них постоянно всплывают одни и те же вопросы по поводу применения библиометрии, которые свидетельствуют о сложности в определении способов оценки науки. Эти вопросы часто возникают, с одной стороны, из-за непрозрачности используемых концептов и показателей, а с другой стороны, из-за несогласия по поводу того, на каком уровне они могут применяться с пользой. По моему мнению, ясное понимание специфических характеристик самых распространенных библиометрических показателей и сфер их применения важно постольку, поскольку оценки избежать невозможно (да и едва ли желательно). Однако при этом не обойтись и без строго обоснованной критики плохо сконструированных показателей, использование которых чревато негативными последствиями.
Таким образом, цель этой работы – не только представить в обобщенном виде методы библиометрического исследования и различные области их применения, но также показать, что у них есть гораздо более широкое поле приложения, чем оценка научных исследований, представляющая собой относительно недавний и еще не отрефлексированный феномен. Выявив происхождение библиометрии (глава I) и рассмотрев, каким образом она может служить инструментом для анализа развития науки (глава II), мы обрисуем все разнообразие оценок, которым уже давно подвергается мир высшего образования и научных исследований, а также то, как с середины 1970-х годов постепенно вводились в обиход библиометрические методы (глава III). Наконец, в последней главе представлен анализ показателей, наиболее часто используемых для оценки исследователей, а также критика тех злоупотреблений, к которым может приводить такое их применение.
Глава I. Истоки библиометрии
Прежде чем начать разговор о библиометрии, стоит прояснить терминологию, используемую в этой области. Термин «наукометрия» обычно связывается с именем физика Василия Васильевича Налимова, опубликовавшего в 1969 году книгу с таким названием. Наукометрия включает в себя количественное измерение разных видов научной деятельности в самых разных дисциплинах. Ее данные содержат суммы инвестиций в исследования и разработки (Research and Development, R&D), обучение научного персонала и производство статей и патентов. «Библиометрия», термин, введенный в обращение в том же 1969 году Аланом Причардом, означает подраздел наукометрии. Она ограничивается анализом публикаций и их характеристик. И наконец, если в анализ включаются также патенты, часто используется термин «технометрия».
При слове «публикации» первыми приходят на ум научные статьи, однако публикации могут быть самого разного рода. Они включают как книги, так и диссертации, а также так называемую «серую» литературу – отчеты и аналитические записки. Возможность для более или менее тонкого анализа этих различных источников зависит лишь от степени их доступности в форме баз данных. Когда автоматической обработки данных при помощи компьютеров еще не существовало, библиометрический анализ осуществлялся вручную, ограничиваясь несколькими десятками публикаций в отдельных областях науки, таких как химия или социология.
Несмотря на четкие различия между наукометрией и библиометрией, использование библиометрических данных в исследовании научной динамики отныне настолько вошло в привычку, что оба термина быстро стали взаимозаменяемыми.
