Ограничения в использовании библиометрических методов

Несмотря на то, что библиометрические подходы в сравнении с другими методами более объективны, они все же имеют некоторые ограничения в использовании, пренебрежение которыми может привести к недостоверным результатам оценки. При библиометрическом анализе научных журналов следует учитывать, что их метрические индикаторы можно сравнивать только в пределах одной и той же дисциплины из-за различных моделей цитирования в разных областях. Альтернативой этому является введение поправочных коэффициентов, которые применяются, например, в журнальной метрике SNIP. 

В связи с этим значительные трудности вызывает библиометрическая оценка политематических изданий. В некоторых областях, чаще всего гуманитарных, отсутствует практика обильного цитирования, поэтому традиционные инструменты построения рейтинга журналов не подходят для оценки некоторых дисциплин. Кроме того, использование различных данных об источниках и инструментов метрических показателей ведет к разной (часто противоречащей друг другу) оценке одних и тех же журналов в разных БД. 

При определении цитируемости автора, научного коллектива или организации в ряде областей библиометрические БД часто не индексируют издания, в которых традиционно публикуются исследования. Например, слабо индексируются региональные публикации, материалы конференций, работы на национальных языках, монографии, рабочие отчеты и т.п. Часто не цитируются новаторские исследования, потенциально обладающие большой значимостью. Существует также проблема учета отрицательных цитирований и рассмотрения их как равноправных с положительными ссылками.

При расчете библиометрических показателей возможно манипулирование с помощью таких средств, как самоцитирование, множественное авторство, разбиение результатов на несколько статей, предпочтение журналов высокоцитируемым обзорным статьям и др. Необходим учет уровня детализации, до которого производится оценка, поскольку от этого зависит результат. Следует отметить и некорректное использование библиометрических показателей цитирования, например, импакт-фактора журнала для оценки результатов работы отдельного исследователя, сравнение индекса Хирша между дисциплинами, а также игнорирование выявленных вариаций моделей цитирования].

Недостатки библиометрических показателей связаны в том числе с ошибками в списке литературы; «забыванием» имен классиков, когда авторы считают, что их вклад и так хорошо известен; сокрытием первоисточников, т. е. включением в перечень цитируемой литературы не концептуальных работ, а их модификаций и др.
Следует также понимать, что все эти показатели являются статистическими и ни в коей мере не могут отражать качество какой-либо отдельно взятой статьи или однозначно характеризовать уровень конкретного ученого. Большое количество цитирований может означать как очень высокий уровень представленных в статье результатов, так и наличие в ней грубейших ошибок, но однозначно можно сказать, что тема, затронутая в высокоцитируемой статье, вызывает интерес большого количества ученых. 

В любом случае для целей какой-либо оценки опираться только на статистические показатели нельзя, необходима и экспертная оценка, в каждом случае своего уровня. Публикации являются хорошим показателем результативности научной деятельности в первую очередь для фундаментальных исследований, и то не во всех областях наук. Например, значимость научной деятельности специалистов в области программирования определяется не статьями, а написанными программами и т.д.

На библиометрические подходы в России обратили внимание после того, как с 2001 г. Б. Штерн стал публиковать списки наиболее цитируемых российских ученых (по Web of Science) на сайте www.scientific.ru в рамках проекта «Кто есть кто в российской науке». Наукометрические подходы в зарубежных странах активно развиваются, особенно после предложения в 2005 г. оценивать вклад ученых по индексу Хирша.