Часто статьи в журнале группируются, исходя из ранжирования журналов (по рейтингам журналов). В некоторых научных областях есть устоявшаяся система рейтингования журналов, но в некоторых такие системы ограничены. Эффект также может быть измерен индикаторами, связанными с количеством цитирований, премиями и наградами, возможностями по трудоустройству выпускников PhD, коммерциализацией результатов исследований и оценкой их конечным потребителем.
Таблица 11
Индикаторы эффекта Систем финансирования исследований на основе оценки эффективности – PBRFs
Количество цитирований – индикатор эффекта, который учитывает частоту публикаций и частоту, с которой опубликованные материалы процитированы другими исследователями. Так как исследователи цитируют друг друга по множеству причин, то дискуссионным остается вопрос о том, что фактически измеряет количество цитирований. Предполагается, что исследователи цитируют друг друга, поскольку основываются на идеях и результатах других исследователей, и количество цитирований является характеристикой качества. Но насколько значительно такое качественное измерение? Повод для цитирования также может быть неоднозначным. Не всегда ссылка на работу другого исследователя используется в качестве поддержки собственной точки зрения исследователя. Ссылка может использоваться и для того, чтобы не согласиться с точкой зрения другого автора или показать общее понимание предметной области. Измерение качества исследований без использования количества цитирований осложняется тем, что информация для этого больше имеет отношение к коммуникационным структурам и профессиональным сообществам.
В академическом сообществе продолжается обсуждение возможности использования и неправильного употребления статистики цитирования. В 2008 году Объединенный комитет количественной оценки исследований (Joint IMU/ICIAM/IMS[16] Committee on Quantitative Assessment of Research) опуб ликовал отчет об ограничениях статистики цитирования и рекомендациях по ее использованию. Предпосылкой для создания отчета стало наблюдение того, что для большей прозрачности и ответственности в академическом мире создана культура чисел. Комитет в своем отчете отметил, что лица, принимающие решения, при отсутствии возможности измерить качество (конечная цель) заменяют качество числами, которые они могут измерить. Эта тенденция призывает дать комментарий тех, кто профессионально имеет дело с числами – математиков и статистиков[17].
Отчет был прокомментирован другими экспертами, которые признают распространенное неправильное употребление данных о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18].
Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных
IMU = International Mathematical Union, ICIAM = International Council of Industrial and Applied Mathematics, IMS = Institute of Mathematical Statistics.
Adler R., Ewing J. and Taylor P. (2008) Citation Statistics. Joint Committee on Quantitative Assessment of Research.
Lehmann S., Lautrup B. E. and Jackson A. (2009) Comment: Citation Statistics.
