Начиная проект в октябре 2007 г., мы предлагали не фиксировать заранее пороговых показателей до промежуточного анализа данных. Первая попытка такого анализа для cond-mat через полгода после начала проекта привела к пробному определению «порога» 5, при котором число экспертов было примерно вдвое меньше, чем число выборщиков.
Сейчас число опрошенных и ответивших не только существенно больше, но и составляет качественно иную выборку. Поскольку вторичный опрос по физике и астрономии пока не завершен, мы не приводим ниже промежуточной статистики по городам, странам, институтам — таковая обязательно будет (не позднее, чем к традиционному семинару).
В первый год проекта при выделении специализаций вынужденно приходилось ориентироваться на исходную «разметку» списка первичных выборщиков.
Некоторые элементы разметки отвечают малому числу людей или не вполне определены (например, physics), поэтому ниже (временно) они просто объединены под названием «другая физика» (около 40 кодов двухуровневого классификатора, частично пересекаются с кодами cond-mat — физики конденсированного состояния). В сборную специализацию «другая физика» включены также все «междисциплинарные» участники и рекомендованные (в том числе обозначенные в исходных списках chem, geol, biophysics, techn, mater sci).
Выделены еще две относительно компактные группы — физика высоких энергий и ядерная физика (hep-nucl, немногим более 10 кодов) и астрономия (astro, единичные коды).
Ниже приведен фактический материал, который проясняет по крайней мере следующие обстоятельства.
- Реально оказались готовы участвовать в опросе около 40% первичных выборщиков из списков who-is-who (Mi/S Mi в Таблице 1). Год назад мы опасались, что не наберется и 25%, и предполагали в этом случае закрыть проект.
- Распределение голосов существенно зависит от специализации, причем не только из-за различия числа первичных выборщиков; например, в hep-nucl и astro явно обнаруживается «непропорциональное» смещение в сторону лидеров по сравнению с cond-mat ((Nmax)i в Таблице 2).
- Несмотря на первоначальное предложение называть 20–25 человек (вместе с иностранцами) и снятие в дальнейшем каких-либо ограничений на число названных, не дотянули даже до 15 (без иностранцев получилось 11–13, Ri/Pi в Таблице 1). То ли многим участникам некого назвать, то ли некогда подумать.
- В науках с достаточно высокой публикационной активностью (примером каковых является физика) цитируемость реально является необходимым условием общепризнанных экспертных возможностей — присутствуют имена только из списков who-is-who (цифры в скобках) и из диаспоры (суммированы с пометкой д в таблице 2), пока одно исключение — но и в этом случае CI86 около 1000.
- Столь же очевидна недостаточность цитируемости — около 40% физиков и около 30% астрономов из списков who-is-who не были названы в опросе ни разу (Ti/Mi, Таблица 1).
- Общая тенденция у всех, кроме hep — лидеры имеют общее цитирование значимо ниже, чем топ-группа в среднем, но довольно высокое активное цитирование.
- Уже во втором туре опроса по cond-mat, проведенном «с запасом» (с «подпороговым показателем 4+ для вторичных выборщиков) заведомо достигнута сходимость: прирост не только числа экспертов, но и числа рекомендаций оказался ниже 10%. Вторичный опрос с порогом 5+ для physics&astro пока дает ничтожный прирост.
- Список всех названных хотя бы один раз невелик: в результате опроса около 1300 (из примерно 2000 в первоначальном списке) «прирост» составил не более 1500 человек, хотя никаких! ограничений по цитируемости, импактности и т.п. выборщикам не указывали — строго наоборот.
- Среди рекомендованных хотя бы один раз (2196) коллеги из исходных списков составляют 35%. Однако по числу полученных «голосов» они в среднем смещены в верхнюю часть списка рекомендованных и, как показали итоги опроса по cond-mat, при пороге 5+ составляют более 60%. В опросе по физике и астрономии пока тенденция такая же, и даже более ярко выраженная.
В ближайшее время предстоит продолжать анализ данных, обсуждать и решать следующие вопросы.
1. Должен ли порог по cond-mat, hep и astro быть одинаковым? Разным?
2. Нужен ли опрос вторичных выборщиков по physics&astro с более низким, чем 5+, показателем?
3. Имеет ли смысл объявлять экспертами лидеров «малых» специализаций до детального анализа распределения по кодам и ключевым словам?