Scientific.ru
Корпус экспертов: предлагаемая методика проекта
Последняя редакция 9 октября 2007 г.

Предлагаемая на данном этапе методика выбора экспертов может быть в дальнейшем модифицирована. Некоторые конкретные шаги и количественные показатели не могут быть жестко зафиксированы до проведения промежуточного анализа данных, которые предстоит получить в ходе выполнения проекта. Эти данные могут быть в дальнейшем обработаны и по какой-либо иной методике, если таковая будет предложена научными работниками в ходе открытого обсуждения. Рабочая группа обязуется суммировать и учитывать поступающие предложения и замечания (контактный e-mail qexpertise@scientific.ru).

1. Первичная рассылка писем всем ученым, перечисленным в списках на scientific.ru (далее — первичные рекомендатели). Всего таких ученых на сегодня — около 2000. На первом этапе рассылка производится только тем ученым из списка, которые работают в области физики конденсированных сред (таковых около 400), далее проект будет распространен на специалистов по остальным разделам физики и математике, в конечном счете предполагается охватить все естественнонаучные дисциплины. В письме содержится просьба рекомендовать в эксперты ученых, работающих в той же области науки, что и адресат. Желательное количество рекомендуемых экспертов — от 20 до 25. Выбор рекомендуемых должен опираться на научный уровень, значимость результатов, эрудицию, каковые рекомендующий оценивает сам по единым критериям для входящих и не входящих в списки цитируемых ученых. Предполагается, что будут называться как российские, так и зарубежные ученые (включая и англоязычных).

В дальнейшем планируется постепенное расширение круга дисциплин. В ряде дисциплин (например, зоологии) число ученых, входящих в списки Scientific, недостаточно из-за традиционно меньшего числа цитирований работ. Для таких дисциплин в дальнейшем предполагается расширить список первичных рекомендателей, понизив порог по индексу цитируемости.

Приветствуются предложения по оптимизации необходимых для следующих этапов классификаторов по химии, биологии и науках о земле.

2. В течение некоторого времени собираются ответы и комплектуются списки рекомендованных в эксперты. Полученная информация о наиболее часто называемых по каждой специальности (коду классификатора) оперативно отражается в сети. Тем, кто не ответил, посылаются повторные письма. Если в течение нескольких месяцев ответит менее четверти опрошенных, проект следует признать неудавшимся и закрыть.

3. Если ответит более четверти опрошенных, формируется пул экспертов первого тура по следующей процедуре: вводится порог по числу рекомендаций, и все, прошедшие этот порог, рассматриваются в дальнейшем как эксперты. Вопрос о величине порога (и, соответственно, об общей численности корпуса экспертов) может быть решен только после накопления некоторого количества ответов, вполне вероятно, что для каждой дисциплины потребуется специфичное решение.

Можно предположить, что по некоторым дисциплинам (кодам классификатора) в ходе опроса будет названо значительно меньше людей, чем по другим, в предельном случае — не назван никто или названы только зарубежные ученые. Тому может быть несколько причин:

  • несовершенство классификатора;
  • устойчивое отсутствие в России сколько-нибудь существенных работ в этом направлении;
  • слишком высокий порог на старте опроса;
  • узость и изолированность направления, вследствие которой экспертов этого профиля не называют "соседи" по специальности.

Проект предполагает возможность самых разнообразных дополнительных и публично обсуждаемых шагов для каждого из таких "проблемных" направлений. Сбор сведений о ключевых словах призван способствовать усовершенствованию классификаторов.

4. Проводится дополнительный сбор информации: уточняется место работы, ключевые слова и позиции классификатора для каждого эксперта, результаты (в том числе распределение опрошенных и названных по каждому коду классификатора) размещаются в открытом доступе.

5. Ученые, зачисленные с учетом порогового показателя в эксперты, но не участвовавшие в первом туре опроса, становятся рекомендателями второго тура. Им рассылаются аналогичные письма.

6. Рекомендации второго тура суммируются с рекомендациями первого тура. Список экспертов расширяется за счет тех, кто теперь проходит порог, установленный в первом туре. На этом этапе может быть скорректировано решение о пороговых показателях.

7. Проводятся следующие туры с повторением шагов 4–6 до тех пор, пока прирост числа экспертов в очередном туре для той или иной специальности не станет ниже 10–20%.

8. В случае успеха проекта периодически (раз в 3 - 5 лет) проводятся повторные опросы с целью выявления новых экспертов.