Методика выбора экспертов, первоначально применявшася в ходе проекта (2007 - 2009 г.), остается неизменной в части принципа составления списка рекомендателей: критерии увязываются исключительно с научными публикациями. Однако для специальностей с особыми публикационными традициями (например, с невысоким цитированием), а также для специальностей, отсутствующих или слабо представленных в России, методика требует частных модификаций.

Некоторые модифицированные версии методики, предложенные консультантами и участниками проекта, подробно обсуждались на семинаре. В 2010 рабочая группа начала проработку и реализацию этих предложений (дополнительнпя информация будет появляться в новостях).

Первоначальная методика

 1. Первичная рассылка писем всем ученым, перечисленным в списках на scientific.ru (далее — первичные рекомендатели). Всего таких ученых на сегодня — около 2000. На первом этапе рассылка производится только тем ученым из списка, которые работают в области физики конденсированных сред (таковых около 400), далее проект будет распространен на специалистов по остальным разделам физики и математике, в конечном счете предполагается охватить все естественнонаучные дисциплины. В письме содержится просьба рекомендовать в эксперты ученых, работающих в той же области науки, что и адресат. Желательное количество рекомендуемых экспертов — от 20 до 25.

Выбор рекомендуемых должен опираться на научный уровень, значимость результатов, эрудицию, каковые рекомендующий оценивает сам по единым критериям для входящих и не входящих в списки цитируемых ученых. Предполагается, что будут называться как российские, так и зарубежные ученые (включая и англоязычных).

В дальнейшем планируется постепенное расширение круга дисциплин. В ряде дисциплин (например, зоологии) число ученых, входящих в списки Scientific, недостаточно из-за традиционно меньшего числа цитирований работ. Для таких дисциплин в дальнейшем предполагается расширить список первичных рекомендателей, понизив порог по индексу цитируемости.

Приветствуются предложения по оптимизации необходимых для следующих этапов классификаторов по химии, биологии и науках о земле.

2. В течение некоторого времени собираются ответы и комплектуются списки рекомендованных в эксперты. Полученная информация о наиболее часто называемых по каждой специальности (коду классификатора) оперативно отражается в сети. Тем, кто не ответил, посылаются повторные письма. Если в течение нескольких месяцев ответит менее четверти опрошенных, проект следует признать неудавшимся и закрыть.

3. Если ответит более четверти опрошенных, формируется пул экспертов первого тура по следующей процедуре: вводится порог по числу рекомендаций, и все, прошедшие этот порог, рассматриваются в дальнейшем как эксперты. Вопрос о величине порога (и, соответственно, об общей численности корпуса экспертов) может быть решен только после накопления некоторого количества ответов, вполне вероятно, что для каждой дисциплины потребуется специфичное решение.

Можно предположить, что по некоторым дисциплинам (кодам классификатора) в ходе опроса будет названо значительно меньше людей, чем по другим, в предельном случае — не назван никто или названы только зарубежные ученые. Тому может быть несколько причин:

— несовершенство классификатора;

— устойчивое отсутствие в России сколько-нибудь существенных работ в этом направлении;

— слишком высокий порог на старте опроса;

— узость и изолированность направления, вследствие которой экспертов этого профиля не называют "соседи" по специальности.

Проект предполагает возможность самых разнообразных дополнительных и публично обсуждаемых шагов для каждого из таких "проблемных" направлений. Сбор сведений о ключевых словах призван способствовать усовершенствованию классификаторов.

4. Проводится дополнительный сбор информации: уточняется место работы, ключевые слова и позиции классификатора для каждого эксперта, результаты (в том числе распределение опрошенных и названных по каждому коду классификатора) размещаются в открытом доступе.

5. Ученые, зачисленные с учетом порогового показателя в эксперты, но не участвовавшие в первом туре опроса, становятся рекомендателями второго тура. Им рассылаются аналогичные письма.

6. Рекомендации второго тура суммируются с рекомендациями первого тура. Список экспертов расширяется за счет тех, кто теперь проходит порог, установленный в первом туре. На этом этапе может быть скорректировано решение о пороговых показателях.

7. Проводятся следующие туры с повторением шагов 4–6 до тех пор, пока прирост числа экспертов в очередном туре для той или иной специальности не станет ниже 10–20%.

8. В случае успеха проекта периодически (раз в 3 - 5 лет) проводятся повторные опросы с целью выявления новых экспертов.

Модифицированная методика: дополнительный опрос по астрономии, март 2010

В ходе опроса по астрономии в 2008 г. был составлен список экспертов по астрофизике (см. комментарий). Чтобы дополнить его  в части других астрономических специализаций, в марте 2010 был проведен дополнительный опрос, в котором приняли участие все эксперты по астрономии, а также ранее названные в опросе не менее четырех раз. К ним обращались с просьбой назвать возможных экспертов по "пропущенным" ранее направлениям, определенным кодами классификатора по астрономии.

Модифицированная методика: дополнительный опрос по физике плазмы, май-июнь 2010

В ходе опроса по физике в 2008 г. не удалось составить списка экспертов по физике плазмы. Поскольку в разных разделах физики плазмы цитирование неоднородно (часто ниже, чем в среднем по физике), при организации дополнительного опроса для рекомендателей снижен «порог» по цитированию. Письма с просьбой рекомендовать экспертов решено направить авторам статей в профильных журналах по физике плазмы, имеющим общее цитирование не менее 500 и/или "активное" цитирование не менее 60. Раздел 50 классификатора по физике, относящийся к физике плазмы, расширен. Подробнее о методике дополнительного опроса.