Модель итеративной групповой экспертной процедуры Сидельников Юрий Валентинович

Модель итеративной групповой экспертной процедуры Сидельников Юрий Валентинович, д. т. н. , проф. , г. н. с. Института проблем управления РАН и Института проблем развития науки РАН Первый вице-президент Международной Академии исследований будущего. 1

Цель разработки модели Модель необходима для: 1. Систематического анализа, сравнения, поиска новых, и улучшения имеющихся итеративных групповых экспертных процедур. 2. Подбора наиболее подходящей процедуры, при решении экспертных задач. 3. Снятия неясности в описании существующих процедур. 4. Достаточно полного описания имеющихся и новых итеративных групповых экспертных процедур. 2

Показатели, характеризующие процедуру. В работе рассматриваются показатели, характеризующие процедуру с точки зрения главной нашей задачи - повышения качества экспертного заключения. Конечно, можно рассмотреть показатели, характеризующие экспертные итеративные процедуры с точки зрения удобства их использования, экономичности, временных и материальных затрат и т. д. 3

Ограничения на модель и итеративную процедуру При построении модели процедуры мы будем брать за основу информационные аспекты процесса получения информации группой экспертов. Ограничения на экспертную процедуру: 1. Группа состоит не менее, чем из двух экспертов. 2. Число итераций конечно и не меньше двух. 3. Не все эксперты группы взаимодействуют непосредственно друг с другом. 4

Четыре группы показателей, характеризующих итеративную процедуру • показатели, характеризующие взаимодействие экспертов и связанное с ним преобразование информации; • показатели, характеризующие экспертов, дающих информацию (датчиков); • показатели, характеризующие экспертов, принимающих информацию (приемников); • показатели, характеризующие процедуру в целом. 5

Показатели, характеризующие взаимодействие экспертов и связанное с ним преобразование информации 1. Формы информационного взаимодействия экспертов на i-ой итерации (ФВ). 1. 1. Полное отсутствие взаимодействия (ФВ 1). 1. 2. Полная анонимность. Эксперт, хотя и получает информацию от датчиков, но не знает, чья эта информация (ФВ 2). 1. 3. Частичная анонимность. Эксперт не знает, от кого информация, но получает сведения, характеризующие датчика как специалиста (ФВ 3). 1. 4. Непосредственное взаимодействие части группы экспертов. Эксперт знает, кто дает информацию (ФВ 4). 6

Показатели, характеризующие взаимодействие экспертов и связанное с ним преобразование информации 2. Вид результирующего отношения на i-ой итерации (РИ). 2. 1. Индивидуальные суждения не преобразуются в групповое (РИ 1). 2. 2. Позиционные средние для чисел (типа медианы) (РИ 2). 2. 3. Аналитические средние для чисел (типа средней арифметической) (РИ 3). 2. 4. Среднее по Кемени или медиана(для ранжировок) (РИ 4). 7

Показатели, характеризующие взаимодействие экспертов и связанное с ним преобразование информации 3. Вид дополнительной интегрированной информации (ДИ). 3. 1. Дополнительная информация отсутствует (ДИ 1). 3. 2. Показатель разброса оценок (например, интервал между крайними квартилями) (ДИ 2). 3. 3 Обоснование своих оценок (ДИ 3). 8

Показатели, характеризующие взаимодействие экспертов и связанное с ним преобразование информации 4. Вид дополнительной информации, скрытой от экспертов (СДИ). 4. 1. Скрытая дополнительная информация отсутствует (СДИ 1). 4. 2. Средний групповой интервал (СДИ 2). 4. 3. Часть исходного интервала, определяемая групповым суждением (СДИ 3). 9

Показатели, характеризующие экспертов, дающих информацию (датчиков) 1. Доля датчиков в группе экспертов или их число на i-ой итерации (ДД). 1. 1. Один эксперт из группы является датчиком на i -ой итерации (ДД 1). 1. 2. Более одного, но не все эксперты группы являются датчиками на i-й итерации (например, одна треть группы или ее половина) (ДД 2). 1. 3. Все эксперты группы являются датчиками информации на i-й итерации (ДД 3). 10

Показатели, характеризующие экспертов, дающих информацию (датчиков) 2. Условие назначения лиц, определяющих датчиков, в случае, если не все члены группы ими являются (КД). 2. 1. Датчиков определяют лица, не являющиеся членами группы экспертов (например, ЛПР или методолог) (КД 1). 2. 2. Датчиков определяет выделенный на этой итерации эксперт (КД 2). 2. 3. Эксперт сам определяет, является ли он датчиком на i-ой итерации (КД 3). 11

Показатели, характеризующие экспертов, дающих информацию (датчиков) 3. Правило (основание) для выбора датчиков в случае, если не все члены группы ими являются (ПД). 3. 1. Датчиков определяют на i-ой итерации случайным образом (ПД 1). 3. 2. Датчиков определяют на основе значения некоторого показателя (ПД 2). 3. 3. Датчиков определяют в некоторой последовательности, на основе комбинации вышеуказанных правил (ПД 3). 12

Показатели, характеризующие экспертов, дающих информацию (датчиков) 4. Вид выходной информации от экспертовдатчиков на i-й итерации (ИД). 4. 1. Вербальная оценка, включая оценки «если. . , то. . » (ИД 1, 0). 4. 2. Группировка (ИД 2, 0). . . 4. 11. Функциональная оценка (ИД 11, 0). 4. 12. Вербальная оценка и степень уверенности эксперта в ней, выраженная в вербальном виде (ИД 1, 1)…………. . 13

Показатели, характеризующие экспертов, дающих информацию (датчиков) 4. Вид выходной информации от экспертов датчиков на i-й итерации (ИД). 4. 77. Функциональная оценка и степень уверенности в ней, выраженная в функциональном виде (ИД 11, 11). 4. 78. Комбинация простейших видов оценок (ИД 78). 4. 79. Развернутые сообщения (ИД 79). 4. 80. Обоснования - индивидуальные аргументы в защиту своих оценок или развернутые сообщения (ИД 80). 14

Показатели, характеризующие экспертов, дающих информацию (датчиков) 5. Способ опроса датчика на i-й итерации (ОД). 5. 1. Анкетирование (ОД 1). 5. 2. Интервью (ОД 2). 5. 3. Смешанное анкетирование (ОД 3). 15

Показатели, характеризующие эксперта, получающего информацию (приемник) 1. Число приемников или доля их в группе экспертов, принимающих информацию на i-ой итерации (ДП). 1. 1. Один эксперт из группы принимает информацию на i-ой итерации (ДП 1). 1. 2. Более одного, но не все эксперты группы принимают информацию на i-ой итерации (например, двое или четверть группы) (ДП 2). 1. 3. Все эксперты группы принимают информацию на i-ой итерации (ДП 3). 16

Показатели, характеризующие эксперта, получающего информацию (приемник) 2. Условие назначения лиц, определяющих приемников, если не все из них принимают информацию на i-ой итерации (КП). 2. 1. Приемников-экспертов определяют лица, не являющиеся членами группы (КП 1). 2. 2. Приемников-экспертов определяет выделенный на этой итерации эксперт (КП 2). 17

Показатели, характеризующие эксперта, получающего информацию (приемник) 3. Правило (основание) для выбора приемников в случае, если не все члены группы ими являются (ПП). 3. 1. Приемников определяют на i-ой итерации случайным образом (ПП 1). 3. 2. Приемников определяют на основе значения некоторого показателя (ПП 2). 3. 3. Приемников определяют в некоторой последовательности на основе комбинации вышеуказанных правил (ПП 3). 18

Показатели, характеризующие эксперта, получающего информацию (приемник) 4. Вид входной информации для эксперта (приемника) на i-й итерации (ИП). 4. 1. Вербальная оценка (ИП 1, 0). 4. 2. Группировка (ИП 2, 0). ………. . 4. 11. Функциональная оценка (ИП 11, 0). 4. 12. Вербальная оценка и степень уверенности эксперта в ней, выраженная в вербальном виде (ИП 1, 1). 19

Показатели, характеризующие эксперта, получающего информацию (приемник) 4. Вид входной информации для эксперта (приемника) на i-й итерации (ИП). 4. 77. Функциональная оценка и степень уверенности в ней, выраженная в функциональном виде (ИП 11, 11). 4. 78. Комбинация простейших видов оценок (ИП 78). 4. 79. Развернутые сообщения (ИП 79). 4. 80. Обоснования - индивидуальные аргументы в защиту своих оценок или развернутых сообщений (ИП 80). 20

Показатели групповой итеративной процедуры, характеризующие ее как некое целое. 1. Форма информационного взаимодействия экспертов (Вз). (В общем случае зависит от номера итерации. ). 1. 1. Форма взаимодействия экспертов не меняется от итерации к итерации (Вз 1). 1. 2. Форма взаимодействия экспертов изменилась лишь на последней итерации (Вз 2). 1. 3. Форма взаимодействия экспертов может меняться на каждой итерации (Вз 3). 21

Показатели групповой итеративной процедуры, характеризующие ее как некое целое. 2. Правило преобразования информации (Пр. ). 2. 1. Правило преобразования информации не меняется (Пр1). 2. 2. Правило преобразования информации изменилось лишь на второй итерации (Пр2). 2. 3. Правило преобразования информации изменилось лишь на последней итерации (Пр3). 2. 4. Правило преобразования информации может меняться на каждой итерации (Пр4). 22

Показатели групповой итеративной процедуры, характеризующие ее как некое целое. 3. Условие на правило изменения правовой и информационной структур группы (Из). 3. 1. Структуры группы не меняются (Из 1). 3. 2. Структуры группы могут меняться на каждой итерации (Из 2). 23

Показатели групповой итеративной процедуры, характеризующие ее как некое целое. 4. Правовая и информационная структуры группы (Ст). 4. 1. Структура группы однородна, все эксперты группы оперируют с одной информацией, а также обладают равными правами и обязанностями (Ст1). 4. 2. В группе выделен один эксперт, отличающийся своими правами и/или обязанностями (Ст2). 4. 3. В группе имеются одна или несколько подгрупп (локальное взаимодействие) (Ст3). 24

Показатели групповой итеративной процедуры, характеризующие ее как некое целое 5. Правило перехода от итерации к итерации (Пе). 5. 1. Необходимо получить информацию от всех участвующих в итерации экспертов, преобразовать ее и на этой основе запросить и получить дополнительную информацию от части экспертов (например, обоснование их суждений или степень уверенности в своих суждениях) (Пе 1). 5. 2. Необходимо получить от всех участвующих в итерации экспертов свои новые суждения или подтверждение своих прежних суждений (Пе 2). 25

Показатели групповой итеративной процедуры, характеризующие ее как некое целое 6. Правило остановки процедуры (Ос). 6. 1. Остановка при достижении достаточной согласованности (близости) или совпадении на двух итерациях подряд, а также совпадении индивидуальных суждений экспертов (Ос1). 6. 2. Остановка при достижении достаточно высокой или полной стабилизации (неизменяемости) суждений каждого из участвующих экспертов (Ос2). 6. 3. Число итераций заранее задано (Ос3). 26

СПАСИБО ЗА ВНИМАНИЕ 27