Причины использования мнений экспертов Использование мнений экспертов для

Причины использования мнений экспертов Использование мнений экспертов для подготовки и выработки управленческого решения обусловлено несколькими обстоятельствами. 1. Рассматриваемые проблемы, альтернативы возможных решений, прогнозы на будущее, не всегда сопровождаются полной и достоверной информацией. 2. При выборе окончательного решения, из предложенных альтернатив, необходимо учитывать мнение большинства специалистов, которые обладают опытом работы в предметной области, к которой относится рассматриваемая проблема. 3. Качество принимаемого решения во многом зависит от факторов внешней среды, которые не всегда возможно учесть при построении математической модели. 4. В условиях неопределенности (отсутствие достаточной информации), ответственное лицо за подготовку и принятие управленческого В случаях, когда имеется возможность решения стремится снизить риск, за счет получения дополнительной количественной оценки значений целевой фун информации от экспертов. задача хорошо формализуема – привлека

Условия проведения экспертизы • Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий: Ш экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы; Ш в работе экспертной комиссии не должно быть факторов, которые могли бы влиять на искренность суждений экспертов (мнения экспертов должны быть независимыми); Ш вопросы, поставленные перед экспертами, не должны допускать различного толкования; Ш эксперты должны быть компетентны в решаемых вопросах; Ш количество экспертов должно быть оптимальным; Ш ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Направления работы с экспертами Цели проведения экспертизы Оценка текущей ситуации или событий, которые происходят с процессом или объектом Разработка вариантов решения проблемы Выбор подходящего решения из нескольких Формирование требований или параметров для описания процесса, объекта Упорядочивание объектов по определенным критериям Прогнозирование развития процессов или поведения системы на будущее Сбор предложений о поведении объекта или развития процесса в будущем Обсуждение вариантов возможного поведения системы или изменения процесса

Этапы процесса проведения экспертизы Подготовка Проведение экспертизы Использование результатов • Постановка задачи • Назначение сроков • Обработка данных • Подбор экспертов • Разъяснение цели • Анализ результатов • Выбор метода • Контроль работы • Публикация результатов • Обучение работе • Сбор материалов • Подготовка предложений Процесс организации экспертизы условно разделяется на три фазы (подготовка, проведение, использование), продолжительность каждой фазы зависит от степени подготовленности экспертов, выбранной методики проведения экспертизы и назначения материалов для дальнейшей работы Подготовка Проведение Использование t

Функции организатора процесса Задание на проведение опроса экспертов Календарный график выполнения работ организатором проведения 5 экспертного оценивания 2 Готовое предложение 7 6 1 3 4 1. Представление проблемы и формулировка задачи, которую решают эксперты 2. Выбор методики проведения экспертизы и формулировка правил ее проведения 3. Формирование группы экспертов, которые являются компетентными специалистами в представленной проблеме 4. Оповещение экспертов о целях проведения экспертизы, сроках, правил и условий их участия 5. Подготовка и распространение анкет среди экспертов 6. Сбор и обработка материалов, представленные экспертами 7. Анализ результатов и выработка предложений по использованию

Распределение затрат времени организатора проведения экспертного оценивания Затраты времени, которые можно сократить за счет внедрения CASEсредств и сетевых технологий для проведения экспертного оценивания Практика использования программных средств для поддержки работы специалистов в режиме удаленного доступа с экспертными системами показывает: 1. Специалисты быстро адаптируются к условиям самостоятельной работы в сети. 2. У руководителя проведения экспертизы снижаются затраты времени на организационные мероприятия.

Подбор экспертов • • • Случайный выбор Выбор по категориям Подбор противоположностей Выбор по методу самооценки Выбор методом оценки группой Выбор на основе имеющихся сведений по предыдущей работе Эксперт – лицо, обладающее специальными знаниями в определенной предметной области, опытом работы, независимостью суждений при выработке рекомендаций или оценке сложившейся ситуации.

• • • Главные черты идеального эксперта Креативность – способность решать творческие задачи, метод решения которых пока неизвестен Эвристичность – способность видеть или создавать неочевидные проблемы Интуиция – способность делать заключение об исследуемом объекте без осознания пути движения мысли к этому заключению Предикативность – способность предвидеть или предугадывать будущее состояние исследуемого объекта Независимость – способность противопоставлять предубеждениям и массовым мнениям свое собственное Всесторонность – способность видеть проблему с различных точек зрения

Направления при организации проведения экспертного оценивания 1. Рассматривается один объект 2. Рассматривают несколько альтернатив Необходимо выбрать или указать главенствующие показатели, которые относятся к факторам, описывающие исследуемый объект Необходимо оценить вероятность риска принятия альтернативы или вероятность наступления события в будущем Наименование объекта 0, 12 Наименования факторов, которые характеризуют объект Показатели Эксперты выбирают, предлагают наиболее подходящие показатели для каждого фактора 0, 65 0, 23 Объекты, альтернативы, варианты решения проблемы Коллективная оценка экспертов или данные, полученные от респондентов

Последовательность организации проведения экспертного оценивания Варианты рассмотрения вопросов, проблем Цели и результаты 1. Вопросы рассматриваются последовательно Выбор объектов на основании большинства голосов 2. Объекты рассматриваются одновременно % Количественная или качественная оценка объектов - Группировка объектов К 1 {А 1, А 3}; К 2 {А 2, А 4} - Отсеивание объектов П {А 2, А 4} - Ранжирование объектов I – A 4; II – A 2; А 1 А 2 А 3 А 4 III – A 1; IV – A 3

Направления проведения экспертиз Рассматривается один объект и множество его признаков Рассматриваются множество объектов с однотипными параметрами Объект Независимые параметры Воздействия Внутренние и внешние, которые бывают: случайными, повторяющимися и вызванные при определенных обстоятельствах. Упорядочивание Оценка состояния Конструирование Выбор варианта Проектирование

Ожидаемые результаты при работе с экспертами Цель работы с экспертами Действия эксперта Способ представления материалов экспертом Собрать предложения по Дать словесные или численные наиболее важным пояснения по факторам, которые рассматриваемому фактору влияют на процесс Опросный лист с несколькими вопросами Получить мнение большинства голосов Для каждого рассматриваемого фактора в анкете отметить собственное мнение Анкета содержит готовые варианты ответов по каждому фактору: «ЗА» , «ПРОТИВ» , «ВОЗДЕРЖАЛСЯ» Выделить лидера среди множества факторов (объектов) Расставить приоритеты среди рассматриваемых факторов Анкета с перечнем независимых факторов Оценить вероятность свершения события в будущем Указать численную характеристику для каждого рассматриваемого объекта Опросный лист с перечнем объектов и условиями их изменения в будущем Сформировать устойчивые группы объектов по определенным признакам Оценить признаки объектов, которые являются яркими представителями определенного класса Анкета с перечнем вопросов и вариантов готовых ответов по каждому, рассматриваемому объекту

Организация обсуждений с экспертами Обсуждение Голосование По этапам (отдельно каждый вопрос) Совещание в формате «Круглый стол» • Распределение предпочтений. • Выбор наиболее приемлемого варианта. Сбор предложений В конце работы по итогам совещания Совещание в виде конференции • Согласование направлений действий. • Распределение обязанностей. Генерация идей Сбор и анализ предложений Дискуссия в формате «Мозговой штурм» • Набор альтернатив. • Направления выхода из критической ситуации. • Прогноз развития события.

Анализ согласованности мнений экспертов Глобальная проверка согласованности всей совокупности мнений экспертов Вычисление коэффициента конкордации и его статистическая оценка Местная проверка согласованности мнения эксперта со всеми остальными Вычисление парных коэффициентов корреляции и их статистическая оценка Индивидуальная проверка правильности использования шкалы оценок одним экспертом Эксперт 1 Эксперт 2 …………. Эксперт j …………. Эксперт m Вычисление коэффициента согласованности и его статистическая оценка Появляется возможность определить группу экспертов, чьи мнения отличаются от мнений других Позволяет выявить, в чем проявляется несогласие эксперта по отношению к группе экспертов Позволяет выявить ошибки эксперта при заполнении анкет при использовании определенной шкалы оценок Принять результаты Коэффициент корреляции по Совокупное мнение экспертов 1) Принять результаты экспертного опроса совокупности всех оценок В соответствии удовлетворяет порогу с установленными правилами опроса экспертного опроса Коэффициент отношения экспертного значимости одногопроводит оценивание объектов (факторов) и передает эксперта либо ниже согласованности оценок Предложить эксперту 1) Изъять некоторые среднего значения, порогу для анализа организатору заполнить заполненную анкету 2) Не удовлетворяет либо эксперта либо превышает повторно Предложить эксперту мнения экспертов находится в пределах экспертного нет оценивания значимости либо 10% барьер, анкету оценки и проверитьдля голосования допустимого 2) Повторить процедуру откорректировать

Шкалы измерений относительной важности объектов A 1 A 2 A 3 Рис. 1. Пример отображения дискретной шкалы отношений с шагом интенсивности 1 A 4 Эксперту необходимо руководствоваться предложенной шкалой для оценки рассматриваемого объекта Рис. 2. Пример отображения непрерывных шкал отношений в виде линейной и нелинейной функции

Определение согласованности мнений экспертов При подборе экспертов большое внимание уделяется согласованности их мнений. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации. где S – сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов, n – число экспертов, m – число объектов экспертизы.

Оценка согласованности мнений экспертов Распределение для 3 х оцениваемых объектов W*=0, 3758 При значении Wr > W* гипотеза о согласованном мнении принимается Распределение для 7 ми оцениваемых объектов W*=0, 2528

Метод ранжирования (методология) Проекты и их описание 1 1. Непосредственное оценивание 2. Использование промежуточной шкалы для оценивания объектов Эксперты исследуют характеристики проектов. 2 Выставляют интегральную оценку по каждому проекту, используя порядковую шкалу измерения. 3 Шкала порядков Ранговая шкала 3 1 2 Распределение мест проектов Оценки заменяются рангами (порядковыми номерами). Ранги суммируются, что дает возможность выявить общее мнение экспертов.

Обработка результатов ранжирования объектов Факторы (n=10) Иссле дователи (m) X 1 Э 2 Э 3 40 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 3 Э 1 X 2 8, 5 1 10 2 7 4, 5 6+6=12 5, 5 20 5, 5 6+6=12 6 4 24+6=30 4 7 6+6=12 6 3 10 7 108 1, 5 50 5 10 45 1, 5 15 9 354 3 8 6 1, 5 9 1, 5 10 6 Э 4 При равенстве баллов, ставят среднее значение места (ранга) 2, 5 8, 5 6 1 10 2, 5 8, 5 5 35 Э 5 4 6, 5 9 2 8 1 10 6, 5 3 5 Σранг 15, 5 38, 5 37, 5 7 47 8, 5 44, 5 26 24, 5 26 -12 11 10 -20, 5 19, 5 -19 17 -1, 5 -3 -1, 5 144 121 100 420, 25 380, 25 361 289 2, 25 3 8 7 1 10 2 9 5 4 6 Откл. Место S=1829

Идеология создания анкеты для опроса экспертов Рассматриваемая проблема Объект исследования Модель опросного листа представляется в виде иерархической структуры, что позволяет формировать простые и сложные анкеты для решения разнообразных задач. U Параметры объекта (факторы) Наименования показателей факторов F 1 P 21 P 11 Fi P 31 P 1 i Fn P 2 i P 1 n Pkn . . . Значения показателей Z 11 Z 21 Z 31 Z 1 i Zkn

Работа по подготовке анкеты 1. Постановка задачи Организатор 2. Модель анкеты Объект Фактор Наименование При использовании одного фактора, модель анкеты содержит три уровня

Пример разработки сложной анкеты Проект производства нового вида продукции Финансирование работ Собственные средства Инвестор со стороны Назначение продукции Промышленная Использ. в быту Кредит в банке Базовая модель изделия Собственная разработка Зарубежный аналог Лицензия фирмы

Работа эксперта со сложной анкетой Эксперту предлагается последовательно рассмотреть параметры каждого фактора на отдельной анкете и сделать свой выбор.

Представление данных в таблице объект-признак Обозначение факторов, их наименований и значений F 1 P 11 F 2 P 21 P 12 P 22 P 32 Z 11 Z 12 Z 22 Z 32 Z 11 Z 21 Z 12 Z 22 Z 32 Z 42 Z 13 Z 23 Z 33 X 1 1 0 0 0 1 1 0 0 1 0 X 2 0 1 1 0 0 0 1 0 0 X 3 1 0 0 0 1 0 0 X 4 1 0 0 0 1 1 0 0 X 5 0 1 0 0 1 1 0 0 0 1 Σ Э к с п е р т ы Z 21 3 2 3 1 1 1 4 2 1 1 1 3 1 1 Модель объекта, представленная jым экспертом Модель признака (показателя) P 21 для фактора F 1

Проблемы многокритериального выбора Цель: выбрать наилучший Альтернативы A 1 A 2 A 3 218 327 вариант из предложенных с учетом набора критериев, по которым оцениваются альтернативы 655 K 1 Цена [Руб. ] K 2 Функциональность [К-во] 4 3 1 K 3 Процент отказов [%] 3 4 2 K 4 Распространенность [У. е. ] 1 2 4 K 1 K 2 K 3 K 4 A 3 A 2 A 1 A 2 A 3

Метод анализа иерархий Одним из популярных методов анализа сложных социальнополитических и экономических проблем, достаточно широко применяющийся в настоящее время, является, так называемый, метод анализа иерархий (МАИ Analytic Hierarchy Process ). Указанный метод, разработан видным американским специалистом по теории принятия решений Томасом Саати. Цель В основе метода предложено использовать парное сравнение Кластеры объектов, которые располагаются на Акторы нескольких уровнях иерархической струк-туры модели исследова-ния. Критерии Парные сравнения позволяют выявить Альтернативы рейтинг каждого объекта в количественном выражении. Метод позволяет провести анализ проблемы. При этом проблема принятия решения представляется в виде иерархически упорядоченных уровней. Метод позволяет оценить противоречивость данных и минимизировать ее. Метод позволяет провести синтез проблемы принятия решения. После того, как проведен анализ проблемы и собраны данные по всем кластерам, по специальному алгоритму рассчитывается итоговый рейтинг - набор приоритетов альтернативных решений.

Необходимость ввода ограничений при решении практических задач с экспертами Параметры больше определенной величины Граница отбора объектов, которые удовлетворяют одному условию (ограничению) Набор объектов, которые удовлетворяют всем поставленным условиям Объекты, которые удовлетворяют всем 3 -м условиям Объекты, которые удовлетворяют только 2 -м условиям Объекты, которые удовлетворяют всего 1 -му условию Меньше какого-то значения Задан интервал

Шкала относительной важности для измерения значимости объектов друг относительно друга Интенсивность 0 Определение Объяснение Независимы Эксперт затрудняется в сравнении объектов Равная важность Равный вклад сравниваемых объектов (объекты эквивалентны, по мнению эксперта) 3 Умеренное превосходство одного над другим Опыт и суждения дают легкое превосходство одного объекта над другим 5 Существенное или сильное превосходство С позиции эксперта один объект примерно в два раза превосходит другой объект 7 Значительное превосходство Одному из объектов отдается предпочтение перед другим, чтобы показать его практически значимым 9 Очень сильное превосходство Эксперт на основании своего опыта выделяет объект, который сильно превосходит другой по своей значимости Промежуточные суждения между двумя соседними Эксперт применяет эти оценки при стремлении «сгладить» суждения о превосходстве одного объекта над другим 1 2, 4, 6, 8

Парные сравнения объектов и вычисление вектора приоритетов (главных компонент) Пример матрица парных сравнений для объектов с установкой оценок по шкале Т. Саати Объект А 1 Объект А 2 Объект А 3 Объект А 4 Сумма 1 шаг Объект А 1 А 2 А 3 А 4 1 1/5 3 Вектор приоритетов Нормализованные оценки вектора приоритетов 5 1/3 7 1, 848 0, 302 1 1/5 3 0, 588 0, 096 9 3, 408 0, 557 5 1 1/7 1/3 1/9 1 0, 269 0, 044 4, 342 11, 333 1, 644 20, 00 6, 115 1 Осуществляется парное сравнение объектов (альтернатив) по каждому критерию Осуществляется парное сравнение критериев 2 шаг Вычисляется глобальное значение значимости каждой альтернативы 3 шаг

Организация работы с Web-приложениями в сети Режим реального времени предусматривает работу пользователей с интерактивными приложениями, которые хранятся на Web-сервере. Перед началом выполнения работ в сети, необходимо провести подготовительные операции, которые осуществляет организатор (администратор). Подготовка к работе Контроль за процессом Web-сервер организации Рабочее место пользователя Участие в работе Рабочее место организатора Все компьютеры в сети имеют собственные IP-адреса, работают по протоколу HTTP.