Методы экспертных оценок Сущность метода экспертных оценок

Методы экспертных оценок

Сущность метода экспертных оценок проведение экспертами интуитивнологического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов

результат l Обобщенное мнение экспертов – решение проблема, на основе которого руководство принимает управленческое решение

Функции экспертов l l формирование объектов на основе интуиции, опыта, логики (альтернативные ситуации, цели, решения и т. п. ) измерение характеристик объектов в количественной и качественной форме (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п. )

Виды экспертных оценок и методы l l Коллективные: мозговой штурм, дискуссия, совещание, оперативная игра Индивидуальные: анкетирование, сценарий, интервьюирование

типовые задачи, решаемые методом экспертных оценок 1) составление перечня возможных событий в различных областях за определенный промежуток времени 2) определение наиболее вероятных интервалов времени свершения совокупности событий 3) определение целей и задач управления с упорядочением их по степени важности 4) определение альтернативных вариантов решения задачи с оценкой их предпочтения 5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности 6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности

метод "Дельфи" l l l принцип: в неточных науках - мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками цель: определение и оценка вероятности наступления тех или иных событий позволяет: обобщать мнения отдельных экспертов в согласованное групповое мнение

Условия применения l l l поставленные вопросы должны допускать возможность выражения ответа в виде числа эксперты должны располагать достаточной информацией для того, чтобы дать оценку ответ на каждый из вопросов (оценка) должен быть обоснован экспертом

Черты l l l анонимность – анкета или подключение к сети регулируемая обратная связь – несколько туров групповой ответ – статистическая обработка результата

Этапы проведения I тур: l эксперт выражает свое мнение в виде числа на заранее подготовленной шкале оценок l аналитики обрабатывают результат, считают медиану. l каждому эксперту сообщается значение медианы l экспертов, чьи мнения оказались крайними просят обосновать свое мнение (могут изменить его)

Этапы проведения II тур: эксперты получают возможность либо сблизить свое мнение с позицией большинства, либо изучить и обсудить причину отклонения. l III тур, IV тур: участников просят учесть возражения и прокомментировать их. По мере применения итерации и обратной связи сходимость индивидуальных ответов увеличивается. l

Достоинства l l Снижение влияния некомпетентных экспертов на групповую оценку Позволяет более взвешенно подойти к вопросу компетентным экспертам

Недостатки l l Затратность Невозможность прямой дискуссии

метод сценариев экспертное прогнозирование l метод описания логически последовательного процесса, события исходя из сложившийся ситуации

Принцип: аккумуляция исходной информации, на основе которой должна строиться вся работа по развитию прогнозируемого объекта Цель: определение генеральной цели развития прогнозируемого объекта, явления и формулирование критериев для оценки верхних уровней «дерева целей» Позволяет: выявить возможные препятствия, обнаружить серьезные недостатки, с тем чтобы предрешить вопрос о возможном прекращении начатых или завершении проводимых работ по прогнозируемому объекту

Этапы l l построение исчерпывающего, но обозримого набора сценариев прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы

Основные стадии экспертного опроса 1) 2) 3) 4) 5) 6) 7) 8) 9) 10) Принятие решения о необходимости проведения экспертного опроса и формулировка цели Подбор и назначение ЛПР основного состава Рабочей группы Разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса Разработка аналитической группой РГ подробного регламента работы Подбор экспертов в соответствии с их компетентностью Формирование экспертной комиссии Проведение сбора экспертной информации Анализ информации Уточняющей анализ Подведение итогов работы

Методы отбора экспертов Объективный документальный экспериментальный Субъективный аттестация метод взаимной оценки

Балльная шкала компетентности экспертов в рассматриваемой области Ф. И. О. эксперта № эксперта 1 2 3 Слабая компетентность Удовлетворительная компетентность Хорошая компетентность Высокая компетентность

численность экспертной группы l l 5 – 7, максимально 10 – 15 человек при очных опросах 20 – 30, максимально 60 – 80 человек при заочных опросах

Группы вопросов анкеты 1) объективные данные о самом эксперте (возраст, образование, профессия, стаж работы, ученое звание, узкая специализация и т. п. ); 2) характеристики, позволяющие оценить мотивы, которыми руководствуется эксперт при оценке исследуемой проблемы; 3) основные вопросы, касающиеся существа исследуемой проблемы.

статистическая обработка информации, полученная от экспертов содержит l l l оценку степени согласованности экспертов по каждому признаку в отдельности и по всему набору признаков в целом выделение подгрупп экспертов с близким мнением в случае существенных расхождений в ответах выявление причин разброса мнений

Шкала Харрингтона Содержательное описание градаций проявления свойств (характеристик) Числовое значение свойств Очень высокое 0, 8 – 1, 0 Высокое 0, 64 – 0, 8 Среднее 0, 37 – 0, 64 Низкое 0, 2 – 0, 37 Очень низкое 0, 0 – 0, 2

Ранжирование l упорядочение объектов экспертизы - расположение их в порядке возрастания (или, точнее, неубывания) интенсивности интересующей организаторов экспертизы характеристики l Ранг - номер объекта экспертизы в упорядоченном ряду

Методы средних баллов l l метод средних арифметических рангов (баллов) метод медианных рангов

№ Д Л 1 2 3 5 5 1 4 5 6 7 8 9 10 11 12 6 7 5 6 5 7 1 М-К Б 3 Г-Б Сол Стеф К 2 8 4 6 7 4 7 1 3 5 1 4 8 8 2 2 6 3 7 6 4 2 6 1 1 1 3 1 6 2, 5 4 4 2 3 3 2 3 5 2, 5 6 3 3 2 2 1 2 3 8 3 2 5 7 5 8 6 8 1 5 1 4 4 4 7 1 7 8 6 7 6 5 2 5 7 8 8 7

Метод средних арифметических рангов Вычислить средний арифметический ранг каждого проекта 2) Построить итоговую ранжировку (упорядочение): наименьшее среднее – 1, следующий ранг – 2 и т. п. Принцип: чем меньше ранг, тем лучше проект Итог: Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К 1)

Д Л М-К Б Сумма рангов 60 39 37, 5 Среднее арифметическое рангов 5 3, 25 Итоговый ранг по среднему арифметическому 5 3, 25 2 Медианы рангов 5 3 Итоговый ранг по медианам 5 2, 5 Г-Б 31. 5 Сол Сте К ф 76 39 64 85 6, 33 3, 25 5, 33 7, 08 1 7 3, 25 6 8 3 2, 25 7, 5 4 6 7 2, 5 1 8 4 6 7 3, 125 2, 625

Метод медиан рангов медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда Б < {М-К, Л} < Сол < Д < Стеф < К <Г-Б l