Экспертные оценки в квалиметрии машиностроения Виды экспертных оценок

Экспертные оценки в квалиметрии машиностроения Виды экспертных оценок Квалиметрия и управление качеством N V

n n N V Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины, например, предположения о возможных решениях и их результатах. Квалиметрия и управление качеством 2

n N V Практика показывает, что основные трудности, возникающие при поиске и выборе деловых решений, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся информации. Квалиметрия и управление качеством 3

Основные трудности, связанные с информацией, возникающие при выработке сложных решений: n n исходная статистическая информация зачастую бывает недостаточно достоверной; некоторая часть информации имеет качественный характер и не поддается количественной оценке. n N V Так, нельзя точно рассчитать степень влияния социальных и политических факторов на реализацию планов, оценить экономический эффект будущих изобретений и т. д. Но, поскольку эти факторы и явления оказывают существенное влияние на результаты решений, их нельзя не учитывать. Квалиметрия и управление качеством 4

Основные трудности, связанные с информацией, возникающие при выработке сложных решений: n n N V в процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств; существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать; Квалиметрия и управление качеством 5

Основные трудности, связанные с информацией, возникающие при выработке сложных решений: n любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации. Проблема выбора наилучшего варианта решения может возникнуть и потому, что обычно существуют ограничения в ресурсах, следовательно, принятие одного варианта всегда связано с отказом от других решений. N V Квалиметрия и управление качеством 6

Основные трудности, связанные с информацией, возникающие при выработке сложных решений: n при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов. Многозначность, многомерность и качественное различие показателей являются серьезным препятствием для получения обобщенной оценки относительной эффективности, важности, ценности или полезности каждого из возможных решений. N V Квалиметрия и управление качеством 7

n Одна из главных особенностей решения сложных проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых, специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. N V Квалиметрия и управление качеством 8

n N V Использование несистематизированных суждений отдельных специалистов оказывается при решении многих сложных научных и технических проблем недостаточно эффективным вследствие многообразия взаимосвязей между основными элементами таких проблем и невозможности охвата их всех. Квалиметрия и управление качеством 9

n Это заставляет прибегать к комплектованию групп специалистов, представляющих в качестве экспертов различные области знаний. Применение групповой экспертизы позволяет не только рассмотреть множество аспектов и факторов, но и объединить различные подходы, с помощью которых руководитель находит наилучшее решение. N V Квалиметрия и управление качеством 10

Эксперт – кто такой? n n происходит от латинского «expertus» (опытный) − носитель специальных, трудно доступных или формализуемых знаний. Экспертом называют человека, являющегося специалистом и (или) имеющего практический опыт, который: n N V имеет и дает объективные и полные сведения об особенностях и свойствах внешнего объекта и (или) рекомендации относительно предпочтительных (лучших) вариантов решений, касающихся данного объекта; Квалиметрия и управление качеством 11

Эксперт – кто такой? n Экспертом называют человека, являющегося специалистом и (или) имеющего практический опыт, который: n n n N V обладает правами, обязанностями и ответственностью за свое экспертное заключение, определенными нормативными документами; включен в процесс принятия решений, выполняя специальную функцию, и поставлен перед задачей их научного обоснования; высказывает суждения по вопросу из области его специальных знаний и (или) практического опыта, поставленному перед ним некоторым лицом, независимо от внешних влияний и собственной выгоды. Квалиметрия и управление качеством 12

Метод экспертных оценок n N V Сущность метода экспертных оценок заключается в проведении экспертами интуитивно логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Квалиметрия и управление качеством 13

Метод экспертных оценок n Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. n Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы. N V Квалиметрия и управление качеством 14

При выполнении своей роли в процессе управления эксперты производят две основные функции: n формируют объекты (альтернативные ситуации, цели, решения и т. п. ); n n формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п. ). n N V измерение характеристик объектов требует от экспертов знания теории измерений. Квалиметрия и управление качеством 15

Характерные особенности метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем: n n N V научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов; применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности. Квалиметрия и управление качеством 16

n Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже впервые годы Советской власти. n n N V В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов. Квалиметрия и управление качеством 17

Все множество плохо формализуемых проблем условно можно разделить на два класса: 1. Проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем 1 го класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. N V Квалиметрия и управление качеством 18

При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. 1) 2) N V Данный принцип означает, что выполняются следующие гипотезы: эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации; групповое мнение экспертов близко к истинному решению проблемы. Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики. Квалиметрия и управление качеством 19

Все множество плохо формализуемых проблем условно можно разделить на два класса: 2. Проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем 2 го класса экспертов уже нельзя рассматривать как «хороших измерителей» . Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. N V Квалиметрия и управление качеством 20

Применение методов осреднения, справедливых для «хороших измерителей» , в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем 2 го класса в основном должна применяться качественная обработка. Проблемы 1 го класса являются наиболее распространенными в практике экспертного оценивания. N V Квалиметрия и управление качеством 21

В зависимости от целей экспертного оценивания и выбранного метода измерения 1) 2) 3) 4) 5) 6) N V при обработке результатов опроса возникают следующие основные задачи: построение обобщенной оценки объектов на основе индивидуальных оценок экспертов; построение обобщенной оценки на основе парного сравнения объектов каждым экспертом; определение относительных весов объектов; определение согласованности мнений экспертов; определение зависимостей между ранжировками; оценка надежности результатов обработки. Квалиметрия и управление качеством 22

n Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. n Решение этой задачи зависит от использованного экспертами метода измерения. N V Квалиметрия и управление качеством 23

n n N V При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Квалиметрия и управление качеством 24

n n n N V Для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов. Квалиметрия и управление качеством 25

n n N V Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Квалиметрия и управление качеством 26

n n N V Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов. Квалиметрия и управление качеством 27

n N V Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Квалиметрия и управление качеством 28

n n Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Задача определения зависимостей для практики очень важна. N V Квалиметрия и управление качеством 29

n N V Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей. Квалиметрия и управление качеством 30

n N V Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание. Квалиметрия и управление качеством 31

n n Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. N V Квалиметрия и управление качеством 32

Методы экспертных оценок, их разновидности и характеристика n n N V Индивидуальные экспертные оценки основаны на использовании мнений экспертов специалистов соответствующего профиля. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы: n «ИНТЕРВЬЮ» , n АНАЛИТИЧЕСКИЙ, n НАПИСАНИЯ СЦЕНАРИЯ. Квалиметрия и управление качеством 33

Метод «интервью» n n N V предполагает беседу прогнозиста с экспертом по схеме «вопрос – ответ» , в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам. Квалиметрия и управление качеством 34

Аналитический метод n n n N V предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Квалиметрия и управление качеством 35

Аналитический метод n n N V Основное преимущество этого метода – возможность максимального использования индивидуальных способностей эксперта. Однако метод мало пригоден для прогнозирования сложных систем и выработки стратегии из за ограниченности знаний одного специалиста эксперта в смежных областях знаний. Квалиметрия и управление качеством 36

Метод написания сценария n n N V следует отнести как к индивидуальным, так и к коллективным экспертным оценкам. Сущность и основные его характеристики будут раскрыты ниже. Квалиметрия и управление качеством 37

n n N V Наиболее достоверными являются коллективные экспертные оценки. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами. Квалиметрия и управление качеством 38

n n В современных условиях используется математико статистический инструментарий для обработки результатов опроса экспертов. Например, для оценки степени согласованности мнений экспертов по решению той или иной исследуемой проблемы исчисляются: n n N V дисперсия оценок, среднеквадратическое отклонение оценок , коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов. Квалиметрия и управление качеством 39

n N V Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение оп роса, обработка материалов и анализ результатов коллективной экспертной оценки. Квалиметрия и управление качеством 40

n n N V Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек в зависимости от сложности объекта. Квалиметрия и управление качеством 41

n n N V Определяется цель прогноза, разрабатываются вопросы для экспертов. При проведении опроса необходимо обеспечить однозначность понимания отдельных вопросов и независимость суждений экспертов. После опроса осуществляется обработка материалов, полученных в результате коллективной экспертной оценки. Окончательная оценка может определяться как среднее суждение или как среднее арифметическое значение оценок всех экспертов. Квалиметрия и управление качеством 42

n n n N V Могут использоваться и другие методы проведения экспертной оценки. При разработке научно технических прогнозов методика статистической обработки материалов предусматривает использование совокупности оценок относительной важности, сделанных экспертами по каждому из оцениваемых направлений научных исследований. Оценки важности выражаются в баллах и могут принимать значения от 0 до 1, от 0 до 100 и т. д. Квалиметрия и управление качеством 43

n В мировой практике широкое применение нашли такие методы коллективных экспертных оценок: метод коллективной генерации идей, n метод « 635» , n метод «Дельфи» , n метод «комиссий» , n метод написания сценария. n N V Квалиметрия и управление качеством 44

Суть метода коллективной генерации идей (мозговой атаки) n N V состоит в использовании творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей, а затем их деструктурирование (разрушение, критику) с выдвижением контр идей и выработкой согласованной точки зрения. Квалиметрия и управление качеством 45

n n Этот метод был разработан в конце 30 х годов американцем А. Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Нечто подобное использовали 400 лет назад индийские мастера «Хинду» во время своих собраний: n n n N V запрещались критика и дискуссии, каждый мог свободно выражать свои идеи, оценка делалась позже. Квалиметрия и управление качеством 46

n Метод коллективной генерации идей предполагает реализацию нескольких этапов: Первый этап связан с формированием группы участников «мозговой атаки» по решению определенной проблемы. n n N V Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10 – 15 человек. Квалиметрия и управление качеством 47

n На втором этапе группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации. n Третий этап – этап генерации идей. n n N V Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Квалиметрия и управление качеством 48

n Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. n N V Продолжительность «мозговой атаки» – не менее 20 мин и не более 1 ч в зависимости от активности участников. Квалиметрия и управление качеством 49

n Четвертый этап связан с систематизацией идей, высказанных на этапе генерации. n n n N V формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам. Квалиметрия и управление качеством 50

n На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. n n N V Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов. Группа состоит из 20 – 25 человек. Квалиметрия и управление качеством 51

n На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей. n Этот метод позволяет качественно и достаточно быстро проводить оценку вариантов развития объекта прогнозирования. N V Квалиметрия и управление качеством 52

Метод « 635» – n n n одна из разновидностей «мозговой атаки» . Цифры 6, 3, 5 обозначают: 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. n n N V Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе – 108. Структура идей четко определена. Квалиметрия и управление качеством 53

n Возможны модификации метода. n N V Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем. Квалиметрия и управление качеством 54

Метод «Дельфи» – n одна из первых попыток разработать более обоснованную и строгую процедуру при экспертном прогнозировании n n N V предпринят Т. Гордоном и О. Хелмером – сотрудниками одной из корпораций США, которые в 1964 г. опубликовали результаты обобщения о статистической обработке мнений специалистов относительно перспектив развития в ряде областей науки. Он используется при прогнозировании развития науки и техники, инвестиций и других аспектов. Квалиметрия и управление качеством 55

Цель метода «Дельфи» – n разработка программы последовательных многотуровых индивидуальных опросов. n n N V Индивидуальный опрос экспертов обычно проводится в форме анкет вопросников. Затем осуществляется статистическая обработка анкет вопросников на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Квалиметрия и управление качеством 56

n n n N V Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3 – 4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Квалиметрия и управление качеством 57

Особенности метода «Дельфи» : а) анонимность экспертов. Участники экспертной группы неизвестны другу. Взаимодействие членов группы при заполнении анкет полностью исключается; б) возможность использования результатов предыдущего тура опроса; в) статистическая характеристика группового мнения. N V Квалиметрия и управление качеством 58

n Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. n Наши специалисты, работающие в области научно технического прогнозирования, также разрабатывают методы обработки экспертных оценок. N V Квалиметрия и управление качеством 59

Метод «комиссий» – n один из методов экспертных оценок, основанный на работе специальных комиссий. n Группы экспертов за «круглым столом» обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса. n N V Квалиметрия и управление качеством 60

n Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. n Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. N V Квалиметрия и управление качеством 61

n Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы: n n n N V от каких простейших форм к более сложным должен пройти этот процесс; как он повлияет на национальное хозяйство и экономические связи стран; каковы же финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства. Квалиметрия и управление качеством 62

Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать: n генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей» , n приоритеты проблем, n ресурсы для достижения основных целей. N V Квалиметрия и управление качеством 63

n В сценарии отображаются последовательное решение задачи, возможные препятствия. n n N V При этом используются необходимые материалы по развитию объекта прогнозирования. Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально экономических задач на прогнозируемый период. Квалиметрия и управление качеством 64

n Он обычно носит многовариантный характер и освещает три линии поведения: n n N V оптимистическую – развитие системы в наиболее благоприятной ситуации; пессимистическую – развитие системы в наименее благоприятной ситуации; рабочую – развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций. Квалиметрия и управление качеством 65

n Сценарий в готовом виде должен быть подвергнут анализу. n На основании анализа информации, признанной пригодной для предстоящего прогноза: n n n N V формулируются цели, определяются критерии, рассматриваются альтернативные решения. Квалиметрия и управление качеством 66

n n n N V При анализе и прогнозе систем широко используются прогнозный граф и «дерево целей» . Графом называют фигуру, состоящую из точек вершин, соединенных отрезками ребрами. «Дерево целей» − это граф дерево, выражающее отношение между вершинами этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. Квалиметрия и управление качеством 67

n «Дерево целей» предполагает выделение нескольких структурных или иерархических уровней. n Каждая цель верхнего уровня должна быть представлена в виде подцелей следующего уровня таким образом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели. N V Квалиметрия и управление качеством 68

n Построение «дерева целей» требует решения многих прогнозных задач: n n n N V прогноза развития объекта в целом; формулировки сценария прогнозируемой цели, уровней и вершин «дерева целей» ; критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Любой цели как объекту прогноза может соответствовать множество разнообразных сценариев. Квалиметрия и управление качеством 69

Метод морфологического анализа n предполагает выбор наиболее приемлемого решения проблемы из числа возможных. n Его целесообразно использовать при прогнозировании фундаментальных исследований. n Метод морфологического анализа включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. N V Квалиметрия и управление качеством 70

n n N V Исследование проводится по методу «морфологического ящика» , который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Квалиметрия и управление качеством 71

n n N V Общее количество возможных решений равно произведению числа всех параметров, представленных в «ящике» , взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов. Квалиметрия и управление качеством 72