Экспертные оценки в квалиметрии машиностроения Отбор экспертов Квалиметрия и управление качеством N V
2 Способы отбора экспертов: способы определения первоначального круга экспертов ( «кандидатов в эксперты» ); способы отбора экспертов из числа «кандидатов» для участия в конкретной экспертизе. Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 3 использование только тех сведений о специалистах, которые можно получить в отделе кадров; ИЛИ использование неформализованных данных о профессиональном уровне, характере, инициативности специалиста, которые дают их опрашиваемые коллеги или начальники. Квалиметрия и управление качеством N V
Способы отбора экспертов для конкретной экспертизы 4 Использование специально собираемых данных о специалистах – кандидатах в эксперты Эти сведения заносят в специально создаваемый банк данных Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 5 Способы назначения Непосредственное назначение заказчиком экспертизы Достигнутые цели: в число экспертов попадают специалисты, заинтересованные в проведении экспертизы и склонные к коллективной работе; руководитель назначит авторитетных лиц; решение такой экспертной группы будет авторитетно для заказчика. Нежелательные последствия: вырабатываемое такой группой решение не наиболее обоснованное; руководители не имеют времени (и желания) решать задачи; может быть заранее известно желательное решение и идет «подгонка» результатов Рекомендуемые ситуации: в начале работ по проведению экспертизы в некой организации с целью получить результат, желаемый заказчиком (создать себе хорошую репутацию); когда цель экспертизы – поиск новых нетрадиционных решений и эксперты не рискуют своей репутацией или служебным положением Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 6 Способы назначения Назначение по выбору эксперта – руководителя группы Достигнутые цели: удается собрать хорошо сработавшихся специалистов; в группе нет лишних людей; при способном руководителе в такой экспертной группе могут быть достигнуты иногда выдающиеся результаты. Нежелательные последствия: в группу войдут представители одной «школы» - односторонний подход к проблеме; руководитель группы не всегда может привлекать специалистов выше себя по служебному положению – авторитетность группы зависит от авторитетности руководителя группы. Рекомендуемые ситуации: требуется провести оперативный анализ проблемы и найти какое-либо достаточно эффективное решение; для создания временной или долговременной «поисковой» группы, способной быстро оценить оперативную ситуацию в сфере деятельности фирмы, быстро найти решение, близкое к оптимальному Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 7 Способы назначения Назначение комиссией, состоящей из руководителей экспертных групп Достигнутые цели: могут быть привлечены необходимые специалисты различного профиля – может быть обеспечена многосторонность анализа проблемы; возможно отобрать для каждой экспертизы наиболее подходящих и наиболее свободных экспертов; личная ответственность эксперта повышена – он ожидает критику от представителей других «школ» . Нежелательные последствия: продуктивность работы может снизиться – на устранение противоречий может уйти значительное время; могут возникнуть трудности со сбором экспертов из-за их разобщенности в пространстве и из-за плохой психологической совместимости. Рекомендуемые ситуации: при формировании экспертных групп отраслевого уровня, когда необходимо подготовить решения, затрагивающие интересы нескольких организаций близкого профиля. Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 8 Документальные способы Отбор по критерию максимальной авторитетности; Отбор по условию полноты охвата проблемы. Документальными показателями могут быть: стаж, возраст, ученая степень; показатели, характеризующие область знаний, науки, техники и т. п. , в которой специализируется эксперт, основные направления его работ; показатели, определяемые инструкцией по профессиональной аттестации; количество научных трудов, монографий, изобретений; частота участия в конференциях; количество ссылок на работы экспертов; количество премий, поощрений за результаты работы. Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 9 Способы взаимных рекомендаций Способ взаимных рекомендаций ( «снежного кома» ) – каждый эксперт должен указать, кто, по его мнению, должен войти в состав экспертной группы; Способ взаимных выборов (фактически уже является способом отбора экспертов из сформированного банка) – аналогично, но каждому известен уже существующий список экспертов. Каждый эксперт отмечает в нем, с кем бы он хотел работать, а с кем – нет; Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 10 Способы взаимных рекомендаций Способ последовательных рекомендаций ( «прогнозного дерева» ) – один эксперт (крупный специалист) указывает условия, при которых проблема может быть решена и при которых он лично мог бы взять на себя ее решение. Затем указывает лиц, которые могли бы обеспечить достижение указанных условий (целей). Они выступают в качестве экспертов во 2 -м туре опроса, когда выясняют условия достижения промежуточных целей и определяют лиц, способных … и т. д. Квалиметрия и управление качеством N V
Способы определения первоначального круга экспертов 11 Способы выдвижения Выдвижение экспертов коллективами подразделений; Выдвижение экспертов заинтересованными организациями (способ «кота в мешке» ); Способ максимального соответствия (соответствие роли, которую будет выполнять эксперт); Способ «фокус-групп» (выявление суждений представителей различных социальных групп по проблеме. Обязательны неоднократные заседания, ведущий и аудиозапись) Квалиметрия и управление качеством N V
Способы отбора экспертов из сформированного банка данных по кандидатам в эксперты 12 Способы, основанные на использовании коэффициентов компетентности: Оценивание со стороны коллег; Коэффициент компетентности как функция документальных оценок; Отбор экспертов по результатам тестирования; Отбор экспертов по результатам участия в деловых играх; Использование «рейтинга» эксперта. Квалиметрия и управление качеством N V
Способы отбора экспертов из сформированного банка данных по кандидатам в эксперты 13 Коэффициенты компетентности экспертов можно получить следующими способами: оцениванием со стороны коллег; формальным расчетом по формуле, учитывающей документальные данные; по результатам тестирования; по результатам участия в деловых играх; самооценкой; по результатам достаточно длительной систематической работы в составе экспертной группы (путем расчета рейтинга эксперта). Квалиметрия и управление качеством N V
Способы отбора экспертов из сформированного банка данных по кандидатам в эксперты 14 Оценивание со стороны коллег: следует использовать только для ВКЛЮЧЕНИЯ или НЕВКЛЮЧЕНИЯ в состав группы; Коэффициент компетентности как функция документальных оценок: Обычно применяемая (без обоснований!) формула – Κ =Σ mi Хіј, где ; Хіј – значения оценок, произвольно приписываемых эксперту за производственный стаж, ученую степень, количество публикаций и т. п. ; mi – Коэффициенты «весомости» стажа, «остепененности» , публикуемости и т. п. , приписанные с точки зрения предполагаемой важности этих свойств для члена экспертной группы Квалиметрия и управление качеством N V
Способы отбора экспертов из сформированного банка данных по кандидатам в эксперты 15 Отбор экспертов по результатам тестирования: по результатам решения тестовых задач; психометрическое тестирование; тестирование по результатам оценивания тестового объекта. Отбор экспертов по результатам участия в деловых играх; Использование «рейтинга» эксперта (R) следует использовать только для ВКЛЮЧЕНИЯ или НЕВКЛЮЧЕНИЯ в состав группы Квалиметрия и управление качеством N V
Способы отбора экспертов из сформированного банка данных по кандидатам в эксперты 16 Отбор экспертов по их самооценке: Самооценка по направлениям; Самооценка по объекту экспертизы. Способы, основанные на минимизации расхода ресурсов. Квалиметрия и управление качеством N V
Экспертные оценки в квалиметрии машиностроения Операции с экспертной группой Квалиметрия и управление качеством N V
Экспертная операция – 18 – организационно выделенный этап работы с группой экспертов, в ходе которого достигается законченное преобразование экспертной группой информации, относящейся к решаемой задаче, из одной формы в другую. Квалиметрия и управление качеством N V
Экспертная операция 19 по целевому назначению в квалиметрии выделяют операции: ориентировка; генерация; назначение оценок; коммуникации (обмен информацией между экспертами. Статистическую обработку выполняют после операций генерации или назначения оценок без участия экспертов. Квалиметрия и управление качеством N V
Типичная последовательность экспертных операций 20 Ориентировка Генерация Статистическая обработка Назначение оценок Статистическая обработка Обмен информацией между экспертами Квалиметрия и управление качеством Окончательные результаты N V
Последовательность операций по методике ОКАЭГ (оценка качества экспертом и группой) – Институт технической эстетики исполнитель операции 1 Ведущий эксперт Подготовка ориентирующей информации 2 Эксперты индивидуально Дополнение и корректировка списка эстетических свойств и показателей 3 Рабочая группа Обобщение представленных экспертами данных. Подготовка материалов для обсуждения 4 Группа экспертов Обсуждение результатов. Определение согласованной части. Назначение оценок 5 Рабочая группа Обработка оценок. Выявление рассогласованных оценок и спорных вопросов 6 Группа экспертов Обсуждение спорных вопросов. Повторное назначение оценок по остаточным показателям 7 Ведущий эксперт 21 Утверждение полученных результатов (либо их корректировка и возвращение на обсуждение) Квалиметрия и управление качеством N V
Схема последовательности операций при разработке методики гигиенической оценки качества производственной среды Ориентировка Генерация факторов Статистическая обработка Генерация частных показателей Статистическая обработка Назначение оценок весомости Статистическая обработка Построение кривых влияния 22 Статистическая обработка Коммуникация Окончательный результат Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой - ОРИЕНТИРОВКА Способ проведения операции Положительные стороны Краткий доклад по проблеме Нет необходимости готовить ориентирующую информацию для экспертов в письменном виде. В ходе доклада эксперты могут задавать вопросы и докладчик должен разъяснить или уточнить формулировки Квалиметрия и управление качеством 23 Негативные стороны Эксперты могут не обратить внимание на некоторые важные положения доклада. Эксперты не могут в ходе доклада всесторонне осмыслить задачу и четко сформулировать замечания и предложения, дать четкую формулировку цели N V
Способы проведения операций с экспертной группой - ОРИЕНТИРОВКА 24 Способ проведения операции Положительные стороны Негативные стороны Обязательное ознакомление экспертов с материалами по проблеме Можно предоставить экспертам всевозможную информацию. При слишком большом объеме ориентирующей информации можно надеяться, что эксперты, в основном, с ней ознакомятся Невозможно убедиться, что эксперты ознакомились с материалами. Часто авторитетные эксперты пренебрегают ориентирующей информацией. Трудности для организатора в подготовке и компактном представлении информации. Есть возможность при подготовке что-то пропустить, тогда вся экспертиза может оказаться неверно направленной. Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой - ОРИЕНТИРОВКА 25 Способ проведения операции Положительные стороны Негативные стороны Вручение экспертам аннотированного списка документов, рекомендуемых в качестве ориентирующего материала Подготовить список легче, чем компактный материал. Каждый эксперт может сам выбрать желаемую информацию, повышается вероятность ее рационального использования Если подбор литературы осуществлен односторонне, то есть с какой-либо односторонней направленностью, то возможна неверная ориентация экспертов. Возможность дополнения списка новыми работами редко используется экспертами Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой - ОРИЕНТИРОВКА Способ проведения операции Выполнение экспертами «домашних заданий» по подготовке ориетирующей информации Положительные стороны Эксперты, выполнившие «домашние задания» , глубоко знакомятся с литературой и в дальнейшем активно участвуют в работе Квалиметрия и управление качеством 26 Негативные стороны Подготовка «домашних заданий» требует от организатора хорошего знания предмета экспертизы. Возможен отказ от участия в экспертизе тех экспертов, которые не хотят выполнять «домашние задания» . Суждения экспертов, выполнивших «домашние задания» , становятся в дальнейшем доминирующими, что чревато односторонностью подхода к проблеме N V
Способы проведения операций с экспертной группой - ОРИЕНТИРОВКА Способ проведения операции Ориентировка в форме «деловой игры» Положительные стороны Достигается эффективное ознакомление всех участников с ориентирующей информацией. Целесообразно при оценивании качества постоянно поступающей новой продукции сходного качества Квалиметрия и управление качеством 27 Негативные стороны Организация деловой игры требует от организаторов больших трудозатрат. Ее проведение требует тщательной подготовки. Помимо участия в ориентировке, эксперты должны будут неоднократно участвовать в других процедурах. Нужна уверенность в постоянном и длительном участии каждого эксперта N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ Способ проведения операции Анкетный опрос (заочный) Положительные стороны Наиболее простой способ с организационной стороны. Относительно просто обрабатывать результаты Квалиметрия и управление качеством 28 Негативные стороны Можно получить ответы только на те вопросы, которые может себе представить организатор. Большая часть информации, имеющейся у экспертов, остается невостребованной. При заочном опросе неизбежен неполный возврат анкет и связанный с этим эффект селекции. Больше требуется времени на рассылку анкет и возврат N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ Способ проведения операции Смешанное анкетирование Положительные стороны Нетрудно организационно. Нет необходимости составлять пояснительную записку. Есть возможность разъяснить эксперту неясную постановку вопроса Квалиметрия и управление качеством 29 Негативные стороны Большие затраты времени организатором. Возможно привнесение организатором своего суждения в оценки экспертов. Обдумывание ответов экспертов может быть не очень тщательным N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ 30 Способ проведения операции Положительные стороны Негативные стороны Мобильное анкетирование Стимулирует эксперта к проявлению максимальной компетентности. Участие каждого эксперта в постановке вопросов дает возможность получить от экспертов даже ту информацию, которой они не располагали в начале работы. Достаточно 3 – 5 экспертов Большие затраты времени со стороны организатора, который должен неоднократно подготавливать новую карту опроса, обобщая данные предыдущих вопросов Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ Способ проведения операции Интервью 31 Положительные стороны Негативные стороны Не требует подготовки анкеты. Можно получить подробные и обоснованные ответы на вопросы, которые хорошо знает эксперт Почти никогда невозможно получить ответы на запланированные ответы. Неизбежно сильное влияние установки организатора на характер ответов эксперта. Уходит много времени на расшифровку записей Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ 32 Способ проведения операции Положительные стороны Негативные стороны Создание экспертами докладных записок, сценариев С. – эффективный способ анализа ситуации, связан с относительно быстрым изменением объекта или с зависимостью изменений объекта от действий людей, организаций и т. д. Несколько сделанных С. вскрывают практически все наиболее вероятные направления изменений качества объекта или требований к качеству Разработка С. весьма трудна для эксперта, ранее не выполнявшего такую работу. Трудно организовать обсуждение всех С. и всех вариантов развития, вытекающих из каждого С. Практически приходится ограничиваться некоторыми вариантами, оставляя остальные в стороне Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ 33 Способ проведения операции Положительные стороны Негативные стороны Способы, связанные с полным или почти полным перебором вариантов типа «морфологического анализа» Удобно для выявления ещё не испробованных вариантов сочетаний значений показателей, составляющих качество объекта (например, в изобретательских задачах) Трудно гарантировать полноту выявления всех возможных значений некоторого показателя (например, вариантов размещения гостиничного комплекса или вариантов технического решения), это означает полноту анализа. Уже при небольшом числе взятых в анализ показателей число образующихся вариантов становится необозримо большим Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ Способ проведения операции Мозговая атака 34 Положительные стороны Негативные стороны К короткое время появляется много новых идей, предложений. Эффективна при решении задач, у которых заранее видно много путей решения, следует их выявить для дальнейшего анализа Наверняка выявляются не все возможные подходы, а только некоторые. Результативность сильно зависит от способностей организатора. Неэффективно в решении сложных задач, требующих более или менее точных расчетов (например, изменений качества окружающей среды при планируемом проведении тех или иных мероприятий) Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ Способ проведения операции Атака разносом 35 Положительные стороны Негативные стороны Сильное средство негативного анализа для обнаружения недостатков выполненного проекта или разработки. Несложная организация Требует от экспертов предварительного ознакомления с материалом. Требует от организаторов создания обстановки, способствующей активности экспертов Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ Способ проведения операции Мозговой штурм, осада, синектические методы Положительные стороны Повторяя М. О. много раз можно выявить все предложения, на которые способна данная группа. Разделяя операции генерации и оценивания, можно провести наиболее полный анализ объекта и выработать наиболее полную квалиметрическую оценку. Можно добиться значительных успехов в решении квалиметрических, прогнозных, изобретательских задач Квалиметрия и управление качеством 36 Негативные стороны Занимает много времени. Необходимо постоянное участие специалистов, профессионально овладевших методами групповой экспертизы. Для организатора весьма трудоемок анализ, который необходимо проводить после каждого заседания и готовить новую ориентирующую информацию к каждому заседанию N V
Способы проведения операций с экспертной группой – ГЕНЕРАЦИЯ Способ проведения операции Генерация в форме деловой игры 37 Положительные стороны Негативные стороны Позволяет быстро провести анализ сложных, нестандартных ситуаций, чреватых конфликтами. Стимулирует проявление максимальной компетентности экспертов, поиск нетрадиционных решений. Может быть применена для оценивания деловых качеств работников Требует большой подготовительной работы. Занимает значительное время у участников, особенно при повторениях. Для организатора нередко труден анализ результатов деловой игры. Несмотря на повторные проведения, нет уверенности в полноте выявления возможных путей развития ситуации Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ Способ проведения операции Лицом к лицу Положительные стороны Наиболее просто с организационной стороны. Подготовка заключается только в формулировке обсуждаемой проблемы Квалиметрия и управление качеством 38 Негативные стороны Обсуждение малопродуктивно, так как большое время уходит на не относящиеся к делу разговоры. Весьма возможно давление авторитетного эксперта. Большое влияние оказывают наиболее разговорчивые индивиды N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ Способ проведения операции Способ комиссий Положительные стороны Имеется возможность рассмотреть несколько вариантов решения проблемы, довести обсуждение каждого варианта до логического конца Квалиметрия и управление качеством 39 Негативные стороны Затраты времени резко возрастают по сравнению со способом «лицом к лицу» . Под влиянием авторитета группа может сосредоточиться на одной идее и отказаться рассматривать другие N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ Способ проведения операции Положительные стороны Способ обмена мнениями Позволяет достичь соглашения между двумя – тремя образовавшимися в экспертной группе подгруппами Квалиметрия и управление качеством 40 Негативные стороны Затрачиваемое время и результат работы сильно зависят от способностей организатора, от умения проявлять нейтральность N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ 41 Положительные стороны «Мини Дельфи» Негативные стороны Быстрота выполнения. Почти исключено давление авторитетных экспертов. Обсуждение всегда идет по делу Способ применим только к количественным оценкам. Влияние аргументации сильно зависит от умения представителей разных точек зрения обосновать свою позицию Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ Способ проведения операции Попытка согласования Положительные стороны Удается сформулировать постановку основных задач экспертизы в форме, приемлемой для образовавшихся подгрупп экспертов. Квалиметрия и управление качеством 42 Негативные стороны Организация диалога плохо формализуема. Большие затраты времени N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ 43 Способ проведения операции Положительные стороны Негативные стороны Анонимная аргументация При пересылке по почте аргументы будут наиболее продуманными и четко сформулированными; могут быть приведены аргументы «за» и «против» . На заседании экспертной группы есть возможность ответить на возражения, разъяснить неясности. Применима для качественных и количественных данных При пересылке по почте нет возможности отвечать на аргументы и возражения; уйдет большое время. Если проводить на заседании экспертной группы, то сложно быстро обобщать аргументы Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ Способ проведения операции Итерация 44 Положительные стороны Негативные стороны Эффективное средство уменьшения рассеяния оценок, особенно стоимостных. Наиболее простая обработка Применима только к количественным данным. Приближения среднего к «истине» практически не происходит Квалиметрия и управление качеством N V
Способы проведения операций с экспертной группой - КОММУНИКАЦИЯ Способ проведения операции Ватиканский Дельфи Положительные стороны Быстро находится согласованное решение. Очень удобно для квалиметрии, т. к. исключает давление авторитета, влияние многословности, почти исключает формирование «школ» и др. нежелательные эффекты Квалиметрия и управление качеством 45 Негативные стороны Применим только для решения вопросов, допускающих альтернативные ответы N V
Скачать презентацию Экспертные оценки в квалиметрии машиностроения Отбор экспертов Квалиметрия
Квалиметрия_лекция 10_45сл_2013.ppt