Лекция 5 э Методы эргономической оценки экспертизы Номенклатура

Лекция 5 э Методы эргономической оценки (экспертизы). Номенклатура показателей для эргономической оценки образцов авиационной техники (АТ) План лекции 1 Общие положения 2 Методы эргономической экспертизы при проведении испытаний авиационной техники 3 Метод эргономической экспертной оценки 4 Заключение Литература 1

1 Общие положения • Под эргономической экспертизой (ЭЭ) понимается оценка и контроль степени соответствия образцов АТ эргономическим требованиям (ЭТ) (нормативам, рекомендациям) и выработка предложений, направленных на обеспечение полноты и правильности выполнения указанных требований на всех стадиях создания (модернизации) образцов АТ и при их эксплуатации. • С 1 января 1974 г. эргономическая оценка изделия является обязательным элементом технического предложения, эскизного и технического проектов [1 -3]. • Эргономическая экспертиза проводится на всех стадиях создания образцов АТ специально назначенными комиссиями из представителей заказчика и разработчика. • При проведении экспертизы технического предложения разработчик одновременно проводит и ЭЭ содержащихся в техническом предложении вариантов реализации ЭТ. 2

• После оценки предъявленного разработчиком технического предложения заказчик задает ЭТ в ТЗ на ОКР. ЭЭ до приемки эскизного и технического проектов проводят непосредственно на предприятии-разработчике с участием представителя заказчика. ЭЭ приемке эскизного и технического проектов проводит комиссия по приемке законченных этапов работ. • Результаты ЭЭ должны содержать эргономические недостатки образца, выводы о степени выполнения ЭТ и рекомендаций по устранению выявленных недостатков и улучшению эргономических характеристик образца. ЭЭ опытных образцов проводят в процессе предварительных, государственных испытаний перед проверкой Межведомственной комиссией при согласовании и утверждении КД. ЭЭ в процессе создания и эксплуатации АТ должна проводиться с обязательным участием представителей головной научно-исследовательской организации по проблеме авиационной эргономики. ЭЭ в процессе эксплуатации АТ проводят при изменении условий применения, дислокации в районах, не предусмотренных в ТЗ, при проведении доработок АТ, приведших к изменению условий и режимов деятельности авиационных специалистов. 3

• Методы ЭЭ должны соответствовать требованиям специальной. Инструкции по проведению ЭЭ При проведении ЭЭ должны осуществляться оценка и контроль соответствия АТ ЭТ, изложенным в следующих документах: • - ТЗ на создаваемый (модернизируемый) образец АТ; • - национальных стандартах систем – «человек-машина» (СЧМ), комплексная система общих технических требований (КСОТТ), комплексная система контроля качества (КСКК), национальных стандартах системы ССЭТО и др. • • ЭЭ подвергаются: - ТЗ на разработку образцов АТ; - эскизные (технические) проекты и РКД на опытные образцы АТ; - статические и функциональные макеты, опытные образцы АТ; - эксплуатационная и специальная документация; - серийные образцы АТ; - технические средства (приборы), предназначенные для подготовки и тренировки, профотбора, контроля параметров обитаемости и функционального состояния авиационных специалистов. 4

• Подготовка и проведение экспертизы любого образца АТ должна предусматривать: • - постановку задачи; • - разработку программы выполнения работ; • - разработку методик по каждому пункту программы; • - формирование рабочих групп по проведению ЭЭ; • - подбор и подготовку специалистов-испытателей; • - обработку и анализ, а также оценку полученных результатов; • - подготовку итоговых документов по результатам ЭЭ. • 2 Методы эргономической экспертизы при проведении испытаний АТ • При проведении ЭЭ используются ранее рассмотренные нами методы: экспериментальные, моделирования (при планировании экспериментальных работ), анкетирования, экспертных оценок [4], наблюдения, самоотчета, документальный. 5

• ЭЭ в процессе испытаний летательных аппаратов (ЛА) подразделяется на наземную и летную оценки. Наземная оценка системы «летчик-самолет-среда» (ЛСС) включает качественную (объективную) и экспертную (субъективную) оценку средств, процессов и условий деятельности. • Качественная оценка проводится путем проверки выполнения основных эргономических требований, изложенных в ТЗ на ЛА. Значения качественных показателей определяются в виде соотношения количества учтенных ЭТ и общего числа требований, подвергаемых проверке. Качественная оценка включает: • - составление перечня ЭТ на данный ЛА на основании раздела ТЗ «Требования по эргономике, обитаемости и технической эстетики» и существующих НТД; • - получение информации об эргономической оценке системы ЛСС по перечню выделенных показателей; • - проведение оценки на предмет выполнения перечня ЭТ. 6

• Оценка выполнения ЭТ производится путем сравнения нормируемых и реальных значений параметров. Дополнительная оценка каждого невыполненного требования производится методом экспертных оценок. Основные проблемы, возникающие при экспертной оценке, это разработка анкеты, подбор экспертов, организация проведения анкетирования и статистическая обработка результатов опроса. Существует несколько способов проведения анкетирования: индивидуальный, групповой и индивидуально-групповой. Суть последнего состоит в корректировке индивидуальных оценок путем ознакомления каждого эксперта с оценками остальных экспертов. • Наиболее распространенным является индивидуальный способ. Целесообразно проводить анкетирование наибольшего числа экспертов. Для проведения экспертной оценки разрабатываются специальные анкеты, учитывающие специфику работы экипажа ЛА с бортовым оборудованием. 7

• Все ответы на вопросы анкеты даются в письменном виде. Вопросы анкеты делятся на две группы: данные об эксперте и вопросы по оценке удобства работы членов экипажа на своих рабочих местах. В ответах эксперта должна содержаться как качественная, так и количественная оценка. При качественной оценке эксперт записывает, что ему конкретно не понравилось по оцениваемому элементу РМ и дает предложения по его улучшению. При количественной оценке рассматривается влияние (в баллах) элемента РМ на эффективность, качество и напряженность деятельности, работоспособности оператора и безопасность полета. • Экспертом может быть тот, кто по возрасту, способностям, тренированности и опыту работы соответствует летному составу, эксплуатирующему ЛА. Важно получить оценку эксперта своего РМ после первого знакомства, т. к. в дальнейшем происходит адаптация к данному РМ тем быстрее, чем опытнее эксперт. К анкетированию обычно привлекается группа из 5 -10 экспертов. Эксперты проводят оценку самостоятельно, без консультаций, как 8 между собой, так и с экспериментатором.

• В результате обработки по каждому оцениваемому свойству вычисляется средняя арифметическая оценка • где - индивидуальная оценка; n- количество • экспертных оценок по данному свойству. Кроме среднего балла оценки указывается диапазон разброса оценок, наиболее существенные положительные качества и недостатки, а также предложения по улучшению оцениваемого объекта. • В ходе летной оценки исследуются вопросы организации деятельности экипажа методами кинорегистрации и регистрации психофизиологических параметров, определения резервов внимания и качества деятельности. Регистрируются и анализируются следующие показатели: • 1) структура сбора информации: • - длительность и частота фиксации взгляда на средствах индикации и управления; • - длительность интервалов между фиксациями взгляда на данном средстве индикации и управления; • - маршрут взгляда в процессе решения задачи; 9

• - длительность и частота воздействия на ОУ; • - общее время фиксации взгляда на средствах индикации; • - длительность переноса взгляда на средства индикации и управления; • - длительность переноса рук для совершения управляющих движений. • 2) оценка функционального состояния: • - функционирование сердечно-сосудистой системы (ЧСС и характеристики ЭКГ); • - температура тела; • - функционирование системы дыхания (частота и минутный объем дыхания); • - динамика КГР; • - субъективные ощущения (самочувствие, активность, настроение). 10

3) Объем резервов внимания: • - длительность выполнения дополнительных задач, не связанных с управлением оборудованием ЛА; • - точность выполнения дополнительных задач, не связанных с управлением ЛА. • 4) качество выполнения задач пилотирования и самолетовождения: • - точность выдерживания заданного режима полета; • - точность автоматического и автоматизированного самолетовождения; • - возможность безопасного продолжения и завершения полета; • - ошибочные действия экипажа; • - содержание радиообмена. 11

5) Характеристики психических процессов восприятия, опознания и принятия решения: • -длительность и надежность процессов восприятия и принятия правильного решения; • - характер логических условий, оцениваемых членами экипажа при выработке решения; • - характер ошибочных действий. • Объем резервов внимания определяется при помощи введения дополнительной задачи. Для этого на специальном табло в случайном порядке предъявляются цветовые или цифровые сигналы. При появлении цветового сигнала его надо парировать нажатием кнопки соответствующего цвета, а при появлении цифрового сигнала необходимо реагировать только на появление заранее определенной цифры или комбинации цифр. 12

• Степень напряженности определяют по обобщенному показателю, включающему значения частоты пульса и дыхания, зарегистрированные как в условиях покоя, так и при выполнении функциональных обязанностей. Показатели напряженности (ПН) определяются по формуле: • где и частота пульса в условиях покоя и работы; • и - частота дыхания в условиях покоя и работы. • Под единицей понимается теоретически максимально возможная напряженность. • Для сбора экспериментальных данных на борт самолета помещается кино-и физиологорегистрирующая аппаратура, а также соответствующие пульты управления, устанавливаемые на РМ членов экипажа, а при наличии на борту экспериментатора – непосредственно на его РМ. 13

• В ходе полета экспериментатор хронометрирует основные этапы деятельности при работе с бортовым оборудованием, включает и выключает кинокамеры. • По результатам оценки ЛА в наземных и летных условиях дается заключение о степени учета ЭТ при его разработке и основных психофизиологических характеристиках членов экипажа при выполнении ими своих функциональных обязанностей. • 3 Метод эргономической экспертной оценки • Для определения степени реализации ЭТ и более полного учета человеческого фактора в процессе создания АТ используются экспертные оценки. Они позволяют выявить отношение экспертов к любым свойствам оцениваемых объектов как измеряемых так и не измеряемых инструментально. Экспертные оценки могут быть получены с меньшими временными и материальными затратами. 14

• Экспертный метод достаточно универсален. Его оценки позволяют сравнивать оцениваемые объекты и их свойства с заданными эргономическими требованиями как качественно, так и в количественных величинах (баллах). • Для перевода качественной оценки мнения эксперта в количественные показатели (баллы) используется таблица эмоциональной оценки (ТЭО). При выборе критериев для ее построения использованы следующие логические суждения (рисунок 5. 1): • - у объектов с оценкой «отлично» замечаний нет; • - экспертам нравятся только хорошие и отличные объекты; • - в эксплуатации допустимы только объекты с оценкой не ниже «посредственно» ; • - у объектов с оценкой «очень плохо» и ниже рационального, положительного ничего практически нет, т. е. хуже не бывает. 15

• В ТЭО используется обычная равномерная пятибалльная шкала, но с четким смысловым определением одиннадцати основных и промежуточных оценок, раздробленных до 0, 1 балла. Промежуточная оценка получается, если эксперт сомневается, ему неясно, какую из основных оценок он должен поставить таким образом, «неясно» - это конкретная оценка между двумя «ясно» , а не результат плохого знания объекта. ТЭО (как и сам экспертный метод)универсальна, так как не содержит конкретных вопросов, относящихся только к одному какому-то объекту. И поэтому позволяет эксперту выразить свое мнение в балльных и обобщенных словесных оценках о любом оцениваемом объекте и любых его характеристиках. • Номенклатура технико-эргономических показателей (оценочных вопросов) составляется по уровням. Количество уровней зависит от того насколько подробно необходимо оценить ЛА. К нулевому (высшему ) уровню всегда относится один вопрос, касающийся оценки заданного объекта в целом. Например, кабины экипажа (рисунок 5. 2). К первому уровню относятся вопросы более крупных составляющих объекта высшего уровня. 17

• Ко второму уровню относятся вопросы более дробных элементов первого уровня. При необходимости могут ставиться вопросы третьего, четвертого и последующих уровней. Для проведения экспертного опроса составляется анкета. В ее верхней части помещаются необходимые сведения об эксперте, которые заполняет он сам. Далее имеются графы: • - порядковый номер оценочного вопроса и его содержание; • - качественная оценка; • - количественная оценка. • В графе для качественной оценки эксперт записывает, что ему конкретно понравилось или не понравилось в оцениваемом объекте и предложения по его улучшению. В графе для количественной оценки на основе впечатления, полученного от объекта, используя ТЭО, по каждому оцениваемому элементу, выставляется с необходимой точностью балльная оценка. 18

• К экспертному опросу целесообразно привлекать 6 -9 экспертов, но не менее 3 -х разного возраста, опыта работы и с различными антропометрическими и психофизиологическими данными. Максимальное количество экспертов ограничивается, исходя из наличия времени для обработки результатов эксперимента. При использовании ЭВМ это ограничение снимается. • Эксперт должен удовлетворять следующим требованиям: • - им должен быть тот, кто непосредственно эксплуатирует или практически испытывает оцениваемый объект, т. е. потребитель. Если в экспертизе участвуют специалисты, знающие объект теоретически, но не имеющие опыта его практической эксплуатации, то их оценки должны учитываться отдельно от экспертов-практиков; • - эксперт должен хорошо знать нормативные документы по ЭЭ; • - он должен стараться уметь находить недостатки в самых отлично разработанных объектах, а в самых плохих – положительные, рациональные элементы; 19

• - в пределах одного уровня оценки ЛА не допускать одинаковых балльных оценок, а ставить их отличными друг от друга, хотя бы на 0, 1 балла; • - каждой поставленной балльной оценке эксперт должен указать, что «нравится» или что «плохо» . • При работе с молодыми экспертами необходимо учитывать крайность их суждений и оценок, приводящих к завышению или занижению оценки объекта. При работе с экспертами имеющими большой профессиональный опыт, необходимо учитывать их быструю адаптацию к недостаткам объекта, которые они перестают замечать. Поэтому важно иметь от них оценку от первого знакомства с ним. • Основные данные экспертов, участвующих в эксперименте, сводятся в специальную таблицу, где каждому их них присваивается определенный порядковый номер, под которым он проходит в материалах экспертной оценки. • Эксперты могут допускать случайные и систематические ошибки, а также промахи. Случайная ошибка эксперта зависит от его настроения и его психофизиологического состояния во время эксперимента. 20

• Для уменьшения случайной ошибки эксперту необходимо давать оценку одному и тому же объекту не менее 3 -х раз с некоторым перерывом во времени (не менее суток). Средняя арифметическая из полученных оценок принимается как оценка, исправленная от случайных ошибок. Например, в первый день эксперт поставил объекту оценку « 4, 0» , во второй – « 3, 0» , в третий – « 3, 7» . Тогда оценка, исправленная от случайных ошибок: • Систематическая ошибка зависит от возраста, опыта, характера и других, более постоянных, чем настроение, факторов, из-за которых эксперт может систематически завышать или занижать оценки у всех оцениваемых им объектов. Для нахождения систематической ошибки эксперта с ним проводится дополнительный экспертный опрос. Ему для экспертизы даются несколько различных по качеству объектов, фактические оценки которых известны из предыдущих экспериментов, но эксперт их не знает. 21

• Среднее расхождение оценок эксперта от эталонного (базового) с положительным или отрицательным знаком и будет поправкой для учета систематической ошибки. Например, эталонные объекты имеют оценки: А- « 2, 2» , Б – « 2, 5» , В – « 3, 1» , Г – « 4, 5» , Д – « 5, 5» . Эксперт им дал следующие оценки: А- « 1, 0» , Б – « 2, 7» , В – « 2, 5» , Г – « 3, 8» , Д – « 4, 0» . Тогда поправка будет равна. • т. е. эксперт занижает оценки и на величину Оц=0, 76 его оценки надо повышать. • Для выявления, чем является резко отличающаяся оценка, промахом или особым мнением, необходимо эксперта опросить повторно, предварительно ознакомив его с мнениями и оценками других экспертов. Если эксперт присоединяется к мнению большинства, то его оценка, как промах, не учитывается. Если он настаивает на своей прежней оценке, то она, как особое мнение, требует учета с более глубоким обоснованием и анализом. 22

• Из числа экспертов назначается ведущий эксперт – наиболее опытный человек-оператор, неоднократно участвующий в экспертизе. Ведущий эксперт может существенно влиять на выводы, получаемые на основании качественных оценок. Но он не имеет права изменять количественные оценки (баллы). • Проведение экспертной оценки организует специалист по эргономике, а при его отсутствии – лицо, ответственное за оценку объекта в целом (ведущий инженер) при активной помощи ведущего эксперта. Перед экспертизой до ее участников доводится порядок проведения эксперимента и выдаются анкеты. Эксперты знакомятся с помещенными в них вопросами и при необходимости уточняют их. Анкеты заполняются экспертами в процессе или после окончания эксперимента самостоятельно, без какого-либо обсуждения. Заполненная анкета сдается ведущему эксперту. Собрав все анкеты ведущий эксперт приступает к их обработке: 23

• а) в верхней части анкеты ставит порядковый номер, под которым эксперт, давший в ней свои оценки, будет упоминаться в рабочих материалах; • б) затем мнения и оценки экспертов из их анкет переносит в свою сводную таблицу ответов, которая составляется по каждому оценочному вопросу. Качественная оценка эксперта (тем более количественная) переносится в сводную таблицу из анкет без каких-либо редакционных правок, с теми же сокращенными оборотами речи, которые использовал эксперт; • в) на основании сводной таблицы ведущий эксперт составляет анализ ответов экспертов, который разделен на три раздела: «что нравится» , «что не нравится» и «предложения» ; • г) в частных выводах по каждому оцениваемому элементу и оценке объекта в целом ведущий эксперт указывает полученную среднюю арифметическую оценку • где - индивидуальная оценка эксперта; количество экспертных оценок. 24

• Частный вывод должен быть подписан ведущим экспертом, за формулировку которого он несет полную ответственность; • д) после обработки в указанном порядке всех оценочных вопросов ведущий эксперт составляет по оцениваемому объекту заключение. В нем указываются общая оценка объекта и перечисляются предложения по его улучшению, с указанием номеров экспертов, высказавших то или иное предложение. Заключение подписывает ведущий эксперт и, по возможности, все эксперты, участвующие в экспертизе; • е) эксперты, не согласные с заключением или выводами, составленными ведущим экспертом, пишут особое мнение на листе замечаний, располагаемом сразу после заключения. 25

Заключение • На начальных стадиях проектирования, по сути дела определяется качество будущего изделия. Цена и время исправления допущенных ошибок на последующих стадиях прогрессивно возрастают. • Переход к рыночным принципам хозяйствования изменит систему отношений между потребителями и изготовителями продукции, что должно повысить качество изделий. Но пока существующий процесс создания новой техники обладает рядом специфических черт, не способствующих появлению качественной продукции. Одной из таких черт является отсутствие практики независимых экспертиз начальных стадий эргономических проектов. Две основные причины такого явления: одна вытекает из монополизации, отсутствия конкуренции и выражается в вопросе «а зачем? » ; вторая связана с отсутствием необходимого методического обеспечения экспертизы проектов, т. е. выражается в вопросе «как это делать? » . 26

• В сложившихся условиях для существенного повышения качества и конкурентоспособности отечественной продукции народнохозяйственного назначения за счет ее эргономического совершенствования возможны два пути: • - первый – путь выжидания, он связан с внедрением свободных рыночных отношений, которые приведут к ликвидации дефицита промышленной продукции на внутреннем рынке и тем самым заставят отечественные предприятия без давления сверху, вступив в конкурентную борьбу, серьезно заняться решением эргономических проблем; • - второй путь – путь активной борьбы, он требует вмешательства сверху, которое путем определенных запретов, делающих невыгодным выпуск эргономически несовершенной продукции, заставит отечественные предприятия заняться созданием конкурентоспособной техники, обладающей высокими потребительскими свойствами. 27

• Первый путь вряд ли можно считать рациональным, так как он позволяет длительное время выпускать низкокачественную, вредную для здоровья и опасную для жизни продукцию. • Второй путь позволит ввести в стране в обязательном порядке эргономическую экспертизу продукции народнохозяйственного назначения. Такая эргономическая экспертиза должна явиться частью процесса создания и испытаний новой техники и осуществляться заказчиком продукции совместно с разработчиком на всех стадиях проектирования (конструирования). 28

Литература • 1 ГОСТ 2. 118 -73 ЕСКД. Техническое предложение. • 2 ГОСТ 2. 119 -73 ЕСКД. Эскизный проект. • 3 ГОСТ 2. 120 -73 ЕСКД. Технический проект. • 4 Бешелев С. Д. , Гурвич Ф. Г. Экспертные оценки. – М. : Наука, 1973. • 5 Городецкий И. Г. , Турзин П. С. , Найченко М. В. Эргономические основы создания человеко-машинных систем: Учебник / Под ред. А. П. Петрова. –М. : ИЦ МАТИ, 2001. – 567 с. 29