Оценка удобства использования пользовательского интерфейса 1
План лекции 1. Удобство использования ПИ. 2. Параметры и методы измерения удобства использования ПИ 2
Определения Usability n Возможность программного продукта быть понятным, обучаемым и привлекательным для пользователей, при использовании его в определенных условиях. [ISO / IEC 9126 -1, 2000] 3
Определения Usability n n Степень, в которой продукт может быть использован определенными пользователями для достижения указанных целей с действенностью, эффективностью и удовлетворенностью в указанном контексте использования. [ISO 9241 -11, 1998] Легкость, с которой пользователь может научиться управлять, подготавливать данные для ввода и интерпретировать результаты работы системы или компонента. [IEEE Std. 610. 12 -1990] 4
Определения Usability n инженерная дисциплина, которая занимается разработкой пользовательских интерфейсов, ориентированных на максимальное психологическое и эстетическое удобство пользователей. 5
Определения Usability n отрасль эргономики, основная цель которой – повышение эффективности взаимодействия между компьютерными системами и пользователями путём создания компьютеров удобных и чувствительных к требованиям пользователей. 6
Определения Usability n n практическая деятельность удобство использования существует в виде тестирования и экспертизы. User е. Хperience (UX, опыт пользователя) - все аспекты опыта пользователя при взаимодействии с продуктом, услугой, средой или помещением, а также следствием внешнего вида, функциональности, действий системы, взаимодействия с пользователем и помощи интерактивной системы» [http: //www. iso. org/iso. ISO 9241 -210 ]. 7
Оценка Usability n n n интуиция разработчиков и проектировщиков иногда может подвести; терминология разработчиков и проектировщиков не всегда совпадает с терминологией, к которой привыкли пользователи; все люди разные, поэтому в природе не существует «среднестатистического» пользователя; инструкции и руководящие принципы по разработке вопросов удобства и простоты использования не полные; информации, получаемой от пользователей по телефону или электронной почте, не достаточно для проведения оценки качества продукта; затраченные на проведение тестирования время, деньги и ресурсы всегда окупаются; 8
Оценка Usability n n продукты, созданные по частям, часто бывают несовместимы на системном уровне; проблемы, выявленные на завершающих стадиях разработки, сложнее и накладнее исправлять; устранение ошибок во время проектирования позволит сократить затраты на последующую поддержку программы; оценка удобства и простоты использования может дать преимущества перед конкурирующими продуктами. 9
Параметры измерения Usability Производительность Израсходованные ресурсы Эффективность Степень, с которой продукт позволяет пользователю достичь стоящей перед ним цели. Изучаемость Определенный уровень прохождения тренинга. Удовлетворенность Восприятие, ощущения и мнения пользователей по поводу изучения и использования данного продукта. знаний после 10
Эффективность (степень, с которой продукт позволяет пользователю достичь стоящей перед ним цели) Задача удобства применения После выполнения пяти сценариев задач 90% пользователей будут в состоянии успешно выполнить задачу Критерий Качество работы 90% Успешно пользователей выполнить задачу Выполнят задачу Условия После выполнения 5 сценариев задач 11
Производительность (израсходованные ресурсы) Задача удобства применения После выполнения пяти сценариев задач 75% пользователей будут в состоянии успешно выполнить задачу в течении 10 мин. Критерий 75 % пользователей выполнят задачу в течении 10 минут Качество работы Успешно выполнить задачу Условия После выполнения 5 сценариев задач 12
Удовлетворенность (восприятие, ощущения и мнения пользователей по поводу изучения и использования данного продукта) Задача удобства применения После выполнения 5 сценариев задач 85% пользователей оценят степень своей удовлетворенности продуктом на 5, 5 и выше баллов (по 7 -ми бал. сист. ) Критерий Качество работы 85% Степень пользователей; удовлетвореннос ти степень удовлетворенно сти 5, 5 балла по 7 -балльной системе Условия После выполнени я 5 сценариев задач 13
Пример требований измерения Usability пользовательского интерфейса Тип цели (что измеряем? ) Установка Эффективность Пример (условие окончания тестирования) Успешная установка за 15 минут Успешное формирование перечня основных задач за 20 минут после 15 -минутного обзора системы Производительность Выполнения задачи 85% пользователей Выполнение 8 задач в час к концу первого дня Производительность Ответственные за ввод данных должны иметь возможность вводить данные в форму с 98% точностью в среднем за 10 минут Согласованность 90% пользователей согласованностью системы удовлетворены 14
Пример требований измерения Usability пользовательского интерфейса Безошибочное выполнение задач 90% задач выполняются без ошибок Выполнение задач Обращение к подсказкам на 15% реже по без подсказок сравнению с существующей системой Справка Обращение к справочной системе успешно в 90% случаев и 90% пользователей удовлетворены справочной системой Визуальные и мультимедиа Положительное впечатление в 90% случаев от графики, анимации и мультимедиа возможности Отсутствие дефектов практичности с уровнем серьезности 1 или 2 относительно требований или Дефекты стандартов Удовлетворенность Положительное впечатление в 90% случаев после системой первого часа использования 90% пользователей предпочитают НОВУЮ систему по сравнению с предшествующими 15 и Предпочтения конкурирующими
Количественные метрики оценки Usability (преимущества) § возможность применения измеряемых критериев при последующих итерациях для оценки продвижения к цели (например, сокращение времени оформления заказа на 20%, выявление 80% usability-проблем на сайте и др. ); § возможность использования статистических методов для подтверждения достоверности результата оценки перед заинтересованными лицами, которые принимают решения на основе объективных данных; § уменьшение вероятности того, что на результат может повлиять субъективная оценка конкретного разработчика ПИ; § увеличение вероятности того, что полученные результаты отражают объективную картину и могут быть рекомендованы пользовательской аудитории; § наличие наглядного числового критерия проверки полученных результатов; § простота и удобство расчетов; § отсутствие параметров в модели позволяет оценивать и сравнивать два разных варианта интерфейса; § прогнозирование времени работы пользователя с определенным вариантом интерфейса; § создание рабочего прототипа ПИ необязательно; § обработка результатов тестирования может быть автоматизирована. ФЧ
Качественные метрики оценки Usability § открытость процесса оценки, что способствует исследованию новых идей и проникновению в сущность проблемы; § возможность обсуждения проблем ПИ с пользователями; § возможность провести оценку usability ПИ меньшим количеством респондентова. 17
Методы оценки Usability (Goals, Operators, Methods, and Selection Rules – Цели, Операторы, Методы и Правила выбора) Метод GOMS § анализ с использованием метода критического пути GOMS (criticalpath method GOMS CPM-GOMS) § естественный язык GOMS (natural GOMS language, NGOMSL), учитывается поведение неопытного пользователя (например, время, необходимое для обучения) Goal Methods Operato rs Selectio n Rules 18
Набор временных интервалов Операторы Операции K = 0. 2 с Нажатие клавиши. Время, необходимое для того, чтобы нажать клавишу. P = 1. 1 с Указание. Время, необходимое пользователю для того, чтобы указать на какую-то позицию на экране монитора. H = 0. 4 с Перемещение. Время, необходимое пользователю для того, чтобы переместить руку с клавиатуры на ГУВ или с ГУВ на клавиатуру. M = 1. 35 с Ментальная подготовка. Время, необходимое пользователю для того, чтобы умственно подготовиться к следующему шагу. R Ответ. Время, в течение которого пользователь должен ожидать ответ компьютера. 19
Пример расчета 1. 2. 3. 4. Перемещение руки к графическому устройству ввода данных: H Перемещение курсора к необходимому переключателю в группе: H P Нажатие на необходимый переключатель: H P K В половине случаев в интерфейсе уже будет выбрано требуемое направление перевода, и поэтому Холу не придется кликать на переключатель. Сейчас мы рассматриваем случай, когда переключатель не установлен в требуемое положение. 5. Перемещение рук снова к клавиатуре: H P K H 6. Ввод четырех символов: H P K H K K K=0. 2; P=1. 1; H=0. 4; M=1. 35 7. Нажатие клавиши <Enter>: H P K H K K K H + M + P + K + H + M + K + K + M + K = 0. 4 + 1. 35 + 1. 1 + 0. 2 + 0. 4 + 1. 35 + 4*(0. 2) + 1. 35 + 0. 2 = 7. 15 с 20
Методы оценки Usability (Goals, Operators, Methods, and Selection Rules – Цели, Операторы, Методы и Правила выбора) Преимущества: § простота и удобство расчетов; § отсутствие параметров в модели позволяет проводить оценочные сравнение двух разных вариантов интерфейса; § дает прогноз времени работы пользователя с данным вариантом интерфейса; § модель не требует создания рабочего прототипа; § анализ по этой модели может быть автоматизирован. Недостатки: § ориентация на средних пользователей; § не учитывает: особенностей работы новичков и специалистов; § индивидуальных различий пользователей, возникновение случайных ошибок в работе; § в процессе работы происходит научение, а при простое – 21 забывание.
Экспертная оценка Цель- определение проблем usability ПИ экспертами § контрольный список (требования в порядке их важности) • преимущества - высокая надежность • недостатки - большое время исследования из-за большого количества требований, необходимость формулировки четких требований § эвристический (эвристические характеристики удобного пользовательского интерфейса : наблюдаемость состояния системы, пользовательское управление и свобода действий; целостность и стандарты; помощь пользователям в распознавании, диагностике и устранении ошибок; соотнесение с реальным миром; предотвращение ошибок; распознавание, а не вспоминание; гибкость и эффективность использования, как для новичков, так и для опытных пользователей; эстетичный и минимально необходимый дизайн; помощь и документация ). • преимущества - небольшое время для оценки • недостатки - не учитывает деятельности пользователей § метод мысленная прогонка по интерфейсу • недостаток - в случае использования записи для оценки требуется много времени 22
Экспертная оценка Преимущества § может быть использован на ранних стадиях процесса разработки § не требует предварительного планирования, обеспечивает быструю и относительно недорогую обратную связь с дизайнерам Недостатки § необходимость наличия опытных экспертов-оценщиков § сложность обобщения результатов разных экспертов § высокая стоимость оценки § Не предполагает участия пользователями 23
Тестирование n Наставничество (Coaching Method); n Совместное обучение (Co-discovery Learning); n Измерение производительности (Performance measurement) ; n Протокол «вопрос-ответ» (Question-asking protocol); n Удалённое тестирование (Remote Testing, moderated); n Ретроспективное тестирование (Retrospective Testing) ; n Фиксация мыслей вслух (Thinking aloud protocol) ; n Тестирование с комментарием (Shadowing Method) ; n Обучение (Teaching Method); 24
Наставничество(Coaching Method) Цель метода n выявить трудности обучения продукту и проблемы документации n выявить, какая информация необходима пользователям n осуществить редизайн Способ реализации n Один тестер выступает в роли тренера, обучающего пользователя n Второй тестер наблюдает за общением пользователя и первого тестера 25
Совместное обучение (Co-discovery Learning) n Цель n n Способ n n n проверить, насколько просто научиться использовать продукт Задания выполняют сразу два пользователя, помогающие другу Пользователи должны быть знакомы и иметь предварительный опыт совместной работы Недостаток n Наличие опытного пользователя 26
Измерение производительности (Performance measurement) n Цель n n Получить количественные данные о производительности (для сравнения между версиями, продуктами) Особенности n n n Запрещены взаимодействия между тестировщиками и пользователями Тестирование лаборатории Высокая точность оценки 27
Протокол «вопрос-ответ» (Question-asking protocol) § Цель § определить ментальную модель пользователя § проблемные задачи § Способ § пользователи озвучивают свою работу; § им задаются заранее подготовленные вопросы о продукте: • «Как Вы могли бы послать email из этой программы? » • «Как сделать маркированный список? » § Преимущество § Постоянная обратная пользователем связь с 28
Удалённое тестирование (Remote Testing, moderated) Цель: § Получить обратную связь при отсутствии прямого доступа к пользователям Способ § Тестирующий и пользователь работают раздельно (в разных местах и/или в разное время) Необходимые технологии § Журналирование действий пользователя § Видеокамеры и голосовая связь или запись § Средства удаленного воспроизведения экрана пользователя Преимущества испытуемый находится в естественной среде, широкий региональный охват, опосредованное техническими средствами наблюдение, небольшие временные затраты Недостатки требования к аппаратной и программной платформе, поиск участников тестирования 29
Ретроспективное тестирование (Retrospective Testing) n Цель n n Получить максимум обратной связи, изучить поведение – при этом не оказывать влияния на производительность Способ n n n Пользователи обсуждают с usabilityтестером видеозапись тестирования Отвечают на вопросы, возникшие у тестера во время тестирования Пользователь объясняет, что он делал, чего пытался добиться по видеозаписи 30
n Фиксация мыслей вслух (Thinking aloud protocol) Цель Получить представление о том, что пользователь думает и переживает в процессе работы n n Способы n n n Critical response — пользователь должен озвучивать выполнение только заранее определенных задач Periodic report — в случае, если задача трудна сама по себе, пользователь рассказывает о её выполнении после окончания. Преимущества n Объективность оценки 31
Тестирование с комментарием (Shadowing Method) n Цель n n n Не пропустить специфичные для предметной области проблемы Не заставлять пользователя говорить Способ n n Один пользователь выполняет задания Второй (эксперт в предметной области) комментирует usability-тестеру его работу. 32
Обучение (Teaching Method); n Цель n n Проверить, насколько понятны примененные модели и насколько легко можно обучиться продукту Способ n n Один пользователь осваивает продукт А потом объясняет новичку, как им пользоваться 33
Какой метод выбрать? нет Есть пользователи для проведения тестирования? Heuristic Evaluation Измерение эвристик Доступны ли пользователи непосредственно? нет Remote тестирование Удаленное. Testing Оцениваем производительность, а не впечатления людей? Могут ли пользователи говорить (комментировать свою работу)? Thinking Aloud Protocol Рассуждение вслух Question-asking Ответ-вопрос Protocol да нет Performance Измерение Measurement производительности да Является ли тестер экспертом в предметной области? нет Co-discoveryобучение Совместное Learning да Может ли другой пользователь комментировать работу пользователя, выполняющего тестовые задания? нет Retrospective Ретроспекивное Testing да Teaching Method Обучение Shadowing Тестир. С Method комментариями да Coaching Method Наставничество
Инспекция Когнитивное пошаговое руководство (Cognitive Walkthrough) n Цель n n n Выявить трудность изучения ПО без предварительного изучения документации Подсчитать количество ошибочных действий Способ n n Предварительно не изучается документация Определяется последовательность действий для решения задачи Определяется предполагаемая реакция системы Составляется отчет о проблемах 35
Инспекция функций (Feature Inspection) n Цель n n Способ n n n Проанализировать конкретный набор функций системы на понятность и удобство использования usability-эксперт фокусируется функциях Каждая функция анализируется характеристики usability продукта на на Достоинства n Не требует планирования предварительного 36
Плюралистическая обработка (Pluralistic Walkthrough) n Цель n n выявить широкий спектр usabilityпроблем за счёт взаимодействия нескольких типов экспертов Способ n n n Наличие бумажного прототипа Документируется последовательность действий Составляется качественная и количественная оценки usability 37
Инспекция с учётом различных точек зрения (Perspective-based Inspection) n Цель n n исследование и оценка пользовательского интерфейса с конкретной точки зрения Способ n n n составляется перечень вопросов, которые отражают проблемы usability продукта процедуру проверки usability новичок отвечает на вопросы эксперт решает вопросы, связанные с оценкой usability инспекторы пытаются выявить всевозможные ошибки в системе 38
Наблюдение (Полевые исследования) n Цель n n Способ n n n Выявить как пользователи используют продукт для решения своих задач Предварительная подготовка вопросов Перечень данных, которые должны быть собраны Наблюдение n n Прямое (непосредственное присутствие специалиста по эргономике) Косвенное (видеозапись) 39
Фокусные группы n Цели n n n собрать первоначальные мнения об ПИ, проверить, насколько он соответствует ожиданиям, выяснить, какие проблемы возникают у пользователя при взаимодействии с ним уточнение данных количественного исследования, его дополнения за счет более подробной проработки полученной ранее информации Способ n n Наличие рабочего вариант продукта с интерфейсом Запись беседы фокус группы 40
Интервью (Interviews) n Цель n n собрать как можно больше информации об опыте пользователя и ожиданиях пользователя о продукте Способ n n n Неструктурированное интервью Структурированное интервью личное общение целевых групп пользователей продукта с интервьюером 41
Протоколирование фактического использования (Logging Actual Use) n Цели n n автоматический сбор статистики об использовании продукта Способ n n Запись реальных условий использования продукта за счет низкоуровневых частей программного обеспечения системы, таких как клавиатура и драйверы мыши Анализ записи 42
Предпроектные полевые исследования (Proactive Field Study) n Цели n n исследовать профиль пользователя на его рабочем месте Способ n n n Определяют характеристики, задачи пользователя Определяют функции системы Фиксируются изменения поведения пользователя 43
Анкетирование (Questionnaires) n Цели n n выявляет информацию о личных предпочтениях пользователя Способ n n Наличие стандартизированных опросников ACSI (American Customer Satisfaction Index), SUMI (Software Usability Measurement Inventory), QUIS (The Questionnaire for User Interaction Satisfaction ), MUMMS (Measuringthe Usability of Multi-Media Software), Iso. Metrics, WAMMI (Website Analysisand Measurement Inventory). Получение количественных результатов анкетирования 44
Анкетирование (Questionnaires) 45
Учет факторов Usability n n снизить расходы и уменьшить время разработки; увеличить доходы; повысить эффективность, продуктивность и удовлетворенность; снизить затраты на внедрение (за счет сокращения обучения) и на поддержку пользователей. 46
Результаты юзабилити тестирования 47
Скачать презентацию Оценка удобства использования пользовательского интерфейса 1 План
лекция_6.pptx