Тема 5 Оценивание сложных систем Этапы оценивания

Тема 5 Оценивание сложных систем

Этапы оценивания сложных систем Этап 1. Определение цели оценивания В системном анализе выделяют два типа целей. Качественной называют цель, достижение которой выражается в номинальной шкале или в шкале порядка. Количественной называют цель, достижение которой выражается в количественных шкалах. Определение цели должно осуществляться относительно системы, в которой рассматриваемая система является элементом (подсистемой).

Этапы оценивания сложных систем Этап 2. Измерение свойств систем, признанных существенными для целей оценивания Для этого выбираются соответствующие шкалы измерений свойств, и всем исследуемым свойствам систем присваивается определенное значение на этих шкалах

Этапы оценивания сложных систем Этап 3. Выбор критериев качества и критериев эффективности функционирования систем на основе измеренных на выбранных шкалах свойств. Этап 4. Собственно оценивание. Все исследуемые системы, рассматриваемые как альтернативы, сравниваются по сформулированным критериям и в зависимости от целей оценивания ранжируются, выбираются, оптимизируются и т. д.

ПОНЯТИЕ ШКАЛЫ В основе оценки лежит процесс сопоставления значений качественных или количественных характеристик исследуемой системы значениям соответствующих шкал. Все возможные шкалы принадлежат к одному из нескольких типов, определяемых перечнем допустимых операций на этих шкалах. Формально шкалой называется кортеж из трех элементов < X, ф, У >, где X - реальный объект, У - шкала, ф - гомоморфное отображение X на У.

ПОНЯТИЕ ШКАЛЫ X = {x 1, х2, . . . , хn, Rх} - эмпирическая система с отношением, включающая множество свойств хi, на которых в соответствии с целями измерения задано некоторое отношение Rx. В процессе измерения необходимо каждому свойству хi € X поставить в соответствие признак или число, его характеризующее. Если, например, целью измерения является выбор, то элементы хi рассматриваются как альтернативы, а отношение Rx должно позволять сравнивать эти альтернативы.

ПОНЯТИЕ ШКАЛЫ У = {ф (x 1), . . . , ф (хn), Ry } - знаковая система с отношением, являющаяся отображением эмпирической системы в виде некоторой образной или числовой системы, соответствующей измеряемой эмпирической системе; ф € Ф - гомоморфное отображение X на У, устанавливающее соответствие между X и У так, что {ф(х1), …, ф(xn)} € Rу только тогда, когда (x 1, …, xn) € Rx. Тип шкалы определяется по Ф = {ф1, . . . , фm}, множеству допустимых преобразований хi → yi.

Классификация шкал Все шкалы делятся на два типа: 1) Качественные (номинальная, шкала порядка); 2) Количественные (интервальная, шкала отношений, шкала разностей, абсолютная, степенная, логарифимическая).

ШКАЛА НОМИНАЛЬНОГО ТИПА Самой слабой качественной шкалой является номинальная (шкала наименований, классификационная шкала), по которой объектам хi присваивается некоторый признак. Основным свойством этих шкал является сохранение неизменными отношений равенства между элементами эмпирической системы. Шкалы номинального типа задаются множеством взаимно однозначных допустимых преобразований шкальных значений.

ШКАЛА НОМИНАЛЬНОГО ТИПА Номинальный тип шкал соответствует простейшему виду измерений, при котором шкальные значения используются лишь как имена объектов, поэтому шкалы номинального типа часто называют также шкалами наименований. Примерами измерений в номинальном типе шкал могут служить: номера автомашин, телефонов, коды городов, лиц, объектов и т. п. Операции в данной шкале: A = B, A ≠B

ШКАЛА НОМИНАЛЬНОГО ТИПА Следует обратить внимание на две особенности номинальных шкал. Во-первых, одному элементу может быть поставлено в соответствие несколько значений шкалы измерения. (Например, два номера телефона одного человека). Во-вторых, при измерении в шкале наименований символы 1, 2, 3, . . . , n, используемые в качестве шкальных значений, являются не числами, а знаками, служащими лишь для обозначения и различия объектов. Так, знак 2 не является в два раза или на единицу больше знака 1, в отличие от чисел 2 и 1.

Шкала порядка Шкала называется ранговой (шкалой порядка), если множество Ф состоит из всех монотонно возрастающих допустимых преобразований шкальных значений. u Монотонно возрастающим называется такое преобразование ф(х), которое удовлетворяет условию: если х1 > х2, то и ф(х1) > ф (х2) для любых шкальных значений из области определения ф(х). u Шкала порядка используется для упорядочения объектов по измеряемым свойствам. u

Шкала порядка Измерение в шкале порядка может применяться, например, в следующих ситуациях: u необходимо упорядочить объекты во времени или пространстве. Это ситуация, когда интересуются не сравнением степени выраженности какого-либо их качества, а лишь взаимным пространственным или временным расположением этих объектов; u нужно упорядочить объекты в соответствии с каким -либо качеством, но при этом не требуется производить его точное измерение; u какое-либо качество в принципе измеримо, но в настоящий момент не может быть измерено по причинам практического или теоретического характера.

Шкала порядка Примеры шкал порядка: шкала силы ветра, силы землетрясения, сортности товаров в торговле, различные социологические шкалы. Любая шкала, полученная из шкалы порядка с помощью произвольного монотонно возрастающего преобразования шкальных значений, будет также шкалой порядка для исходной эмпирической системы. Операции в данной шкале: A = B, A ≠B, A > B, A < B

Шкала порядка Несколько более «сильными» , чем порядковые шкалы, являются шкалы гиперпорядка. Допустимыми для этих шкал являются гипермонотонные преобразования, т. е. преобразования ф (х), такие, что для любых х 1, х 2, х 3 и х 4 ф(х1) - ф(х2) < ф(х3) - ф(х4), только когда х1, х2, х3 и х4 принадлежат области определения ф (х) и х 1 – х 2 < х 3 - х 4. При измерении в шкалах гиперпорядка сохраняется упорядочение разностей численных оценок.

Шкала интервалов Шкалой интервалов называется шкала, если Ф состоит из положительных линейных допустимых преобразований вида: ф (х) = ах + b, где х - шкальные значения из области определения У; а > 0; b любое значение. Основным свойством этих шкал является сохранение неизменными отношений интервалов в эквивалентных шкалах: (x 1 – x 2) / (х3 - х4) = (ф(x 1) – ф(x 2)) / (ф(х3) - ф(х4)) = const

Шкала интервалов Примером шкалы интервалов могут служить шкалы температур. Переход от одной шкалы к эквивалентной, например, от шкалы Цельсия к шкале Фаренгейта, задается линейным преобразованием шкальных значений: t° F = 1, 8 t°С + 32

Шкала интервалов Шкалы интервалов так же, как номинальная и порядковая, сохраняют различие и упорядочение измеряемых объектов. Кроме этого они сохраняют и отношение расстояний между парами объектов. Запись (x 1 – x 2) / (x 3 – x 4) = K означает, что расстояние между х1 и х2 в К раз больше расстояния между х3 и х4 и в любой эквивалентной шкале это значение (отношение разностей численных оценок) сохранится. При этом отношения самих оценок не сохраняются.

Шкала интервалов Если у нас есть числа интервальной шкалы, то мы можем сказать, например, что интервал между двумя объектами со значениями 5 и 10 такой же, как и между объектами со значениями 20 и 25. С числами интервальной шкалы можно производить арифметические операции, такие как сложение и умножение. Однако после сложения чисел интервальной шкалы нельзя сказать, что величина 100 в два раза лучше (, jkmit), чем величина 50. Операции, которые можно выполнять на базе этой шкалы: A = B, A ≠B, A > B, A < B, A + B, A - B

Шкала отношений Шкалой отношений (подобия) называется шкала, если Ф состоит из преобразований подобия ф(х) = ах, а> О, где х - шкальные значения из области определения У; а - действительные числа. В шкалах отношений остаются неизменными отношения численных оценок объектов. Действительно, пусть в одной шкале объектам а 1 и а 2 соответствуют шкальные значения х1 и х2, а в другой ф(х1) = ах1 и ф(х2) = ах2, где а > 0 - произвольное действительное число. Тогда имеем: x 1 / x 2 = ф(х1) / ф(х2) = ах1 / ах2 = х1 / х2

Шкала отношений Примерами измерений в шкалах отношений являются измерения массы и длины объектов. Известно, что при установлении массы используется большое разнообразие численных оценок. Так, производя измерение в килограммах, получаем одно численное значение, при измерении в фунтах - другое и т. п. Однако можно заметить, что в какой бы системе единиц ни производилось измерение массы, отношение масс любых объектов одинаково и при переходе от одной числовой системы к другой, эквивалентной, не меняется. Этим же свойством обладает и измерение расстояний и длин предметов.

Шкала отношений Шкалы отношений, являясь частным случаем шкал интервалов, при выборе нулевой точки отсчета (b=0) сохраняют не только отношения свойств объектов, но и отношения расстояний между парами объектов. Операции для данной шкалы: A = B, A ≠B, A > B, A < B, A + B, A – B, A x B, A / B Число интервальной шкалы можно умножать или делить на константу или число шкалы отношений, но нельзя умножать или делить на другое число интервальной шкалы.

Шкала разностей Шкалы разностей определяются как шкалы, единственные с точностью до преобразований сдвига ф (х) = х + b, где х - шкальные значения из области определения У; b - действительные числа. Это означает, что при переходе от одной числовой системы к другой меняется лишь начало отсчета. Шкалы разностей применяются в тех случаях, когда необходимо измерить, насколько один объект превосходит по определенному свойству другой объект. В шкалах разностей неизменными остаются разности численных оценок свойств. Действительно, если x 1 и x 2 - оценки объектов а 1 и а 2 в одной шкале, а ф(х1) = х1 + b и ф (х2)= х2 + b - в другой шкале, то имеем: ф (x 1) - ф (х2) = (x 1 +b) - (х2 + b) = x 1 - х2.

Шкала разностей Примерами измерений в шкалах разностей могут служить измерения прироста продукции предприятий (в абсолютных единицах) в текущем году по сравнению с прошлым, увеличение численности учреждений, количество приобретенной техники за год и т. д. Другим примером измерения в шкале разностей является летоисчисление (в годах). Переход от одного летоисчисления к другому осуществляется изменением начала отсчета (григорианский и юлианский календари).

Шкала разностей Как и шкалы отношений, шкалы разностей являются частным случаем шкал интервалов, получаемых фиксированием параметра а (а = 1), т. е. выбором единицы масштаба измерений. Точка отсчета в шкалах разностей может быть произвольной. Шкалы разностей, как и шкалы интервалов, сохраняют отношения интервалов между оценками пар объектов, но, в отличие от шкалы отношений, не сохраняют отношения оценок свойств объектов.

Абсолютная шкала Абсолютными называют шкалы, в которых единственными допустимыми преобразованиями Ф являются тождественные преобразования: ф (х) = х. Это означает, что существует только одно отображение эмпирических объектов в числовую систему. Абсолютные шкалы применяются, например, для измерения количества объектов, предметов, событий, решений и т. п. В качестве шкальных значений при измерении количества объектов используются натуральные числа, когда объекты представлены целыми единицами, и действительные числа, если кроме целых единиц присутствуют и части объектов. Абсолютные шкалы являются частным случаем всех ранее рассмотренных типов шкал, поэтому сохраняют любые соотношения между числовыми оценками измеряемых свойств объектов: различие, порядок, отношение интервалов, отношение и разность значений и т. д.

Промежуточные типы шкал Степенная шкала: ф (х) = а хb ; а > 0, b > 0, а ≠ 1, b ≠ 1, и ее разновидность логарифмическая шкала ф (х) = х b; b > 0, b ≠ 1. Изобразим для наглядности соотношения между основными типами шкал в виде иерархической структуры основных шкал. Здесь стрелки указывают включение совокупностей допустимых преобразований более «сильных» в менее «сильные» типы шкал. При этом шкала тем «сильнее» , чем меньше свободы в выборе ф (х). Некоторые шкалы являются изоморфными, т. е. равносильными. Например, равносильны шкала интервалов и степенная шкала. Логарифмическая шкала равносильна шкале разностей и шкале отношений.

Иерархия основных шкал Слабые качественные шкалы Номинальная шкала: ф(х) – взаимно однозначные преобразования Порядковая шкала: ф(х) – монотонно возрастающие преобразования (из х1 > х2 следует ф(х1) > ф(х2))

Сильные количественные шкалы Степенная шкала: ф(х) – пропорциональные преобразования ф(х) = ахb; a>0; b>0; a≠ 1; b≠ 1 Логарифмическая шкала: ф(х) = xb; b>0; b≠ 1 Шкала интервалов: ф(х) – линейные преобразования ф(х) = ах + b; a>0; b€R 1; b≠ 0 Шкала разностей: ф(х) – преобразование сдвига ф(х) = x+b, ; b€R 1 Шкала отношений: ф(х) – преобразование подобия ф(х) = ах; a>0 Абсолютная шкала: ф(х) – тождественные преобразования ф(х) = x

ОБРАБОТКА ХАРАКТЕРИСТИК, ИЗМЕРЕННЫХ В РАЗНЫХ ШКАЛАХ При работе с величинами, измеренными в разных шкалах, необходимо соблюдать определенные правила. Проиллюстрируем широко распространенную ошибку при использовании балльной оценки. Пусть для экспертизы представлены две системы - А и Б, оцениваемые по свойствам y 1, y 2, y 3, у4. Качество каждой системы оценивается как среднеарифметическое по пятибалльной системе, но оценка в баллах является вследствие округления не совсем точной. Так, например, свойства, имеющие фактический уровень 2, 6 и 3, 4 балла, получат одинаковую оценку 3 балла. Результаты экспертизы приведены в табл. 1.

ОБРАБОТКА ХАРАКТЕРИСТИК, ИЗМЕРЕННЫХ В РАЗНЫХ ШКАЛАХ Свойство системы Система А Система Б истинная в баллах У 1 4, 4 4 3, 6 4 У 2 3, 3 3 3, 7 4 У 3 2, 4 2 2, 6 3 У 4 4, 4 4 2, 6 3 Суммарная оценка 14, 5 13 12, 5 14

Правила осреднения Проводить осреднение допускается только для однородных характеристик, измеренных в одной шкале. Каждое значение показателя yi может иметь для исследователя различную ценность, которую учитывают с помощью коэффициентов значимости сi, причем Σ сi = 1.

Основные формулы осреднения показателей Наименование Формула Средневзвешенное арифметическое (СВА) Усва = Σ сi yi Среднеарифметическое (СА), частный случай СВА при равнозначности измерений (сi = 1/n) Yса = 1/n Σ yi Среднеквадратичное (СК) Средневзвешенное геометрическое (СВГм) Yск = (1/n Σ yi 2) 1/2 Yсвгм = П yici

Основные формулы осреднения показателей Наименование Формула Среднегеометрическое (СГм), частный случай СВГм при сi = 1/n Yсгм = ( П yi ) 1/n Средневзвешенное гармоническое (СВГр) Yсвгр = (Σ сi yi-1) -1 Среднегармоническое (СГр) Yсгр = n (Σ yi-1) -1

Правило мажорантности средних СГр < СГм < СА < СК

Шкалы и формулы осреднения Шкала Номинальная Порядковая (ранговая) Параметры, сохраняющиеся при переходе от одной шкалы к другой Допустимые виды осреднения Среднеарифметическое Другие Распределение по классам эквивалентности Нет Порядок Нет Интервалов Отношение разностей ф(x 1) – ф(x 2) x 1 – x 2 ---------- = -----ф(x 3) – ф(x 4) x 3 – x 4 Да Нет Степенная Отношение разностей логарифмов ln ф(x 1) – lnф(x 2) ln(х1) – ln(х2) ----------- = ---------ln ф(x 3) – ln ф(x 4) ln(x 3) – ln(x 4) Нет Среднегеометрическое

Шкалы и формулы осреднения Шкала Логарифмическая Отношений Параметры, сохраняющиеся при переходе от одной шкалы к другой Отношение логарифмов ln ф(x 1) ln x 1 ----- = -----ln ф(x 2) ln x 2 Допустимые виды осреднения Среднеарифметическое Другие Нет Среднегеометрическое Отношение оценок ф(x 1) x 1 ----- = -----ф(x 2) x 2 Да Разностей Разность оценок ф(x 1) – ф(x 2) = x 1 – x 2 Да Абсолютная Тождественное ф(x) = x Да Среднегеометрическое Среднегармоническое Среднеквадратичное Нет Среднегеометрическое Среднегармоническое Среднеквадратичное

Качество и эффективность Искусственные системы создаются, как правило, для реализации ряда операций. Требуемый и реально достигаемый системой результаты могут различаться. Это зависит от условий протекания операции, качества системы, реализующей операцию, и способов достижения требуемых результатов. Поэтому при оценке систем принято различать качество систем и эффективность реализуемых системами процессов.

Таблица 1 - Соотношение понятий качества и эффективности систем Параметр Качество Эффективность Определение Свойство системы, характеризующее ее пригодность для использования по назначению Комплексное операционное свойство процесса функционирования системы, характеризующее его приспособленность к выполнению задачи системы Область применения Объекты любой природы, в том числе элементы систем Только целенаправленные операции, проводимые системой Основная Совокупность Степень соответствия характерис- атрибутивных свойств результатов операции ее цели тика системы, существенных для ее использования по назначению

Таблица 1 - Соотношение понятий качества и эффективности систем Параметр Качество Эффективность Фактор структурного анализа Строение системы (состав и свойства составных частей, структура, организация) Алгоритм функционирования, воздействие внешней среды Размерность Показатель качества - вектор показателей существенных свойств системы Показатели результативности, ресурсоемкости и оперативности по исходу операции и по качеству «алгоритма» , обеспечивающего получение результатов Критерии оценки Критерии пригодности, оптимальности, превосходства Критерии пригодности или оптимальности, определяемые в зависимости от типа проводимой операции (детерминированная, вероятностная или неопределенная)

ПОКАЗАТЕЛИ КАЧЕСТВА СИСТЕМЫ Частный показатель качества системы переменная yij, отражающая i-е существенное свойство j-й системы, значение которой характеризует меру (интенсивность) этого качества. Показатель yij может принимать значения из множества допустимых значений {yдопi}. Обобщенный показатель качества j-й системы - вектор Yj=< уj 1, у j 2, …. У jn >, компоненты которого – частные показатели его отдельных свойств. Примеры: надежность, гибкость, производительность, обучаемость и др.

КРИТЕРИИ КАЧЕСТВА СИСТЕМЫ Назовем идеальной системой Y* гипотетическую модель исследуемой системы, идеально соответствующую всем критериям качества. Y* = <у*1, у*2, . . . , у*n> - вектор, являющийся показателем качества идеальной системы. Область адекватности - некоторая окрестность значений показателей качества, такая что δ = │Yдоп – Y* │, где δ - радиус области адекватности, Yдоп – вектор, допустимых значений показателей качества системы. При таком рассмотрении все критерии качества могут принадлежать к одному из трех классов.

ВИДЫ КРИТЕРИЕВ КАЧЕСТВА Критерий пригодности (Кприг): правило, согласно которому j-я система считается пригодной, если значения всех i-x частных показателей yji этой системы принадлежат области адекватности δ, а радиус области адекватности соответствует допустимым значениям всех частных показателей.

ВИДЫ КРИТЕРИЕВ КАЧЕСТВА Критерий оптимальности (Kопт): правило, согласно которому j-я система считается оптимальной по i-му показателю качества, если существует хотя бы один частный показатель качества yij , значение которого принадлежит области адекватности δ, а радиус области адекватности по этому показателю оптимален. Оптимальность радиуса адекватности определяется, как правило, в виде δ опт = 0, что подразумевает отсутствие отклонений показателей качества от идеальных значений.

ВИДЫ КРИТЕРИЕВ КАЧЕСТВА Критерий превосходства (Кпрев): правило, согласно которому j-я система считается превосходной, если все значения частных показателей качества принадлежат области адекватности δ, а радиус области адекватности оптимален по всем показателям. Критерий превосходства является частным случаем критерия оптимальности, который, в свою очередь, является частным случаем критерия пригодности.

ПОКАЗАТЕЛИ И КРИТЕРИИ ЭФФЕКТИВНОСТИ ФУНКЦИОНИРОВАНИЯ СИСТЕМ Оценка исхода операции (аспект 1) учитывает, что операция проводится для достижения определенной цели - исхода операции. Под исходом операции понимается ситуация (состояние системы и внешней среды), возникающая на момент ее завершения. Для количественной оценки исхода операции вводится понятие показателя исхода операции (ПИО), вектора Уисх = < Уэ, YR, Yо >, компоненты которого - показатели его отдельных свойств, отражающие результативность, ресурсоемкость и оперативность операции.

ПОКАЗАТЕЛИ И КРИТЕРИИ ЭФФЕКТИВНОСТИ ФУНКЦИОНИРОВАНИЯ СИСТЕМ Результативность YЭ операции определяется получаемым целевым эффектом, ради которого функционирует система. Ресурсоемкость YR характеризуется ресурсами всех видов (людскими, материально-техническими, энергетическими, информационными, финансовыми и т. п. ), используемыми для получения целевого эффекта. Оперативность YО определяется расходом времени, необходимым для достижения цели операции.