Скачать презентацию Классификация с помощью решающих функций Понятие решающих Скачать презентацию Классификация с помощью решающих функций Понятие решающих

03_Решающие функции.ppt

  • Количество слайдов: 48

Классификация с помощью решающих функций Классификация с помощью решающих функций

Понятие решающих функций Одной из основных задач распознавания образов является задача описания классов. Предположим, Понятие решающих функций Одной из основных задач распознавания образов является задача описания классов. Предположим, что имеется некоторое (конечное) множество классов Ω={w 1, …, wm}. Каждый образ х описывается некоторым набором признаков в пространстве признаков – вектором х.

Понятие решающих функций Все пространство признаков Х разбивается на m+1 попарно несовместных множеств (полную Понятие решающих функций Все пространство признаков Х разбивается на m+1 попарно несовместных множеств (полную группу множеств) Х 0, Х 1, …, Хm: Таким образом, что , если х Хi. Если же х Х 0, то будем считать, что образ х попал в область «неопределен-ности» и в этом случае его классифицировать не будем.

Понятие решающих функций Говорят, что множество Хi является множеством предпочтения класса wi в пространстве Понятие решающих функций Говорят, что множество Хi является множеством предпочтения класса wi в пространстве Х.

Понятие решающих функций Таким образом, границами классов распознаваемых образов будем считать границы областей Хi Понятие решающих функций Таким образом, границами классов распознаваемых образов будем считать границы областей Хi (i=0, 1, . . , m). Автоматическое нахождение границ классов – одна из основных задач теории распознавания образов. Границы классов распознаваемых объектов можно определять по-разному, например, с помощью понятия решающих функций.

Понятие решающих функций Предположим, что существует m+1 функция dj(x), x Rn (решающие или дискриминантные Понятие решающих функций Предположим, что существует m+1 функция dj(x), x Rn (решающие или дискриминантные функции) такие что Поверхность называется разделяющей. Образ х принадлежит классу wi, если выполняются неравенства dj(x) < 0 для всех i≠j и di(x) > 0

Линейные решающие функции Линейными решающими функциями (ЛРФ) называются решающие функции вида где - вектор Линейные решающие функции Линейными решающими функциями (ЛРФ) называются решающие функции вида где - вектор весовых коэффициентов - вектор признаков образа

Линейные решающие функции Например, частный случай линейной решающей функции на плоскости имеет вид Линейные решающие функции Например, частный случай линейной решающей функции на плоскости имеет вид

Линейные решающие функции Предположим, что решающая функция имеет вид Тогда х w 1, если Линейные решающие функции Предположим, что решающая функция имеет вид Тогда х w 1, если х w 2, если

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Заметим, что не любые два множества векторов можно разделить с помощью Линейные решающие функции Заметим, что не любые два множества векторов можно разделить с помощью линейной функции. В этом случает классы называются линейно неразделимыми, а задачу распознавания называют линейно неразрешимой.

Линейные решающие функции Теорема (условия линейной разделимости классов) 1. Два множества векторов линейно разделимы Линейные решающие функции Теорема (условия линейной разделимости классов) 1. Два множества векторов линейно разделимы тогда и только тогда, когда их выпуклые оболочки не пересекаются; 2. Линейно независимая система векторов в Rn линейно разделима на любые два класса.

Линейные решающие функции Предположим, что имеются образы нескольких классов, причем любые два класса линейно Линейные решающие функции Предположим, что имеются образы нескольких классов, причем любые два класса линейно разделимы. При разделении нескольких классов с помощью линейных решающих функций возможны следующие случаи:

Линейные решающие функции 1. Каждый класс отделяется от всех остальных классов одной линейной решающей Линейные решающие функции 1. Каждый класс отделяется от всех остальных классов одной линейной решающей функцией. В этом случае вектор х Хi, если

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Пример 1. Пусть d 1(x) = -x 1+x 2 -2, d Линейные решающие функции Пример 1. Пусть d 1(x) = -x 1+x 2 -2, d 2(x)=x 1, d 3(x)=-x 2+1. Будем считать, что класс w 1 отделяется от классов w 2 и w 3 с помощью прямой d 1(x) = 0, класс w 2 отделяется от классов w 1 и w 3 с помощью прямой d 2(x)=0, класс w 3 отделяется от классов w 1 и w 2 с помощью прямой d 3(x)=0. Тогда образ х wi, если

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Каждая область предпочтения Хi соответствующая классу wi, описывается системой неравенств Линейные решающие функции Каждая область предпочтения Хi соответствующая классу wi, описывается системой неравенств

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Линейные решающие функции

Линейные решающие функции При такой линейной классификации имеются большие области неопределенности (области, не имеющие Линейные решающие функции При такой линейной классификации имеются большие области неопределенности (области, не имеющие штриховку)

Линейные решающие функции Область неопределенности - это такое множество Х 0, что то нельзя Линейные решающие функции Область неопределенности - это такое множество Х 0, что то нельзя однозначно определить принадлежность образа х одному из классов.

Линейные решающие функции 2. Каждые два класса можно разделить одной линейной разделяющей поверхностью. В Линейные решающие функции 2. Каждые два класса можно разделить одной линейной разделяющей поверхностью. В этом случае любой класс отделяется от всех других классов с помощью не более (m-1)-й разделяющих поверхностей, где m – число классов. Для разделения всех классов требуется не более чем m(m-1)/2 ЛРФ.

Линейные решающие функции имеют вид причем образ х wi, если dij>0 для всех Линейные решающие функции имеют вид причем образ х wi, если dij>0 для всех

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Пример 2. Пусть d 12(x)=-x 1+x 2 -2, d 13(x)=-x 1, Линейные решающие функции Пример 2. Пусть d 12(x)=-x 1+x 2 -2, d 13(x)=-x 1, d 23(x)= x 2+1. Будем считать, что класс w 1 отделяется от классов w 2 и w 3 с помощью прямых d 12(x)=0 и d 13(x)=0, класс w 2 отделяется от классов w 1 и w 3 с помощью прямых d 12(x)=0 и d 23(x)=0, класс w 3 отделяется от классов w 1 и w 2 с помощью прямых d 13(x)=0 и d 23(x)=0.

Линейные решающие функции Если считать, что То область принадлежности классам могут быть заданы следующими Линейные решающие функции Если считать, что То область принадлежности классам могут быть заданы следующими системами неравенств

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Как видно из рисунка область неопределенности значительно меньше, чем в предыдущем Линейные решающие функции Как видно из рисунка область неопределенности значительно меньше, чем в предыдущем примере.

Линейные решающие функции 3. Любой из m классов разделяется от всех остальных классов с Линейные решающие функции 3. Любой из m классов разделяется от всех остальных классов с помощью m решающих функций di(x), i=1, 2, …, k. Будем считать, что образ х є wi, если di(x)>dj(x) для всех Случай 3 является частным случаем 2. Если dij(x) = di(x) - dj(x), то набор решающих функций будет удовлетворять случаю 2: образ х є wi, если dij(x)>0 для всех

Линейные решающие функции Граница между классами wi и wj определяется теми значениями вектора х, Линейные решающие функции Граница между классами wi и wj определяется теми значениями вектора х, при которых имеет место равенство di(x) = dj(x) или (что то же самое) di(x) - dj(x) = 0. Таким образом, при выводе уравнения разделяющей границы для классов wi и wj значения решающих функций di(x) и dj(x) используются совместно.

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Пример 3. Пусть в качестве решающих функций выбраны следующие: d 1(х) Линейные решающие функции Пример 3. Пусть в качестве решающих функций выбраны следующие: d 1(х) = -х1 + х2, d 2(х) = x 1 + x 2— 1, d 3(х) = - х2. Разделяющие границы для трех классов выглядят при этом так: d 1(х) - d 2(x) = -2 х1 + 1 = 0, d 1(х) - d 3(x) = - x 1 + 2 x 2 = 0, d 2(х) - d 3(х) = х1 + 2 х2 - 1 = 0.

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Для того чтобы определить область решений, соответствующую классу w 1, необходимо Линейные решающие функции Для того чтобы определить область решений, соответствующую классу w 1, необходимо выделить область, в которой выполняются неравенства d 1(x) > d 2(х) и d 1(x) > d 3(x). Эта область совпадает с положительными зонами для прямых -2 х1 + 1 = 0 и - x 1 + 2 x 2 = 0.

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Область принятия решения о принадлежности образа классу w 2 совпадает с Линейные решающие функции Область принятия решения о принадлежности образа классу w 2 совпадает с положительными зонами для прямых 2 х1 - 1 = 0 и х1 + 2 х2 - 1 = 0.

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Область, отвечающая классу w 3 определяется положительными зонами для прямых x Линейные решающие функции Область, отвечающая классу w 3 определяется положительными зонами для прямых x 1 - 2 x 2 = 0 и -х1 - 2 х2 + 1 = 0.

Линейные решающие функции Линейные решающие функции

Линейные решающие функции Итого получаем Линейные решающие функции Итого получаем

Линейные решающие функции Замечание 1. Наиболее общим случаем линейной классификации является случай 2. 2. Линейные решающие функции Замечание 1. Наиболее общим случаем линейной классификации является случай 2. 2. С точки зрения эффективности классификации более предпочтительны случаи 1 и 3.

Линейные решающие функции 3. Выбор того или иного случая классификации определяется сложностью системы распознавания Линейные решающие функции 3. Выбор того или иного случая классификации определяется сложностью системы распознавания и выбранным алгоритмом нахождения решающих функций. 4. Основная задача – научить систему автоматически находить решающие функции.