Алгоритми і структури даних Лекція 5 Алгоритми розпізнавання

Алгоритми і структури даних Лекція 5: Алгоритми розпізнавання образів др. інж. Андрій Керницький kernitsky@cad. lviv. ua к. т. н. Павло Денисюк Лекція 5

Еврістичного алгоритму порогової величини 1. Нехай задано множину N образів {x 1, x 2. . x. N}. 2. Нехай центр першого кластеру z 1 співпадає із будь яким із заданих образів та визначена довільна невід’ємна порогова величина Т; для зручності будемо вважати x 1=z 1. 2

Еврістичного алгоритму порогової величини 2. Після цього обчислюється відстань D 21 між образом x 2 та центром кластеру z 1. Якщо ця відстань більша за значення порогової величини Т, тоді назначається новий центр кластеру z 2=x 2. В іншому випадку образ x 2 включається в кластер центорм якого є z 1. 3

Еврістичного алгоритму порогової величини 3. Нехай умова D 21 > T виконана, тобто z 2 – центр нового кластеру. На наступному кроці обчислюються відстані D 31, D 32 від образа x 3 до центрів кластерів z 1, z 2. 4. Ящо обидва значення виявляються більшими за поріг – назначається новий кластер із центром x 3. . 4

Еврістичного алгоритму порогової величини 5. В іншому випадку x 3 включається до кластера, центр якого до нього є ближчим. Так само відстані від кожного нового образу до кожного відомого центру кластера обчислюються та порівнюються із пороговою величиною – якщо всі відстані більші значення порогу Т, назначається новий кластер. Інакше образ зараховується до кластеру, центр якого до нього найближчий. 5

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI • Один з об'єктiв (X 1) довiльним чином назначається центром першого кластера. Потiм вiдшукується образ, розмiщений вiд образа X 1 найдалi, в даному випадку - це образ X 6, який призначається центром кластера Z 2. На третьому кроцi алгоритму здiйснюється обчислення вiдстаней мiж всiма iншими образами вибiрки i центрами кластерiв Z 1 i Z 2 6

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI В кожнiй парi цих вибірок вибирається мiнiмальне. Пiсля цього видiляється максимальне з цих мiнiмальних вiдстаней. Якщо останнє складає значну частину вiдстанi мiж кластерами Z 1 i Z 2 (половина цiєї вiдстанi), вiдповiдний образ призначається центром кластера Z 3. Iнакше - виконання алгоритму припиняється. 7

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI В загальному випадку описана процедура повторюється доти, поки на певному кроцi не буде отримано максимальне значення вiдстанi, для якої умова, що викликає видiлення кластера, не виконується. 8

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI 1. Z 1=X 1 2. 2. Обчислити Di 1 3. Вибрати Ki(1)=max{Di 1} i 1 ; L 1=Ki(1) 4. Z 2=Xi 5. Обчислити Di 1, Di 2 i 1, 2 6. Обчислити Ai=min{Di 1, Di 2} i 1, 2 7. Обчислити Ki(2)=max{Ai} i 1, 2 ; L 2=Ki(2) 9

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI 8. Якщо L 2>0. 5 L 1, тодi Z 3=Xi. Iнакше STOP. 9. Визначити середню арифметичну величину попереднiх максимальних вiдстаней: Lc. a. =(L 1+L 2)/2 10. Обчислити Di 1, Di 2, Di 3 i 1, 2, 3 11. Обчислити Ai=min{Di 1, Di 2, Di 3} 12. Обчислити Ki(3)=max{Ai} ; L 3=Ki(3) 10

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI 13. Якщо Li>0. 5 La. c. , тодi Z 4=Xi. Iнакше STOP. 14. Обчислити Lc. a. =(L 1+L 2+L 3)/3 11

АЛГОРИТМ КВНУТРIШНIХ ГРУПОВИХ КРОК 1. Вибираються К початкових центрiв кластерiв Z 1(1), Z 2(1), . . . , Zk(1). Цей вибір здiйснюється довiльно i, звичайно, в якостi початкових центрiв використовуються першi k результатiв вибiрки з заданої множини образiв. 12

АЛГОРИТМ КВНУТРIШНIХ ГРУПОВИХ КРОК 2. На k-му кроцi iтерацiї задана множина образiв розподiляється по k кластерах за таким правилом : XєSj(k), якщо ||X-Zj(k)||<=||X-Zj(k)||, для всiх i=1, 2, . . . , k, i j, де Sj(k) - множина образiв, якi входять в кластер з центром Zj(k). У випадку рiвностi рiшення приймаються довiльним чином. 13

АЛГОРИТМ КВНУТРIШНIХ ГРУПОВИХ КРОК 3. На основi результатів кроку 2 визначаються новi центри кластерiв Zj(k+1), j=1, 2, . . . , k, виходячи з умови, що сума квадратiв вiдстаней мiж усiма образами, що належать множині Sj(k), i новiм центром кластера повинна бути мiнiмальною. Iншими словами, новi центри кластерiв Zj(k+1) вибираються таким чином, щоб мiнiмiзувати показник якостi Jj= ||X-Zj(k+1)||^2, 14 j=1, 2, . . . , k. XєSj(k)

АЛГОРИТМ КВНУТРIШНIХ ГРУПОВИХ • Центр Zj(k+1), що забезпечує мiнiмiзацiю показника якостi, є, по сутi, вибiрковим середнiм, визначеним по множинi Sj(k). Вiдповiдно, новi центри кластерiв визначаються як: • Zj(k+1)=(1/Nj) X, j=1, 2, . . . , k, XЄSj(k), де Nj- число вибiркових образiв, що входять в множину типу Sj(k). 15

АЛГОРИТМ КВНУТРIШНIХ ГРУПОВИХ КРОК 4. Рiвнiсть Zj(k+1) при j=1, 2, . . . , k є умовою збiжностi алгоритму, i при її досягненнi виконання алгоритму припиняється. Iнакше, крок 2. 16

АЛГОРИТМ КВНУТРIШНIХ ГРУПОВИХ • • • Якiсть залежить: вiд кiлькостi центрiв кластерiв; вiд вибору початкових центрiв кластерiв; вiд послiдовностi проглядання образiв; вiд геометричної особливостi даних. 17

АЛГОРИТМ КВНУТРIШНIХ ГРУПОВИХ Практичне застосування алгоритму вимагає проведення експериментiв, пов'язаних iз вибором рiзних значень параметра k i початковим розмiщенням центрiв кластерiв. 18