Лекція 5 Алгоритми і структури даних Лекція 5:

Лекція 5 Алгоритми і структури даних Лекція 5: Алгоритми розпізнавання образів др.інж. Андрій Керницький [email protected] к.т.н. Павло Денисюк

Еврістичного алгоритму порогової величини 1. Нехай задано множину N образів {x1, x2 .. xN}. 2. Нехай центр першого кластеру z1 співпадає із будь яким із заданих образів та визначена довільна невід’ємна порогова величина Т; для зручності будемо вважати x1=z1. 2

Еврістичного алгоритму порогової величини 2. Після цього обчислюється відстань D21 між образом x2 та центром кластеру z1. Якщо ця відстань більша за значення порогової величини Т, тоді назначається новий центр кластеру z2=x2. В іншому випадку образ x2 включається в кластер центорм якого є z1. 3

Еврістичного алгоритму порогової величини 3. Нехай умова D21 > T виконана, тобто z2 – центр нового кластеру. На наступному кроці обчислюються відстані D31, D32 від образа x3 до центрів кластерів z1, z2. 4. Ящо обидва значення виявляються більшими за поріг – назначається новий кластер із центром x3. . 4

Еврістичного алгоритму порогової величини 5. В іншому випадку x3 включається до кластера, центр якого до нього є ближчим. Так само відстані від кожного нового образу до кожного відомого центру кластера обчислюються та порівнюються із пороговою величиною – якщо всі відстані більші значення порогу Т, назначається новий кластер. Інакше образ зараховується до кластеру, центр якого до нього найближчий. 5

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI Один з об'єктiв (X1) довiльним чином назначається центром першого кластера. Потiм вiдшукується образ, розмiщений вiд образа X1 найдалi, в даному випадку - це образ X6, який призначається центром кластера Z2. На третьому кроцi алгоритму здiйснюється обчислення вiдстаней мiж всiма iншими образами вибiрки i центрами кластерiв Z1 i Z2 6

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI В кожнiй парi цих вибірок вибирається мiнiмальне. Пiсля цього видiляється максимальне з цих мiнiмальних вiдстаней. Якщо останнє складає значну частину вiдстанi мiж кластерами Z1 i Z2 (половина цiєї вiдстанi), вiдповiдний образ призначається центром кластера Z3. Iнакше - виконання алгоритму припиняється. 7

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI В загальному випадку описана процедура повторюється доти, поки на певному кроцi не буде отримано максимальне значення вiдстанi, для якої умова, що викликає видiлення кластера, не виконується. 8

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI Z1=X1 2. Обчислити Di1 3. Вибрати Ki(1)=max{Di1}  i1 ; L1=Ki(1) 4. Z2=Xi 5. Обчислити Di1, Di2  i1,2 6. Обчислити Ai=min{Di1,Di2}  i1,2 7. Обчислити Ki(2)=max{Ai}  i1,2 ; L2=Ki(2) 9

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI 8. Якщо L2>0.5L1, тодi Z3=Xi. Iнакше - STOP. 9. Визначити середню арифметичну величину попереднiх максимальних вiдстаней: Lc.a.=(L1+L2)/2 10. Обчислити Di1, Di2, Di3  i1,2,3 11. Обчислити Ai=min{Di1, Di2, Di3} 12. Обчислити Ki(3)=max{Ai} ; L3=Ki(3) 10

АЛГОРИТМ МАКСИМIННОЇ ВIДСТАНI 13. Якщо Li>0.5La.c., тодi Z4=Xi. Iнакше - STOP. 14. Обчислити Lc.a.=(L1+L2+L3)/3 11

АЛГОРИТМ К-ВНУТРIШНIХ ГРУПОВИХ КРОК 1. Вибираються К початкових центрiв кластерiв Z1(1), Z2(1),...,Zk(1). Цей вибір здiйснюється довiльно i, звичайно, в якостi початкових центрiв використовуються першi k результатiв вибiрки з заданої множини образiв. 12

АЛГОРИТМ К-ВНУТРIШНIХ ГРУПОВИХ КРОК 2. На k-му кроцi iтерацiї задана множина образiв розподiляється по k кластерах за таким правилом : XєSj(k), якщо ||X-Zj(k)||<=||X-Zj(k)||, для всiх i=1,2,...,k, ij, де Sj(k) - множина образiв, якi входять в кластер з центром Zj(k). У випадку рiвностi рiшення приймаються довiльним чином. 13

АЛГОРИТМ К-ВНУТРIШНIХ ГРУПОВИХ КРОК 3. На основi результатів кроку 2 визначаються новi центри кластерiв Zj(k+1), j=1,2,...,k, виходячи з умови, що сума квадратiв вiдстаней мiж усiма образами, що належать множині Sj(k), i новiм центром кластера повинна бути мiнiмальною. Iншими словами, новi центри кластерiв Zj(k+1) вибираються таким чином, щоб мiнiмiзувати показник якостi Jj=||X-Zj(k+1)||^2, j=1,2,...,k. XєSj(k) 14

АЛГОРИТМ К-ВНУТРIШНIХ ГРУПОВИХ Центр Zj(k+1), що забезпечує мiнiмiзацiю показника якостi, є, по сутi, вибiрковим середнiм, визначеним по множинi Sj(k). Вiдповiдно, новi центри кластерiв визначаються як: Zj(k+1)=(1/Nj)X, j=1,2,...,k, XЄSj(k), де Nj- число вибiркових образiв, що входять в множину типу Sj(k). 15

АЛГОРИТМ К-ВНУТРIШНIХ ГРУПОВИХ КРОК 4. Рiвнiсть Zj(k+1) при j=1,2,...,k є умовою збiжностi алгоритму, i при її досягненнi виконання алгоритму припиняється. Iнакше, крок 2. 16

АЛГОРИТМ К-ВНУТРIШНIХ ГРУПОВИХ Якiсть залежить: вiд кiлькостi центрiв кластерiв; вiд вибору початкових центрiв кластерiв; вiд послiдовностi проглядання образiв; вiд геометричної особливостi даних. 17

АЛГОРИТМ К-ВНУТРIШНIХ ГРУПОВИХ Практичне застосування алгоритму вимагає проведення експериментiв, пов'язаних iз вибором рiзних значень параметра k i початковим розмiщенням центрiв кластерiв. 18