Сеть Кохонена Сеть с самоорганизацией на основе

Сеть Кохонена

Сеть с самоорганизацией на основе конкуренции Модификация весов по правилу Кохонена. Адаптируются только веса, лежащие в некоторой окрестности нейрона-победителя.

Меры расстояния между векторами евклидова мера: скалярное произведение: Манхэттен: мера относительно нормы L :

Нормализация векторов Необходимость в нормализации при небольшой размерности входных векторов. При N>200 эффект от нормализации уменьшается. Способы нормализации: 1. 2. Увеличение размерности пространства на одну координату, чтобы:

Общий смысл обучения

Инициализация весов 1. Инициализация случайным образом (с нормализацией). 2. Метод выпуклой комбинации: 3. Добавление шума к входным векторам.

Проблема мертвых нейронов 1. Начальная адаптация всех весов. 2. Учет активности нейрона ( «чувство справедливости» ) - контролирование частоты выигрыша каждого нейрона; - вычисление потенциала нейронов: - модификация расстояния между входным вектором и вектором весов:

Алгоритмы обучения 1. WTA с учетом активности нейронов (CWTA): 2. WTM (Winner takes most): а) классический алгоритм Кохонена: - функция G определяет прямоугольную окрестность; - соседство гауссовского типа: б) алгоритм нейронного газа: Сортировка векторов весов по расстояниям до входного вектора; , где m(i) - номер нейрона i в полученной перестановке по расстояниям.

Сравнение алгоритмов обучения 1. CWTA. 2. WTM - нейронный газ. 3. Классический алгоритм Кохонена.

Применение сети Кохонена 1. Компрессия данных. Кадр разбивается на части (входные вектора). Каждой части сопоставляется нейрон-победитель. Степень компресии изображений: 16. 2. Диагностирование неисправностей. 3. Визуализация многомерной информации.

Визуализация многомерной информации Двумерная топографическая карта набора трехмерных данных. Каждая точка в трехмерном пространстве попадает в свою ячейку сетки имеющую координату ближайшего к нейрона из двумерной карты. Свойство локальной близости: близкие на карте области близки в исходном пространстве. Наоборот в общем случае не верно. Раскраска по i-му признаку. Карты всех признаков образуют топографический атлас.

Визуализация деятельности российских банков Исходные данные. 1800 банков. Каждый банк описывается 30 финансовыми показателями. Задача Построить 2 обобщенных параметра, представляющие данные о банках с минимальной потерей информации.

Метод решения: карта Кохонена Входной слой: 30 нейронов. Выходной слой: плоскость 20 х20 нейронов. Ячейки, содержащие хотя бы один банк с отозванной лицензией.

Анализ карт Кохонена Размер активов Всего расходов Уставной фонд (относительный размер) Прибыль/убыток Всего доходов Всего обязательств

Достоинства и недостатки Достоинства: 1. Быстрое обучение; 2. Устойчивость к помехам. Недостатки: 1. Не обладает свойствами аппроксиматора; 2. Решение задач кластеризации только при известном числе кластеров.