Основы теории ИНС. Нейронная сеть «Звезда Гроссберга» Решение задачи распознавания Решение задачи классификации
Нейросетевая парадигма базируется на той идее, что если создать техническими средствами структуру, подобную по своей конструкции и свойствам биологической структуре мозга, то и работать она будет подобным образом. Поэтому нейросетевая парадигма опирается на результаты нейрофизиологических исследований. Все передающиеся по связям импульсы имеют одинаковую полярность. Нейрон становится входов (до нескольких сотен) и одну т. е приобретает Импульс имеет много возбуждающим или тормозящим, отходящую связь – аксон, который чаще всего разветвляется, входной связью и полярность, проходя через синапс - соединение между эти разветвления (коллатерали) Части нейрона, на нейронах. Это эквивалентно тому, телом нейрона. заканчиваются на разныхкоторых расположены синапсы, что от нейрона отходит много связей, передающих информацию о называются дендритами. Обычно считается, что синапс может изменять возбуждении нейрона одновременно по многим адресам. свою проводимость, благодаря чему он определяет как знак, так и величину передаваемого потенциала.
Нейрон Мак-Каллока и Питтса 1943 г. • Возбуждение нейрона соответствует принципу «все или ничего» . В 1943 г. появилась статья Мак. Калока и Питтса «Логическое • Время делится на дискретные моменты — такты. исчисление идей, относящихся к нервной деятельности» , в которой была предложена модель • формального нейрона и, основанные на этой модели формальныепроисходит, Возбуждение нейрона в какой-то момент времени логические сети. если в предшествующий момент времени произошли возбуждения определенного фиксированного числа синапсов. Это число не зависит ни от предыдущей активности, ни от расположения синапсов на нейроне. • Возбуждение по связи от одного нейрона к любому другому проходит без задержки (за один такт). • Синапсы могут быть возбуждающими или тормозящими. Входной сигнал, прошедший через тормозящий синапс, абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени. • С течением времени структура сети не изменяется.
Правило обучения Хэбба Если два нейрона одновременно возбуждены, то сила связи между ними возрастает
Простейшая модель нейронной сети – звезда Гроссберга • Входной слой. Сенсоры. • Сумматор. • Пороговая функция. • Выход нейрона. Input Output S
Решение задачи распознавания НС «Звезда Гроссберга» 1. Обучение в соответствии с правилом Хэбба Пара ассоциируемых векторов 1, 0. 5, 0 <->1 В соответствии с правилом Хэбба сила связей определяется следующим образом 1 0. 5 0 0 1
Решение задачи распознавания 2. Звезда Гроссберга обучена На вход подается эталонный вектор 1, 0. 5, 0 1 0. 5 =1. 25 0 0 На вход вычислительного нейрона поступает возбуждение 1 х1+0. 5 х0. 5=1. 25 Если порог нейрона, например, 0. 9, то нейрон возбуждается – это сигнал распознавания
Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход обученной сети подается вектор, похожий на эталонный вектор, например, 0. 8, 0. 4, 0 0. 8 0. 4 1 0. 5 =1. 0 0 0 На вход вычислительного нейрона поступает возбуждение 0. 8 х1+0. 4 х0. 5=1. 0 Если порог по прежнему 0. 9, то нейрон все равно возбуждается – сеть узнала этот измененный вектор Меняя порог, можно менять толерантность сети, например, если порог 1. 1, то этот вектор сеть уже не узнает, но узнает вектор 1, 0. 4, 0
Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход подается вектор, не похожий на эталонный, например, 0. 4, 0. 9, 0. 8 0. 4 0. 9 1 0. 5 =0. 85 0 0. 8 На вход вычислительного нейрона поступает возбуждение 0. 4 х1+0. 9 х0. 5+0. 8 х0=0. 85 Если порог по прежнему 0. 9, то нейрон уже не возбуждается – сеть не узнает этот вектор
Решение задачи распознавания 2. Звезда Гроссберга обучена Теперь на вход подается другой вектор, не похожий на эталонный 0. 5, 1, 0. 5 1 1 0. 5 =1. 0 0 0. 5 На вход вычислительного нейрона поступает возбуждение 0. 5 х1+1 х0. 5+0. 5 х0=1. 0 Если порог по прежнему 0. 9, то нейрон возбуждается – сеть узнает этот вектор, хоть он и не похож на эталонный ! Низкая критичность распознавания обусловлена малой размерностью распознаваемых векторов. Посмотрим, что будет, если увеличить размерность.
Решение задачи распознавания 3. Звезда Гроссберга. Увеличение информационной емкости. Пара ассоциируемых векторов {1; 0. 5; 0. 8; 0. 3} {1} В соответствии с правилом Хэбба сила связей устанавливается 1 0. 5 0. 8 0. 3 1
Решение задачи распознавания 3. Звезда Гроссберга обучена. Увеличение информационной емкости На вход подается эталонный вектор {1; 0. 5; 0. 8; 0. 3} 1 0. 5 0. 8 1 0. 3 На вход вычислительного нейрона поступает возбуждение 1 х1+0. 5 х0. 5+0. 8 х0. 8+0. 3 х0. 3=2. 23 Если порог нейрона 2, 1, то нейрон возбуждается – это сигнал распознавания
Решение задачи распознавания 3. Звезда Гроссберга обучена. Увеличение информационной емкости На вход подается искаженный вектор {0, 8; 0. 5; 0; 0. 6; 0. 8; 0. 3} 0. 8 0. 5 0 0. 6 0. 8 1 0. 5 0. 8 0. 3 На вход вычислительного нейрона поступает возбуждение 0. 8 х1+0. 5 х0. 5+ +0. 6 х0. 5+0. 8 х0. 8+0. 3 х0. 3=2. 08 0 Если порог нейрона, 2, 1, то нейрон не возбуждается – этот вектор сеть не узнала. 0. 3 Таким образом, нейронная сеть с большим числом сенсорных нейронов более критична к изменению входного сигнала.
Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд. Обучим, в соответствии с правилом Хэбба, две нейронных сети, совершенно различными векторами: I – {1; 0. 5; 0. 8; 0. 3} и II – {0; 1; 0. 5; 0. 3; 1; 0. 8} 1 0. 5 0. 8 0. 3 0 1 0. 5 0. 8 0. 3 1 0. 5 0. 3 1 1 0. 8 1
Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд. Объединим обученные сети в одну, так, чтобы на входе число сенсорных нейронов осталось прежним, а в выходном слое - два нейрона, каждый из которых будет ответственным за распознавание одного из образов, которыми они обучены. 1 0. 5 0. 8 0. 3 0 1 0. 5 0. 3 1 0. 8
Решение задачи классификации 3. Звезда Гроссберга. Комбинация нескольких звезд. В итоге мы получаем нейронную сеть, которая способна узнавать два вектора. Пусть на вход поступает искаженный вариант эталонного вектора первой НС {0, 9; 0. 5; 0; 0. 7; 0. 8; 0. 3} На вход вычислительных нейронов поступает возбуждение: 0. 9 0. 5 1 I ) 0. 9 х1+0. 5 х0. 5+0+0. 7 х0. 5+0. 8 х0. 8+ +0. 3 х0. 3 = 2. 23 II ) 0. 5 х1+0 х0. 5++0. 7 х0. 3+0. 8 х1+ +0. 3 х0. 8 = 1. 75 0 0. 7 Если порог нейронов, например 2, 1, то первый нейрон выходного слоя возбуждается, а второй – нет. 0. 8 0 0. 3 Сеть правильно классифицировала входной вектор!
Решение задачи классификации Комбинация нескольких звезд – решение задачи классификации Пусть на вход поступает искаженный вектор эталона второй НС {0, 1; 1; 0, 6; 0. 4; 0. 9; 0. 8} 0. 1 1 0 0. 6 0. 4 0. 9 0. 8 1 На вход вычислительных нейронов поступает возбуждение: I ) 1 х1+0. 6 х0. 5++0. 4 х0. 5+0. 9 х0. 8+ +0. 8 х0. 3=1. 76 II ) 0. 1 х1+1 х0. 5++0. 4 х0. 3+0. 9 х1+ +0. 8 х0. 8=2. 96 Если порог нейронов, например 2, 1, то первый нейрон выходного слоя не возбуждается, а второй – возбуждается. Отметим, что мы можем и дальше усложнять структуру нейронной сети таким способом.
Скачать презентацию Основы теории ИНС Нейронная сеть Звезда Гроссберга Решение
Сеть Гроссберга.ppt