Скачать презентацию Генетичні алгоритми План лекції 1 2 3 Скачать презентацию Генетичні алгоритми План лекції 1 2 3

Гнет алг.ppt

  • Количество слайдов: 25

Генетичні алгоритми Генетичні алгоритми

План лекції 1. 2. 3. 4. 5. 6. 7. 8. Метод нейробіології. Біологічний нейрон. План лекції 1. 2. 3. 4. 5. 6. 7. 8. Метод нейробіології. Біологічний нейрон. Нейронні мережі. Біологічна мінливість і навчання нейронних мереж. Формальний нейрон. Навчання нейрона детектування кордону "чорнебіле“. Персептрон Розенблатта. Теорема про навчання персептрона.

1. Метод нейробіології До предмету нейробілологіі відноситься вивчення нервової системи і її головного органу 1. Метод нейробіології До предмету нейробілологіі відноситься вивчення нервової системи і її головного органу - мозку. Принциповим питанням для цієї науки є з'ясування співвідношення між будовою нервової системи і її функцією. Розгляд проводиться на молекулярному, клітинному рівнях, на рівні окремого органу, організму в цілому, і далі на рівні соціальної групи. Для наших практичних цілей відправною точкою буде клітинний рівень

2. Біологічний нейрон n n n Елементом клітинної структури мозку є нервова клітина - 2. Біологічний нейрон n n n Елементом клітинної структури мозку є нервова клітина - нейрон. Нейрон у своїй будові має багато спільних рис з іншими клітинами , однак істотно відрізняється від інших за своїм функціональним призначенням. Нейрон виконує прийом, елементарне перетворення і подальшу передачу інформації іншим нейронам.

n n Тіло клітини містить безліч розгалужених відростків двох типів : дендрити та аксони. n n Тіло клітини містить безліч розгалужених відростків двох типів : дендрити та аксони. Дендрити служать в якості вхідних каналів для нервових імпульсів від інших нейронів. Ці імпульси надходять в сому, викликаючи її специфічне збудження, яке потім поширюється по аксону. Рис. 1. Загальна схема будови біологічного нейрона. Довжина аксонів зазвичай помітно перевершує розміри дентритів, в окремих випадках досягаючи десятків сантиметрів і навіть метрів.

Тіло нейрона, заповнене іонним розчином, оточене мембраною, що володіє низькою провідністю. Між внутрішньою поверхнею Тіло нейрона, заповнене іонним розчином, оточене мембраною, що володіє низькою провідністю. Між внутрішньою поверхнею мембрани аксона і зовнішнім середовищем підтримується різниця електричних потенціалів. Під впливом стимулюючих сигналів від інших нейронів мембрана аксона динамічно змінює свою провідність (деполяризується).

n n Імпульс деполяризації клітинної мембрани (спайк), поширюється вздовж аксона практично без загасання. Швидкість n n Імпульс деполяризації клітинної мембрани (спайк), поширюється вздовж аксона практично без загасання. Швидкість переміщення спайка є відносно невисокою і становить від 100 до 1000 сантиметрів на секунду. Збудженя нейрона у вигляді спайка передається іншим нейронам, які таким чином об'єднані в провідну нервові імпульси мережу. Ділянки мембрани на аксоні, де розміщуються області контакту аксона даного нейрона з дендрита іншими нейронів, називаються синапсами. В області синапсу відбувається обмін інформацією про збудженя між нейронами.

n n Механізми синаптичної передачі достатньо складні і різноманітні. Вони можуть мати хімічну та n n Механізми синаптичної передачі достатньо складні і різноманітні. Вони можуть мати хімічну та електричну природу. У хімічному синапсі у передачі імпульсів беруть участь специфічні хімічні речовини нейромедіатори. Залежно від типу виробляється медіатора синапс може мати збуджуючу або гальмівну дією. Зазвичай на всіх відростках одного нейрона виробляється один і той же медіатор, і тому нейрон в цілому функціонально є гальмівним або збуджуючим.

3. Нейронні мережі Взаємодіючі між собою за допомогою передачі через відростки збуджень нейрони формують 3. Нейронні мережі Взаємодіючі між собою за допомогою передачі через відростки збуджень нейрони формують нейронні мережі. n Виділяють три основних типів нейронних мереж, що відрізняються структурою і призначенням - ієрархічні мережі - інформація в таких мережах передається в процесі послідовного переходу від одного рівня ієрархії до іншого; - локальні мережі - формуються нейронами з обмеженими сферами впливу; - дивергентні мережі з одним входом – нейрон такої мережі може впливати відразу на безліч нейронів n Загальна кількість нейронів у центральній нервовій системі людини досягає 1010 - 1011, при цьому кожна нервова клітина пов'язана в середньому з 103 - 104 інших нейронів.

Нейрони утворюють два характерних типи з'єднань: - конвергентні - велика кількість нейронів одного рівня Нейрони утворюють два характерних типи з'єднань: - конвергентні - велика кількість нейронів одного рівня контактує з меншим числом нейронів наступного рівня; - дивергентні - контакти встановлюються з дедалі більшим числом клітин наступних шарів ієрархії. Поєднання конвергентних і дівергентних сполук забезпечує багаторазове дублювання інформаційних шляхів, що є вирішальним фактором надійності нейронної мережі.

4. Біологічна мінливість і навчання нейронних мереж Структура основних типів нейронних мереж генетично зумовлена 4. Біологічна мінливість і навчання нейронних мереж Структура основних типів нейронних мереж генетично зумовлена – наприклад тип нейромедіатора, розмір нейрона. Однак детерміновані нейронні структури демонструють властивості мінливості - синаптичні контакти пластичні. Властивості проникності синаптичної мембрани можуть змінюватися у відповідь на тривалу активізацію або гальмування нейрона. Синаптичний контакт "тренується" у відповідь на умови функціонування.

Нервова тканина практично позбавлена характерною для інших типів тканин здатності до регенерації шляхом ділення Нервова тканина практично позбавлена характерною для інших типів тканин здатності до регенерації шляхом ділення клітин. Однак нейрони демонструють здатність до формування нових відростків і нових синаптичних контактів. Ця властивість у цілому забезпечує стійкість функціонування нейронний мереж при відносній ненадійності їх окремих компонент – нейронів.

5. Формальний нейрон Історично першою роботою, яка заклала теоретичний фундамент для створення штучних моделей 5. Формальний нейрон Історично першою роботою, яка заклала теоретичний фундамент для створення штучних моделей нейронів і нейронних мереж, прийнято вважати опубліковану в 1943 р. статтю Уоррена с. Маків-Каллоком і Вальтера Піттса "Логічне числення ідей, що відносяться до нервової активності". Головний принцип теорії Маккалок і Піттса полягає в тому, що довільні явища, пов'язані з вищої нервової діяльності, можуть бути проаналізовані і зрозумілі, як деяка активність в мережі, що складається з логічних елементів, які приймають тільки два стани ("все або нічого"). При цьому для будь-якого логічного вираження може бути знайдена мережа логічних елементів, що має описується цим виразом поведінку. В якості моделі такого логічного елемента, який подальшому назву "формальний нейрон", була запропонована схема зображена не Рис. 2.

Рис. 2. Функціональна схема формального нейрона Маккалок і Піітса Формальний нейрон являє собою математичну Рис. 2. Функціональна схема формального нейрона Маккалок і Піітса Формальний нейрон являє собою математичну модель простого процесора, що має кілька входів і один вихід. Вектор вхідних сигналів (що надходять через "дендріди") перетворюється нейроном у вихідний сигнал (поширюється по "аксону") з використанням трьох функціональних блоків: локальної пам'яті, блоку підсумовування і блоку нелінійного перетворення.

- Вектор локальної пам'яті містить інформацію про вагові множниках, з якими вхідні сигнали будуть - Вектор локальної пам'яті містить інформацію про вагові множниках, з якими вхідні сигнали будуть інтерпретуватися нейроном (аналогм чутливості пластичних синаптичних контактів). - У блоці підсумовування відбувається накопичення загального вхідного сигналу (зазвичай позначається символом net), рівного зваженої сумі входів: Відгук нейрон далі описується за принципом "все або нічого", тобто змінна піддається нелінійному пороговому перетворенню, при якому вихід Y встановлюється рівним одиниці, якщо net> , і Y= 0 в зворотному випадку. Значення порогу також зберігається в локальній пам'яті.

Фомальні нейрони можуть бути об'єднані в мережі шляхом замикання виходів одних нейронів на входи Фомальні нейрони можуть бути об'єднані в мережі шляхом замикання виходів одних нейронів на входи інших. Для теоретичного опису одержуваних нейронних мереж пропонувався математичну мову обчислення логічних предикатів.

Важливим розвитком теорії формального нейрона є перехід до аналогових (безперервним) сигналам, а також до Важливим розвитком теорії формального нейрона є перехід до аналогових (безперервним) сигналам, а також до різних типів нелінійних перехідних функцій. Опишемо найбільш широко використовувані типи перехідних функцій Y = f (net). • Порогова функція : • Лінійна функція :

 • Сигмоїдальні функції : Сигмоїдальна функція володіє вибірковою чутливістю до сигналів різної інтенсивності, • Сигмоїдальні функції : Сигмоїдальна функція володіє вибірковою чутливістю до сигналів різної інтенсивності, що відповідає біологічним даними. Найбільша чутливість спостерігається поблизу порогу, де малі зміни сигналу net призводять до відчутних змін виходу. Навпаки, до варіацій сигналу в областях значно вище або нижче порогового рівня сигмоїдальна функція не чуттєва, так як її похідна при великих і малих аргументах прагне до нуля.

6. Навчання нейрона детектування кордону 6. Навчання нейрона детектування кордону "чорне-біле" Здатність формального нейрона до навчання проявляється в можливості зміни значень вектора ваги W(аналог пластичності синапсів біологічних нейронів). Розглянемо навчання формального нейрона на прикладі найпростішої задачі детектування кордону.

Функція, що виконує нейрон визначається таблицею Вхід 1 1 1 0 0 Вхід 2 Функція, що виконує нейрон визначається таблицею Вхід 1 1 1 0 0 Вхід 2 1 0 Вихід 0 0 1 0 Для даної задачі значення ваг і порога нейрона можуть бути пред'явлені і без спеціальної процедури навчання. Легко переконатися, що потрібним вимогам задовольняє набір = 0, W 1 = -1, W 1 = +1. У разі завдання детектування межі переходу від темного до світлого ваги потрібно поміняти місцями.

7. Персептрон Розенблатта Однією з перших штучних мереж, здатних до перцепції (сприйняття) і формування 7. Персептрон Розенблатта Однією з перших штучних мереж, здатних до перцепції (сприйняття) і формування реакції на сприйнятий стимул, з'явився PERCEPTRON Розенблатта. Персептрон розглядалося його автором не як конкретне технічне обчислювальний пристрій, а як модель роботи мозку.

Найпростіший класичний персептрон містить нейроподібні елементи трьох типів: - S-елементи формують сітківку сенсорних клітин, Найпростіший класичний персептрон містить нейроподібні елементи трьох типів: - S-елементи формують сітківку сенсорних клітин, що беруть двійкові сигнали від зовнішнього світу. - Далі сигнали надходять в шар асоціативних або Aелементів. Тільки асоціативні елементи виконують нелінійну обробку інформації та мають змінні ваги зв'язків. - R-елементи з фіксованими вагами формують сигнал реакції персептрона на вхідний стимул Рис. 2. Елементарний персептрон Розенблатта Одношаровий персептрон характеризується матрицею синаптичних зв'язків W від S-до A-елементів. Елемент матриці відповідає зв'язку, що веде від i-го S-елемента до j-му A-елементу.

8. Теорема про навчання персептрона Навчання мережі полягає в підлаштуванні вагових коефіцієнтів кожного нейрона. 8. Теорема про навчання персептрона Навчання мережі полягає в підлаштуванні вагових коефіцієнтів кожного нейрона. Нехай є набір пар векторів (x , y ), = 1. . p, який називають навчальною вибіркою. Будемо називати нейронну мережу навченою за цією навчальною вибіркою, якщо при подачі на входи мережі кожного вектора x на виходах кожного разу виходить відповідний вектор y. Запропонований Ф. Розенблаттом метод навчання полягає в ітераційному підлаштуванні матриці ваги, яке послідовно зменшує помилку в вихідних векторах.

Алгоритм включає кілька кроків 1) Початкові значення ваг всіх нейронів W(t=0)покладаються випадковими. 2) Мережі Алгоритм включає кілька кроків 1) Початкові значення ваг всіх нейронів W(t=0)покладаються випадковими. 2) Мережі пред'являється вхідний образ x , в результаті формується вихідний образ y 1 ≠ y . Обчислюється вектор помилки мережі на виході δ = y 1 -y. Подальша ідея полягає в тому, що зміна вектора вагових коефіцієнтів в області малих помилок повинна бути пропорційна помилці на виході, і дорівнювати нулю якщо помилка дорівнює нулю. Вектор ваги модифікується за наступною формулою 3) 4) 1) де 0<η<1 - темп навчання Кроки 1 -3 повторюються для всіх навчальних векторів. Один цикл послідовного пред'явлення всієї вибірки називається епохою. Навчання завершується після закінчення декількох епох а) коли ітерації зійдуться, тобто вектор ваг перестає змінюватись, б) коли повна підсумована по всіх векторах абсолютна помилка стане менше деякого малого значення.

Даний метод навчання був названий Розенблаттом Даний метод навчання був названий Розенблаттом "методом корекції зі зворотним передачею сигналу помилки". -Пізніше більш широко стало відомо назву " правило ". Представлений алгоритм відноситься до широкого класу алгоритмів навчання з учителем, оскільки відомі як вхідні вектора, так і необхідні значення вихідних векторів (мається вчитель, який може оцінити правильність відповіді учня).