Искусственные нейронные сети Биологический нейрон Элементная

Искусственные нейронные сети

Биологический нейрон

Элементная база ИНС (формальные нейроны)

Типичный формальный нейрон в составе ИНС производит нелинейную (!) операцию над линейной (!)комбинацией входов

Математический нейрон

Нейрон — это несложный автомат, преобразующий входные сигналы в выходной сигнал. Сигналы силы x 1, x 2, . . . , xn, поступая на синапсы, преобразуются линейным образом, т. е. к телу нейрона поступают сигналы силы w 1 x 1, w 2 x 2, . . . , wnxn (здесь wi — веса соответствующих синапсов). Для удобства к нейрону добавляют еще один вход (и еще один вес u), считая, что на этот вход всегда подается сигнал силы 1. Нейрон суммирует эти сигналы, затем применяет к сумме некоторую фиксированную функцию p и выдает на выходе сигнал силы y = p(w 1 x 1 + w 2 x 2 +. . . + wnxn + u). Эта модель была предложена Маккалоком и Питтсом еще в 1943 г. При этом использовались пороговые передаточные функции (см. рис. ) и правила формирования выходного сигнала y выглядели особенно просто: если w 1 x 1 + w 2 x 2 + +. . . + wnxn + u > T, то y = 1, иначе y = 0.

Передаточные функции нейронов

В 1960 г. на основе таких нейронов Розенблатт построил первый в мире автомат для распознавания изображений букв, который был назван “перцептрон” (perception — восприятие). Этот автомат имел очень простую однослойную структуру и мог решать только относительно простые (линейные) задачи. С тех пор были изучены и более сложные системы из нейронов, использующие в качестве передаточных любые непрерывные функции. Одна из наиболее часто используемых передаточных функций называется сигмоидной (или логистической) и задается формулой -х s(x) = 1/(1 + e ) (см. рис. ).

Архитектура (типы) ИНС

Многосвязность (глобальность) в ИНС

Трехслойная ИНС

Пример многослойной полносвязанной нейронной сети прямого распространения сигнала

Сегодня существует большое число различных конфигураций нейронных сетей с различными принципами функционирования, которые ориентированы на решение самых разных задач. В качестве примера можно взять многослойную полносвязанную нейронную сеть прямого распространения, которая широко используется для поиска закономерностей и классификации образов. Полносвязанной нейронной сетью называется многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми нейронами предыдущего слоя, а в случае первого слоя — со всеми входами нейронной сети. Прямое распространение сигнала означает, что такая нейронная сеть не содержит петель.

Процедуры обучения ИНС

Выделяют три парадигмы обучения ИНС • При обучении с учителем известны правильные ответы к каждому входному примеру, а веса подстраиваются так, чтобы минимизировать ошибку. • Обучение без учителя позволяет распределить образцы по категориям за счет раскрытия внутренней структуры и природы данных. • При смешанном обучении комбинируются два вышеизложенных подхода.

Что значит «обучение ИНС» Способность к обучению является основным свойством мозга. Для искусственных нейронных сетей под обучением понимается процесс настройки архитектуры сети (структуры связей между нейронами) и весов синаптических связей (влияющих на сигналы коэффициентов) для эффективного решения поставленной задачи. Обычно обучение нейронной сети осуществляется на некоторой выборке. По мере процесса обучения, который происходит по некоторому алгоритму, сеть должна все лучше и лучше (правильнее) реагировать на входные сигналы.

Алгоритмы обучения Существует большое число алгоритмов обучения, ориентированных на решение разных задач. Среди них выделяет алгоритм обратного распространения ошибки, который является одним из наиболее успешных современных алгоритмов. Его основная идея заключается в том, что изменение весов синапсов происходит с учетом локального градиента функции ошибки. Разница между реальными и правильными ответами нейронной сети, определяемыми на выходном слое, распространяется в обратном направлении — навстречу потоку сигналов. В итоге каждый нейрон способен определить вклад каждого своего веса в суммарную ошибку сети. Простейшее правило обучения соответствует методу наискорейшего спуска, то есть изменения синаптических весов пропорционально их вкладу в общую ошибку.

Метод обратного распространения ошибки для многослойной полносвязанной нейронной сети

Оптимизация решения (минимизация ошибки) Конечно, при таком обучении нейронной сети нет уверенности, что она обучилась наилучшим образом, поскольку всегда существует возможность попадания алгоритма в локальный минимум. Для этого используются специальные приемы, позволяющие «выбить» найденное решение из локального экстремума. Если после нескольких таких действий нейронная сеть сходится к тому же решению, то можно сделать вывод о том, что найденное решение, скорее всего, оптимально.

Метод градиентного спуска при минимизации ошибки сети

«Лево-право-полушарная метафора» : две парадигмы обработки информации – логическая (л. п. , классические ПК) и образное (пр. п. , НК)

Из доклада (1997) академика Вл. Игоревича Арнольда:

Области применения ИН

Однако, между всеми этими задачами есть нечто принципиально общее

Преимущества нейросетевого подхода заключаются в следующем: • параллелизм обработки информации; • единый и эффективный принцип обучения; • надежность функционирования; • способность решать неформализованные задачи.

Авиация

Гиперзвуковой самолет-разведчик Lo. FLYTE (фотографии Accurate Automation Corp и NASA)

Системы безопасности в аэропортах

Экономика и бизнес

Маркетинг Компания Goal. Assist Corporation выполнила заказ крупной маркетинговой фирмы, которой требовалось исследовать стратегию поощрительных товаров (когда, например, присылая несколько этикеток с покупок, покупатель получает бесплатный сувенир). Обычные методы прогнозирования отклика потребителей в данном случае оказались неточными, в результате чего спрос на некоторые поощрительные товары оказался слишком высоким и многим покупателям пришлось подолгу ждать получения приза, в то время как другие подарки остались невостребованными. Чтобы повысить точность прогнозирования поведения потребителей, были использованы нейронные сети, обучающиеся на основе накопленной статистики. Для решения задачи применялись пакеты Neuro. Shell Classifier и Neuro. Shell Predictor (см. рисунок ниже) компании Ward Systems Group (http: //www. wardsystems. com/), а средняя ошибка предсказаний составила всего около 4%.

Neuro. Shell Predictor

Медицина

Диагностика слуха В медицинской диагностике нейронные сети нередко используются вместе с экспертными системами. Компанией «Нейро. Проект» была создана система объективной диагностики слуха у грудных детей. Общепринятая методика диагностики состоит в том, что в процессе обследования регистрируются отклики мозга в ответ на звуковой раздражитель, проявляющиеся в виде всплесков на электроэнцефалограмме. Для диагностики слуха ребенка опытному эксперту-аудиологу необходимо провести около 2 тыс. тестов, нейронная сеть способна с той же достоверностью определить уровень слуха уже по 200 наблюдениям в течение всего нескольких минут, причем без участия специалиста.

Интернет

Активная реклама

Ввод информации (распознавание речи) Распознавание речи является весьма популярным применением нейронных сетей, реализованным в ряде программных продуктов. В компании «Нейро. Проект» несколько лет назад была создана демонстрационная система для речевого управления встроенным в Windows калькулятором. Система позволяла без предварительного обучения уверенно распознавать каждое из 36 слов, сказанных в микрофон любым человеком. Для классификации использовалась иерархическая нейронная сеть, состоящая из двух каскадов: первый осуществлял примерное распознавание слова, относя его к одному из шести классов, а второй точно классифицировал слово внутри каждого из классов. В обучении этой нейронной сети принимали участие 19 дикторов.

Производство, робототехника

Политика

Безопасность

Нейронные сети уверенно продолжают проникать в нашу жизнь. Развлекательный робот AIBO — электронная самообучающаяся собака с элементами искусственного интеллекта, выпускаемая Sony.

Искусственные и биологические нейронные архитектуры