Нейронные сети Введение в нейронные сети Что

Нейронные сети Введение в нейронные сети.

Что такое нейронная сеть • • • Искусственная нейронная сеть (ИНС) - это модель обработки информации, действующая таким же образом, каким биологические нервные системы такие, как мозг, обрабатывают информацию. Ключевой элемент этой модели - это новая структура системы обработки информации. Она составлена из большого числа связанных между собой обрабатывающих (процессорных) элементов, работающих согласовано над решением конкретной задачи. ИНС, как и люди, учатся на примерах. ИНС настраиваются на определенную область применения такую, как распознавание образов или классификация данных, посредством обучения. • Обучение в биологических системах связано с настройкой синоптических связей, которые существуют между нейронами. Это же справедливо и в отношении ИНС. Схема простой нейросети. Зелёным цветом обозначены входные нейроны, голубым скрытые нейроны, жёлтым — выходной нейрон

Зачем нужны нейронные сети? • Нейронные сети, с их замечательной способностью извлекать смысл из усложненных или не уточненных данных, могут использоваться для извлечения шаблонов и обнаружения тенденций, слишком сложных для того, чтобы их могли распознать люди или другие компьютерные методы. Обученную нейронную сеть можно считать "экспертом" в той категории информации, которая была ей представлена для анализа. Затем этого эксперта можно использовать для прогнозирования поведения в новых ситуациях тогда, когда необходимо обеспечить представление в проекте новых ситуаций и ответов на вопросы: "а что если". • • • Среди других преимуществ можно отметить: 1. Адаптивное обучение: Способность научиться выполнению заданий на основании предоставленных для обучения данных или на основании предыдущего опыта. 2. Самоорганизация: ИНС может систематизировать, создавать свое представление той информации, которую она получает в течение периода обучения. 3. Работа в реальном времени: Вычисления в ИНС могут осуществляться параллельно, и для этого разрабатывается и производится специальная аппаратура устройства, которая могут использовать эту способность. 4. Устойчивость к сбоям благодаря избыточному кодированию информации: Частичное разрушение сети приводит к соответственному снижению производительности. Однако некоторые способности сети могут сохраниться даже при существенном повреждении сети.

Нейронные сети и традиционные комп-ры • • • Нейронные сети обрабатывают информацию, так же как это делает человеческий мозг. Сеть составлена из большого числа связанных между собой обрабатывающих (процессорных) элементов, работающих параллельно, для решения определенной задачи. Нейронные сети учатся по примерам. Их нельзя запрограммировать на выполнение определенного задания. Примеры нужно подбирать тщательно, иначе полезное время будет потрачено напрасно или еще того хуже сеть будет работать неправильно. Недостаток в том, что, так как сеть сама выясняет, как решать задачу, то ее работа может быть непредсказуемой. С другой стороны, традиционные компьютеры используют подход к решению задач, основанных на знаниях; способ решения задачи должен быть известен заранее, и сформирован в виде коротких однозначных инструкций • • • Затем эти инструкции преобразуются в программу на язык высокого уровня, а затем в машинный код, понятный компьютеру. Эти машины полностью предсказуемы; если что-либо идет неправильно, то из-за программной или аппаратной ошибки. Нейронные сети и обычные алгоритмические компьютеры не соперничают, а дополняют друга. Есть задачи, которые лучше решаются с помощью алгоритмического подхода подобно арифметическим операциям, и есть задачи, для решения которых больше подходят нейронные сети. Более того, многие задачи, требуют систем, которые используют комбинацию двух подходов (как правило, обычный компьютер используется для управления нейронной сетью) для достижения максимальной эффективности. Нейронные сети не делают чудес. Но при разумном использовании они могут давать удивительные результаты.

Наглядный пример Система «Джарвис» из произведения «Железный человек»

• • Как учится человеческий мозг? Еще многое неизвестно о том, как ведет себя мозг, чтобы обработать информацию, так что теории изобилуют. В человеческом мозге, обычный нейрон получает сигналы от других через множества тонких структур, называемых дендритами. Нейрон посылает электрические импульсы через длинную, тонкую стойку, называемую аксоном, которая расходится в тысячи ветвей. В конце каждой ветви, структура под названием синапс преобразует импульс, полученный от аксона в электрические эффекты, тормозящие или возбуждающие деятельность подсоединенных нейронов. Когда нейрон получает возбуждающее воздействие достаточно большое по сравнению с тормозящим воздействием, он посылает электрический импульс по своему аксону. Обучение происходит, путем изменения эффективности синапсов так, что изменяется влияние одного нейрона на другой.

• • Инженерный подход : простой нейрон Искусственный нейрон - это устройство со многими входами и одним выходом. Нейрон имеет два режима работы: режим обучения и режим использования. В режиме обучения, нейрон можно научить, срабатыванию (или несрабатыванию) при определенных входных последовательностях. В режиме использования, когда выученный входной образец обнаружен на входе, то связный с ним выход становится текущим выходом. Если входной образец не находится в списке выученных входных образцов, правило срабатывания используется, чтобы определить: срабатывает или нет. • С математической точки зрения — это сумматор всех входящих сигналов, применяющий к полученной сумме некоторую простую, в общем случае, нелинейную функцию, называемую функцией срабатывания или передаточной функцией. • Обычно передаточная функция монотонно возрастает. Полученный результат посылается на единственный выход.

Инженерный подход : простой нейрон Из рисунка видно, что искусственный нейрон, так же, как и живой, состоит из синапсов, связывающих входы нейрона с ядром; ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет, насколько соответствующий вход нейрона влияет на его состояние.

Передаточная (актив-я) ф-я. Характеристики • Искусственный нейрон полностью характеризуется своейпередаточнойфункцией. Передаточная функция определяет способность нейрона к обучению и его моделирующие качества. • Способность к обучению определяется степенью зависимости сигнала на выходе нейрона от суммарного взвешенного сигнала на его входе. Способность нейрона к обучению характеризует неустойчивость его состояния. • Моделирующие качества нейрона определяются степенью непохожести его состояний. Иными словами, чем меньше все состояния нейрона похожи друг на друга — тем лучше его моделирующие качества. • Очевидно, что эти две характеристики являются противоположными. Максимизация моделирующих способностей нейрона приводит к предельному ухудшению его способности к обучению и наоборот. •

Передаточная (актив-я) ф-я. Характеристики • • Состояние нейрона определяется по формуле: где : n — число входов нейрона; xi — значение i-го входа нейрона; wi — вес i-го синапса. • Затем определяется значение аксона нейрона по формуле: • где f — некоторая функция, которая называется активационной (передаточная). Наиболее часто в качестве активационной функции используется так называемый сигмоид, который имеет следующий вид: • Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

Линейная передаточная функция • Сигнал на выходе нейрона линейно связан со взвешенной суммой сигналов на его входе. • • t – параметр функции. Такая передаточная функция характеризуется предельно низкими моделирующими качествами и, соответственно, высокой способностью к обучению. В искусственных нейронных сетях со слоистой структурой нейроны с передаточными функциями такого типа, как правило, составляют входной слой

• • Пороговая передаточная функция Представляет собой перепад. До тех пор пока взвешенный сигнал на входе нейрона не достигает некоторого уровня "А" - сигнал на выходе равен нулю. Как только сигнал на входе нейрона превышает указанный уровень T выходной сигнал скачкообразно изменяется на единицу. Нейроны с такой передаточной функцией характеризуются высокими моделирующими качествами и низкими способностями к обучению. Самый первый представитель слоистых искусственных нейронных сетей однослойный персептрон состоял исключительно из нейронов такого типа.

Логистическая функция • Одна из самых часто используемых, на данный момент, передаточных функций. • Где t – параметр функции, опр-й крутизну. Когда t стремится к бесконечности, функция вырождается в пороговую. При t=0 сигмоида вырождается в постоянную функцию со значением 0, 5. Область значений данной функции находится в интервале(0, 1). Важным достоинством этой функции является простота её производной: • То, что производная этой функции может быть выражена через её значение облегчает использование этой функции при обучении сети по алгоритму обратного распространения. Особенностью нейронов с такой передаточной характеристикой является то, что они усиливают сильные сигналы существенно меньше, чем слабые, поскольку области сильных сигналов соответствуют пологим участкам характеристики. Это позволяет предотвратить насыщение от больших сигналов. • Такая функция передачи, как правило, присуща нейронам, находящимся во внутренних слоях нейронной сети

Другие функции передачи • Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В некоторых случаях в качестве передаточной функции используют тригонометрический синус, гиперболический тангенс и т. д.

Различия между биол. и искус. нейронами • Нейронные сети, построенные на искусственных нейронах, обнаруживают некоторые признаки, которые позволяют сделать предположение о сходстве их структуры со структурой мозга живых организмов. • Тем не менее, даже на низшем уровне искусственных нейронов существуют существенные различия. • Например, искусственный нейрон является безынерционной системой, т. е. сигнал на выходе появляется одновременно с появлением сигналов на входе, что совсем нехарактерно для биологического нейрона

Обучение с учителем Технология обучения ''с учителем'' искусственной нейронной сети обычно предполагает наличие двух однотипных множеств: 1. Множества учебных примеров, которое используется для ''настройки'' сети. 2. Множества контрольных примеров, которое используется для оценки качества работы сети. • Элементами этих двух множеств есть пары (X, Y), где X - вход, для обучаемой нейронной сети; Y - идеальный (желаемый) выход сети для входа X; • • Так же определяется функция ошибки E. Обычно это средняя квадратичная ошибка: • P - количество обработанных нейронной сетью примеров; yi - реальный выход нейронной сети; di - желаемый (идеальный) выход нейронной сети; • • • Процедура обучения искусственной нейронной сети сводится к процедуре коррекции весов её связей. Целью процедуры коррекции весов есть минимизация функции ошибки E.

• 1. 2. 3. Обучение с учителем Общая схема обучения "с учителем" выглядит так: Весовые коэффициенты нейронной сети устанавливаются некоторым образом, обычно - малыми случайными значениями. На вход нейронной сети в определенном порядке подаются учебные примеры. Для каждого примера вычисляется ошибка EL (ошибка обучения) и по определенному алгоритму производится коррекция весов. Целью процедуры коррекции весов есть минимизация ошибки EL. Проверка правильности работы сети на вход в определенном порядке подаются контрольные примеры. Для каждого примера вычисляется ошибка EG (ошибка обобщения). Если результат неудовлетворительный то, производится модификация множества учебных примеров или архитектуры сети и повторение цикла обучения • Если после нескольких итераций алгоритма обучения ошибка обучения EL падает почти до нуля, в то время как ошибка обобщения EG в начале спадает, а затем начинает расти, то это признак эффекта переобучения. В этом случае обучение необходимо прекратить. • Это связано с тем, что при построении такого алгоритма (или, как принято говорить в машинном обучении, "в процессе обучения") в обучающей выборке обнаруживаются некоторые случайные закономерности, которые отсутствуют в генеральной совокупности.

Обучение с учителем • Наиболее известным типом нейронной сети является персептрон. Доказано, что при нелинейной функции в нейроне могут быть подобраны коэффициенты связей так, что сеть может моделировать любую функцию с требуемой точностью результата. • Однако абсолютно точный ответ с помощью нейронной сети получить невозможно — например, бессмысленно решать таблицу умножения. • Но есть задачи, решение которых другим путём или методом распознавания образов оказывается дороже, чем с применением нейронных сетей. Нейронные сети применяют при следующих классах задач: классификация данных, распознавание образов, предсказание временных рядов. При решении таких задач самым важным является подбор данных и их подготовка.

Спасибо за внимание! Презентацию подготовил Киреев Даниил