Нейросети Лекция X 10 12 2014 Алексей Натёкин

Нейросети Лекция X, 10. 12. 2014 Алексей Натёкин

DM Labs 2

DM Labs Данные (Модель) Нейросеть Математическая формула Обучение 3

DM Labs Данные (Модель) Нейросеть Параметры Математическая формула Зависимости Используемые признаки • Гиперпараметры • Параметры модели • Фиксированные • Аддитивные • Интерактивные • Факторные • Скрытые • Явные Обучение 4

Схемы нейросетей входные данные «нейроны» DM Labs выходные данные 5

Схемы нейросетей входные данные «нейроны» DM Labs выходные данные Технически, нейросети всеядны: • Есть заготовки под изображения, сигналы, текст, . . . • По факту, инженерия непрерывных фич • Имеют врожденную аллергию на факторы 6

Схемы нейросетей входные данные DM Labs «нейроны» выходные данные Часто используются 2 типа нелинейных функций: rbf logit 7

Схемы нейросетей входные данные rbf DM Labs «нейроны» выходные данные logit 8

Схемы нейросетей входные данные DM Labs «нейроны» ~ logit ~ rbf выходные данные ~ true density-based 9

Схемы нейросетей входные данные «нейроны» DM Labs выходные данные Семейство функций потерь ~ распределение целевой переменной • Регрессия (обычно 1 D) • Классификация (бинарная и многоклассовая) • Квантили • Временной ряд (бывает особым случаем) 10

Схемы нейросетей входные данные «нейроны» DM Labs выходные данные Каждая функция зависит от всех x’ов одновременно. Обычно включает в неком виде экспоненту суммы ~ произведении экспонент ~ явный interaction 11

Персептрон DM Labs x 1 xi xd Связи всех со всеми магия Аггрегируем выводы всех нейронов 12

Персептрон (многослойный) DM Labs x 1 xi xd Входной слой 1 скрытый слой Выходной слой 13

Нейросеть IRL DM Labs 14

Нейросеть IRL DM Labs 15

Персептрон обыкновенный DM Labs Работа нейронов: x 1 xi xd 16

Персептрон обыкновенный DM Labs Работа нейронов: x 1 xi xd 17

Персептрон обыкновенный 1 DM Labs w 10 w 11 Работа нейронов: x 1 w 1 i w 1 d xi xd 18

Персептрон обыкновенный 1 w 10 w 11 x 1 w 1 i w 1 d xi DM Labs w 20 w 21 w 2 i w 2 d W= w 10 w 11 w 20 w 21 … w 1 i … … w 2 i … w 1 d w 2 d … w. G 0 w. G 1 …w. Gi … w. Gd xd 19

Персептрон обыкновенный 1 w 10 w 11 x 1 w 1 i w 1 d xi DM Labs w 20 Выход скрытого слоя: w 21 w 2 i w 2 d xd 20

Персептрон обыкновенный DM Labs Вход скрытого слоя: x 1 Выход скрытого слоя: a 1 a 2 *вход последнего слоя* xi ai Выход сети: a. G xd 21

Персептрон обыкновенный DM Labs Вход скрытого слоя: x 1 Выход скрытого слоя: a 1 a 2 *вход последнего слоя* xi ai Выход сети: a. G xd 22

Персептрон с начинкой x 1 w 10…w 1 d DM Labs Гиперпараметры (модели): • G • вид функции g • . . . w 20…w 2 d xi a 1…a. G wj 0…wjd xd w. G 0…w. Gd Входной слой 1 скрытый слой Параметры (модели): • W • a Выходной слой 23

RBF сеть с начинкой x 1 m 11…m 1 d DM Labs Гиперпараметры (модели): • G • вид функции g • s(igma) (одна на всех), считаем фиксированной m 21…m 2 d xi a 1…a. G mj 1…mjd xd m. G 1…m. Gd Входной слой 1 скрытый слой Параметры (модели): • [m 1, …, m. G] • a Выходной слой 24

«Линейная сеть» (маркетологи б**) Гиперпараметры (модели): • G=1 (зависит от y) • вид функции g x 1 xi c 10…c 1 d xd Входной слой DM Labs a 1…a. G Параметры (модели): • c • a=1 1 скрытый слой Выходной слой 25

2 -слойный персептрон с начинкой W 11 … W 21 … W 12 … x 1 DM Labs Гиперпараметры (модели): • G 1 , G 2 • вид функций g 1, g 2 • … W 22 … xi a 1…a. G W 1 j … W 2 j … xd W 1 G 1 … Входной слой 1 скрытый слой W 2 G 2 … 2 скрытый слой Параметры (модели): • W 1, W 2 • a Выходной слой 26

Сеть бутылочного горлышка W 11 … W 21 … W 12 … x 1 DM Labs Гиперпараметры (модели): • G 1 , G 2 • вид функций g 1, g 2 • … W 22 … xi a 1…a. G W 1 j … W 2 j … xd W 1 G 1 … Входной слой 1 скрытый слой W 2 G 2 … 2 скрытый слой Параметры (модели): • W 1, W 2 • a Выходной слой 27

Нелинейные проекторы, сжатие DM Labs 28

Варианты нейросетей x 1 DM Labs Другой выходной слой • arg max • soft max • … xi xd Другие функции g Другие комбинации слоев 29

Варианты нейросетей DM Labs 30

Варианты нейросетей DM Labs 31

Варианты нейросетей DM Labs 32

Схемы нейросетей входные данные «нейроны» DM Labs выходные данные Обсудили: • Как обычно строят формулы нейронных сетей • Где какие параметры, гиперпараметры • Чуть-чуть про виды выходных слоев (discussion) • На НГ: смеси экспертов, связи с другими моделями МЛ • Упражнение: придумать заготовки нейросетей Пдскзк: ввлт, релу, . . . 33

Схемы нейросетей входные данные «нейроны» DM Labs выходные данные Discuss: • Начинаем работать, магия и искусство • Варианты обучения разных параметров • Гиперпараметры обучения • Популярные способы регуляризации • Популярные варианты целевых функций • Треш-шапито с книжками 34

DM Labs Спасибо! Алексей Натёкин +7 960 276 41 33 natekin@dmlabs. org 35