Машинное обучение Превращение данных в знания Максим Каськов

Машинное обучение Превращение данных в знания Максим Каськов Pure. Mind

Что такое Машинное обучение Максим Каськов Pure. Mind

Как работает Машинное обучение Максим Каськов Pure. Mind

Искусственные нейронные сети Максим Каськов Pure. Mind

Чем отличаются данные от знаний? Максим Каськов Pure. Mind

Данные Таблицы Текст Сигналы Звук Изображения Видео Максим Каськов Pure. Mind

Данные и Знания Таблицы Текст Сигналы Звук Изображения Видео Максим Каськов Pure. Mind

Данные и Знания Данные – совокупность зафиксированных фактов Информация – сведения, уменьшающие неопределённость Знания – сведения, позволяющие действовать с прогнозируемым результатом Максим Каськов Pure. Mind. Типичная проблема: Мы располагаем данными, они хранятся в цифровом виде, но мы не знаем, что в них.

Что такое машинное обучение? Максим Каськов Pure. Mind(англ. Machine learning) подраздел искусственного интеллекта (ИИ), изучающий методы построения алгоритмов, способных обучаться.

Машинное обучение Максим Каськов Pure. Mind

Машинное обучение Обучающийся алгоритм. Примеры данных с закономерностями Модель закономерности Поиск закономерностей в новых данных Максим Каськов Pure. Mind

Простой пример “ Картина мира” через известные нам данные Максим Каськов Pure. Mind

Простой пример Синий или красный новый объект? Максим Каськов Pure. Mind

Простой пример Максим Каськов Pure. Mind

Простой пример Максим Каськов Pure. Mind

Простой пример Максим Каськов Pure. Mind. Шум или выброс?

Простой пример Максим Каськов Pure. Mind. Ошибка?

Машинное обучение Максим Каськов Pure. Mind. F : X -> Y Трен. Тест. Признаки (Х) Целевая переменная (Y) Рост IQ Пиво в день Пол Ср. бал в школе Ср. бал в универ. Курит? 170 128 0 М 4. 7 4. 4 Нет 195 90 40 М 3. 3 3. 1 Да 160 111 2 Ж 4. 0 3. 9 Нет 183 143 0 М 4. 8 4. 7 Да 158 118 25 Ж 3. 7 3. 5 Да 178 132 10 М 4. 4 ? ? 170 120 4 Ж 3. 9 ? ? 165 100 20 М 3. 5 ? ?

Признаки (Х) Целевая переменная (Y) Рост IQ Пиво в день Пол Ср. бал в школе Ср. бал в универ. Курит? 170 128 0 М 4. 7 4. 4 Нет 195 90 40 М 3. 3 3. 1 Да 160 111 2 Ж 4. 0 3. 9 Нет 183 143 0 М 4. 8 4. 7 Да 158 118 25 Ж 3. 7 3. 5 Да 178 132 10 М 4. 4 ? ? 170 120 4 Ж 3. 9 ? ? 165 100 20 М 3. 5 ? ? Машинное обучение Максим Каськов Pure. Mind. F : X -> Y Трен. Тест. Объекты

Машинное обучение Максим Каськов Pure. Mind. Признаки (Х) Целевая переменная (Y) Рост IQ Пиво в день Пол Ср. бал в школе Ср. бал в универ. Курит? 170 128 0 М 4. 7 4. 4 Нет 195 90 40 М 3. 3 3. 1 Да 160 111 2 Ж 4. 0 3. 9 Нет 183 143 0 М 4. 8 4. 7 Да 158 118 25 Ж 3. 7 3. 5 Да 178 132 10 М 4. 4 ? ? 170 120 4 Ж 3. 9 ? ? 165 100 20 М 3. 5 ? ? F : X -> Y Трен. Тест. Объекты Метки

Машинное обучение Максим Каськов Pure. Mind. Признаки (Х) Целевая переменная (Y) Рост IQ Пиво в день Пол Ср. бал в школе Ср. бал в универ. Курит? 170 128 0 М 4. 7 4. 4 Нет 195 90 40 М 3. 3 3. 1 Да 160 111 2 Ж 4. 0 3. 9 Нет 183 143 0 М 4. 8 4. 7 Да 158 118 25 Ж 3. 7 3. 5 Да 178 132 10 М 4. 4 ? ? 170 120 4 Ж 3. 9 ? ? 165 100 20 М 3. 5 ? ? F : X -> Y Трен. Тест. Объекты Регрессия Классификация

Как решаем? Максим Каськов Pure. Mind. Окончательная модель

Пример из жизни Максим Каськов Pure. Mind. Алгоритм машинного обучения. Электронная почта Спам Не спам

Что еще может ML? • Классифицировать • Давать вещественный ответ (регрессия) • Прогнозировать • Ранжировать • Фильтровать выбросы • Находить наиболее значимые показатели • Давать рекомендации Максим Каськов Pure. Mindи многое другое

Пример из жизни Прогнозирование состояния дорожного полотна на 6 и 24 часа Максим Каськов Pure. Mind. Предобработка данных. Текущая погода с погодных станций Модель. Прогнозы погоды по интересующим координатам. Координаты интересующих дорог Предсказание состояния Сухое Влажное Лед Снег

Пример из жизни Прогнозирование состояния дорожного полотна на 6 и 24 часа Максим Каськов Pure. Mind. Предобработка данных. Текущая погода с погодных станций Модель. Прогнозы погоды по интересующим координатам. Координаты интересующих дорог Предсказание состояния Предобработка данных. Фактическое состояние Сухое Влажное Лед Снег Обучение нескольких моделей Тестирование и сравнение моделей

Пример из жизни Максим Каськов Pure. Mind. Погодные наблюдения 1930 – текущее время ~ 800 станций в РФ измерение каждый 3 ч. MAE: 1. 8 °

Пример из жизни Прогнозирование поломок оборудования и возникновения внештатных ситуаций Максим Каськов Pure. Mind

Пример из жизни Прогнозирование поломок оборудования и возникновения внештатных ситуаций Максим Каськов Pure. Mind. Предобработка Формирование входного вида данных Оценка алгоритмом критериев состояний Прогноз. Сигналы в реальном времени Вектор, массив, временной ряд, bitmap. Очистка сигналов, синхронизация, формирование доп. параметров и др.

А если данные не структурированы? Максим Каськов Pure. Mind

Что такое глубокое обучение? (англ. Deep learning) набор алгоритмов машинного обучения, основанных на изучении множества уровней представления. Множество уровней представления означают множество уровней абстракции. Максим Каськов Pure. Mind

Нейронные сети (англ. Neural network) математическая модель, построенная по принципу организации биологических нейронных сетей живых организмов. Максим Каськов Pure. Mind

Нейронные сети Alex. Net Максим Каськов Pure. Mind

Пример из жизни Максим Каськов Pure. Mind. Формирование конкурсной документации Задачи • Возможность накапливать опыт специалистов и переиспользовать его • Автоматизация подготовки и проверки документов • Сокращение времени на подготовку документа

Пример из жизни Максим Каськов Pure. Mind. Формирование конкурсной документации Пример Стул цвет красный или синий → … Стул высота 400 – 500 мм → … Стул материал ДПС, дерево, фанера → …Стол должен быть изготовлен из дерева или фанеры, высотой от 60 см до 80 см, покрашен краской зеленого или синего цвета

Пример из жизни Максим Каськов Pure. Mind. Формирование конкурсной документации Пример Стул цвет красный или синий → Стул цвет красный Стул высота 400 – 500 мм → … Стул материал ДПС, дерево, фанера → …Стол должен быть изготовлен из дерева или фанеры, высотой от 60 см до 80 см, покрашен краской зеленого или синего цвета

Пример из жизни Максим Каськов Pure. Mind. Алгоритм Sequence-to-sequence Стул цвет красный … Стул цвет красный

Пример из жизни Максим Каськов Pure. Mind. Формирование документации Возможности • Обработка строк • Генерация строк • Выделение из текста значимых частей • Исправление ошибок (в т. ч. смысловых) • Выходной контроль

Пример из жизни Максим Каськов Pure. Mind. Формирование документации Проблемы • Генерация строк требует обучающей базы >1 млн. записей • Помнит и хранит контекст до 100 слов Достижения • Разбиение текста на значимые единицы • Выходной контроль

Пример из жизни Максим Каськов Pure. Mind. Формирование конкурсной документации Пример Стул цвет красный или синий → Стул цвет красный Стул высота 400 – 500 мм → Стул высота 0, 5 м Стул материал ДПС , дерево , фанера → Стул материал дерево → Стол изготовлен из дерева , высотой 0, 8 м , покрашен краской зеленого цвета Стол должен быть изготовлен из дерева или фанеры , высотой от 60 см до 80 см , покрашен краской зеленого или синего цвета

Пример из жизни Сегментация космических снимков Максим Каськов Pure. Mind

Пример из жизни Сегментация космических снимков Максим Каськов Pure. Mind. Космические снимки • ортогональные 4 х-канальные (RBG+NIR) • с разрешением 0, 5 -1 м на пиксель Обрабатываемые типы объектов: • дороги • постройки • деревья (лес) • травяное(растительное) покрытие • земля (пашня) • вода • железные дороги

Пример из жизни Сегментация космических снимков Максим Каськов Pure. Mind

Умный холодильник Smart. Ki Максим Каськов Pure. Mind*самостоятельно распознает продукты

Какие задачи решает глубокое обучение? Компьютерное зрение (computer vision) Распознавание речи (speech recognition) Обработка естественных языков (natural language processing — NLP) Медицинская диагностика и Биоинформатика Финансовые приложения Обработка текстов и документов Защита данных и выявление мошенничества Персональная безопасность Рекомендации и персонализированный маркетинг Интеллектуальные автомобили и роботы Техническая диагностика Информационный поиск Интеллектуальные игры Максим Каськов Pure. Mind

Спасибо за внимание! Максим Каськов m. kaskov@puremind. tech +7(917)1272092 max 8 mk http: //Pure. Mind. tech