Обучаемые компьютеры (Big Data): Революция в области философии и технологий принятия корпоративных решений Александр Шмид Д. т. н. , Профессор 1
IBM –- ЕС-лизинг –- НИЦЭВТ История взаимоотношений • Александр Шмид 1986 – начальник Центра проектирования ЭВМ и ОС НИЦЭВТ • 1988 – Главный конструктор по программному обеспечению стран СЭВ • 1989 – Главный Конструктор по взаимодействию IBM и Министерства радиопромышленности СССР • 1991 – член коллегии Министерства радиопромышленности СССР • 1992 – 2004 - Главный конструктор НИЦЭВТ • 1994 – наст. время – Председатель правления группы ЕС США 1991 г. В. И. Шимко Министр радиопромышленности СССР А. В. Шмид Главный Конструктор МРП 2 2
Шмид Александр Викторович, доктор технических наук, профессор, председатель правления ЗАО «ЕС–лизинг» , заведующий кафедрой МИЭМ НИУ ВШЭ "Информационно- аналитические системы". Директор Центра компетенции IBM BIG DATA. Лауреат премии Правительства Российской Федерации 2010 года в области науки и техники за создание катастрофоустойчивой территориально-распределенной системы централизованной обработки информации Банка России. С 1969 по 2004 годы работал в ордена Трудового Красного Знамени Научноисследовательском центре электронной вычислительной техники (НИЦЭВТ) - головной организации СССР по созданию вычислительной техники и системного программного обеспечения на ее основе (программа ЕС ЭВМ и ряды ЭВМ специального назначения). Последовательно занимал научные должности: старший научный сотрудник, начальник сектора, начальник отделения, начальник комплексного отделения "Автоматизация проектирования ЭВМ И БИС", начальник Центра проектирования ЭВМ, Главный конструктор НИЦЭВТ, Главный конструктор Минрадиопрома СССР (по программе взаимодействия Минрадиопром СССР - IBM США), Главный конструктор СЭВ по САПР ЭВМ и БИС. С 1991 года - член коллегии Минрадиопрома СССР. С 1985 года - Главный редактор реферативных журналов серии «Экспресс информация: Вычислительная техника и Техническая кибернетика» ВИНИТИ АН СССР. В 1994 году основал компанию ЗАО «ЕС-лизинг» , которая в настоящее время является лидером рынка по реализации масштабных проектов на основе мейнфреймов IBM System z® Компания ЗАО “ЕС-лизинг” является премьер бизнес-партнером компании IBM в области продажи мэйнфреймов и комплексов Storage (61 % рынка IBM System z в России). Компания ЗАО «ЕС-лизинг» инициировала и реализовала крупные проекты РФ, успешно развиваемые в настоящее время, на платформах мейнфреймов IBM System z: 1996 год - РЖД - грузоперевозки; 2000 год - госструктуры – «проблема 2000 года» ; 2004 год – Центральный банк Российской Федерации - Системы централизованной обработки информации; 2009 год - OAO «Газпром» – SAP. 3 3
Вирджиния Рометти – IBM CEO 11 марта 2013 года Вирджиния Рометти – IBM CEO 2 марта 2012 года “В ближайшие 5 лет все компании на рынке разделятся на победителей и побежденных в зависимости от качества их аналитики” “В ближайшие 5 лет все компании на рынке разделятся на победителей и побежденных в зависимости от качества корпоративных решений. И опыт, и интуиция не помогут. Людей надо переучивать. Нигде этому сейчас не учат, но мы будем!” Big Data: Революция в области философии и технологий принятия корпоративных решений 4
Содержание 1. Предыстория 2. Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей 3. Интеллектуальность решающего центра: экспертные системы и люди 4. Информированность решающего центра. Амнезия корпораций 5. Состав конструктора платформы IBM Big. Data и философия сборки из конструктора: что собираем? 6. Современная схема принятия решений и ее отличия от традиционной 7. Заключение: что делать нам? 5
Предыстория 6
ЕС-лизинг – системный интегратор ИТ систем глобальных организаций Крупнейшие проекты «ЕС-лизинг» : GM, Citi Bank, MCI, Wal. Mart, Evant, JP Morgan, A/A, Delux, MBUSA Morgan-Stanley, CN Rail, Man Tech, Rite. Aid, Kroger, Lawson, Bank of Montreal, Starwood, Verizon, Deutsche Bank, UNO, Standard Life, Direct Inside, DTS Systems, Gtech, Ingram, Lowes, Well. Point, Fidelity, ЦБ РФ, ОАО «Газпром» , Минсвязи РФ Общими являются глобальные по геоохвату и размерности характеристики их ИТ-систем: Варшавское шоссе, 125 - территориальное распределение систем, - часовые пояса, - работа ЦОД – 24 часа в сутки 7 дней в неделю Для повышения эффективности функционирования глобальных организаций и снижения стоимости владения их ИТ-системами были созданы и внедрены инновационные технологии 7
Более умная аналитика!!! Leverage purpose-built connectors for multiple data sources Connect any type of data through optimized connectors and information integration capabilities Big Data Platform ЦБ Structured ЦБ Unstructured Big Data Streaming Новые направления с 2012 г. Более 95% аналитической инфо § Massive volume of structured data movement IBM Big Data Интеграция всех типов данных • 2. 38 TB / Hour load to data warehouse • High-volume load to Hadoop file system § Ingest unstructured data into Hadoop file system § Integrate streaming data sources 8
Постановка задачи: 2007 год Информатизация, как средство обеспечения конкурентных преимуществ (повышение эффективности работы организаций) Выживает не быстрейший, не сильнейший, а тот, кто быстрее приспосабливается к изменениям окружающей среды Чарльз Дарвин Окружающая среда ИТ - информационное пространство, в котором и должны достигаться конкурентные преимущества (в пределе – кибервойны) 9
Как сделать быстро и достоверно. Все в Корпоративное Хранилище Данных (КХД) Текущее состояние Архитектура потоков данных Сбор данных и Стратегический отчетность по Стратегическое уровень Сбалансированная роцессам и бизнес руководство система -целям показателей Тактический уровень Сбор данных и отчетность по процессам и проектам Оперативный Уровень Ключевые показатели эффективности деятельности Тактическое руководство Руководство Документооборот, департаментов, прогноз, мониторинг отделов, сотрудники Дочерние предприятия Центр обработки данных Корпоративное Хранилище КХД Все потоки управленческих данных Целевое состояние КХД ЦБ РФ (IBM) Сбалансированная Стратегическое система руководство показателей Ключевые показатели эффективности деятельности Тактическое руководство Руководство Документооборот, департаментов, прогноз, мониторинг отделов, сотрудники Дочерние предприятия Первичные данные о материальных и финансовых потоках Время сбора данных – дни, месяцы ЦОД – 42 Серверов – 5754 Баз данных – 11058 Передач информации – 8 -11 Первичные данные о материальных и финансовых потоках Время сбора данных – часы ЦОД – 1 (+1) Серверов – 1 (+1) Баз данных – логическая 1 10 Передач информации – 1 10
Примеры повышения скорости доставки инфо для принятия решений в глобальных системах масштаба РФ Надзорный блок ЦБ (кризис) От 3 месяцев к 1 дню Управление БЭСП (АП АС БЭСП) От 2 месяцев к 1 дню Корпоративная отчетность (ГАЗПРОМ с SAP) От 4 месяцев к 1 дню Опыт ЕС-лизинг 11
Стратегические угрозы ХХI века о области ИТ: борьба за качество корпоративных решений – обучаемые компьютеры против людей 12
Стратегический прогноз IBM развития ИТ 2005 - 2015 и его реализация Цюрих, ноябрь 2005 г. Лаборатория стратегического планирования IBM К 2015 году компьютеры будут принимать решения ЛУЧШЕ людей во многих областях бизнеса 13
Дорожная карта реализации стратегического прогноза 2005 -2015 гг 14
Шаги реализации прогноза 2011 год Лучше людей! 2011 год – Watson победитель игры Jeopardy (USA) - прототип игры «Своя игра» 15
Шаги реализации прогноза 2013 г. Диплом врача + Лучше людей: от 22 -44% к 3 -5%ошибки в диагнозе 16 16
Традиционная постановка задачи информационной поддержки принятия решений. Информированность и интеллектуальность решающего центра (Удовлетворение информационной потребности Руководителя) Представление о реальности Реальность ? I Разведчик (Поисковик) 1. Инфо-потребность Хранение Обработка 2. Решение II Watson? Аналитик Руководитель Единое информационное пространство (ЕИП) ? Инфо потребность должна удовлетворяться: БЫСТРО – информация об изменениях обстановки должна поступать к моменту принятия решения (быстрее, чем у конкурентов) ПОЛНО – необходимая и достаточная для принятия решений ДОСТОВЕРНО – исключение фальсификации 17
Информированность решающего центра. Амнезия корпораций 18
Проклятие размерности Сколько информации мы теряем? Information Creation and Available Storage 1, 800 Information Created 1, 600 Available Storage, 2007 Exabytes 1, 400 1, 200 Tape Optica 21% l 22% Disk 56% 1, 000 0, 800 Other 1% Available Storage 0, 600 264 EB 0, 400 0, 2005 2006 2007 2008 2009 2010 2011 IDC, 2008 Рометти: «В 2013 году 2 дня = всему 2003 (рост в 178 раз!)» 19 19
«Амнезия корпорации» или объем воспринимаемых ИАС первичных данных Объем данных Йоттабайт Все доступные данные Что можно обработать Зеттабайт Качество ИАС: Лимит: скорость обработки 1. Объем первичных данных 2. Глубина и скорость анализа (площадь анализа) 3. Надо 10 Петабайт IBM Big Data Кто готовит и кто принимает решение Потеря памяти (амнезия) Что можно обработать 1 Петабайт Стандартным подходом Терабайт Лимит: Объем базы Гигабайт Время Стандарт: запомнил – обработал IBM Big Data: обработал - запомнил ЦБ РФ – 640 Тб Библиотека им. Ленина – 7 Тб Потоковая обработка IBM Big Data кардинально повышает объем используемых данных для аналитической разведки 20
Идея Big. Data № 1 ПОТОКОВАЯ ОБРАБОТКА (streaming): преодоление проклятия размерности при хранении данных 21
2002 IBM получает заказ на разработку технологии: 1. Любые виды источников 2. Любая скорость потока данных от источника 3. Принятие решения – в потоке (миллисекунды) 22
Декларативный язык потоковой обработки SPL (streams processing language) 23
Big Data: Изменение парадигмы при работе с данными Традиционный подход Большие данные Структурный и повторяемый анализ Итеративность и исследование Запомнил - обработал Бизнес Определяет что спросить Обработал - запомнил ИТ Обеспечивает платформу для креативного анализа ИТ Бизнес Структурирует данные для ответа на вопрос Исследует что можно спросить Месячная отчетность Анализ прибыльности Анализ анкет Отношение к бренду Стратегия продуктов Оптимизация ресурсов Пример IBM - МРП Ограничение: память 24
Большие данные – горячая тема, потому что технологии сделали возможным анализ ВСЕХ доступных данных Эффективно с точки зрения затрат управлять и анализировать все доступные данные, в их первозданном виде – структурированные, неструктурированные, потоковые Social Media Website Billing ERP CRM RFID Network Switches 25
Идея Big. Data № 2 Обучающемые Системы реального времени 26
Фильтрация данных с обратной связью Data Ingest Opportunity Cost Starts Here 100111001010011110010001001000100101 Nowca st Enrich Adative Analytics Model Forecast Bootstrap 0101100011101001001 1100010010100100101100100101001001010100010010 01100100101001001010100010010 01100100101001001010100010010 1100010010100100101100100101001001010100010010 01100100101001001010100010010 110001001011001001010 27
2011 г. Watson: Обучающийся компьютер!!! 28
Идея Big. Data № 3 Открыться цифровому миру 29
Какие объемы данных нужны для поддержки принятия решений? User Creation: Enterprise Worries **Consumers and Workers Creating, Capturing or Replicating Personal Information Размещение значимых данных предприятия: User Generated Content* 1, 234 Exabytes Enterprise Touch Content** Overlap -1, 000 Exabytes **Transported, Внутренние данные - 33% Hosted, Managed or Внешние данные - 67% Secured 1, 530 Exabytes Size of Digital Universe in 2011 1, 773 Exabytes IDC, 2008 30
Состав конструктора платформы IBM Big. Data и философия сборки из конструктора: что собираем? – Обучаемый компьютер! 31
Требования к функциям платформы Больших Данных Поиск и навигация источников данных в киберпространстве Подключение источников и анализ данных «в покое» Info. Sphere Data Explorer и т. д. Hadoop File System IBM Content Analyzer Подключение источников и анализ данных «в движении» Info. Sphere Streams и т. д. Традиционные функции работы со структурированными данными Netezza и т. д. Интеграция всех видов данных для комплексного анализа Автоматизация принятия решений и построение гипотез и прогнозов IBM Information Server IBM Change Data Capture IBM Cognos IBM SPSS 32
Акселераторы : ускорители разработки прикладных задач Более умная аналитика!!! Текст (слушать, глагол), (радио, существительное) Простой & Комплексный текст Звук Добыча в микросекундах Комплексные математические модели Прогнозирование Статистика Геопространство Фото & Видео 33
Общая схема компонентов платформы Big Data Streams NZ DE Декларативные языки Готовые средства разработки SPSS Big Ins (Декларат ивный язык PMML) Инструменты Коннекторы Cognos BI Языки программирования 3 -го поколения: Java, C/C++, Python, Perl 34
Инструменты Streams Обработка потоковой информации Streams Декларативный язык: Stream Processing Language (SPL) Готовые средства разработки (акселераторы разработки): Анализ текстов Телекоммуникационные данные Гео-данные Видео Интеллектуальный анализ Предсказательные модели Статистика Анализ машинных журналов (СПО) Анализ данных из сетей (СПО) Инструменты: Standard Toolkit Internet Toolkit Database Toolkit Financial Toolkit Data Mining Toolkit Big Data toolkit Text Toolkit Коннекторы: Netezza Connector Hadoop Connector Языки программирования 3 -го поколения: Java, C/C++, Python, Perl, Java. Script, Ruby и т. д. 35
Инструменты Big. Insights Анализ «сырых» данных и сокращение затрат на хранение Big. Insights Декларативные языки: Annotation Query Language (AQL), Ja. QL (Query Language for JSON (Java. Script Object Notation)), Pig Latin, Hive. QL, R Средства и инструменты обработки: Flume Hive Lucene Zookeeper Avro HBase HCatalog Sqoop Oozie Коннекторы: Netezza Connector Streams Connector Языки программирования 3 -го поколения: Java, C/C++ 36
IBM Data Explorer – функционально завершенная платформа работы с текстами 37
Современная схема принятия решений и ее отличия от традиционной Революция: решения принимают роботы, а не люди Эволюция: люди пока остаются, но их роли изменяются 38
39
Заключение: Чему учить? Как учить? 40
Вирджиния Рометти – IBM CEO 11 марта 2013 года “В ближайшие 5 лет все компании на рынке разделятся на победителей и побежденных в зависимости от качества корпоративных решений. И опыт, и интуиция не помогут. Людей надо переучивать. Нигде этому сейчас не учат, но мы будем!” Чему учить? Новой культуре принятия решений (predictive analytics), обеспечивающей конкурентные преимущества Big Da ta 41 41
Современная схема принятия решений: Чему учить? Работе в креативной команде РЕШЕНИЕ: Подтверждение решения CEO Меры воздействия на объект управления Задания интегральной инфо потребности Область интересов Навигаци я Детализаци я области интересов Обсуждение области интересов Watson Type Цифровая реальность Принятие решения Поиск в области интересов Креативная команда Обучение в области интересов (П 1 + П 3) 42
Цели обучения экспертной системы Фирмы холдинга Стратегический контролер Реальнос ть Аналитическая система Первичные документы Виды Первичных документов Традиционн ые: отчеты Новые: соц. сети, СМИ Представлени ео реальности Индикаторы ГП Модели Система сбора КХД расчетов Информационны й продукт Отчеты индикаторо информац в ии Международны е документы Обратная связь управления: Меры воздействия 1. Необходимое условие – качество информации 2. Достаточное условие – качество моделей 43
О СОЗДАНИИ СИСТЕМЫ СТРАТЕГИЧЕСКОГО УПРАВЛЕНИЯ АГРАРНО-ПРОМЫШЛЕННЫМ КОМПЛЕКСОМ РФ: ЦИАС СГИО СХ 44
Цель создания СГИО СХ Максимальное удовлетворение потребностей потребителей в электронных информационных ресурсах и обеспечение информационно-аналитической поддержки принятия ими стратегических и оперативных решений, с учетом вступления Российской Федерации во Всемирную торговую организацию (ВТО). СГИО СХ должна своевременно получать исходные данные из источников (прежде всего от сельхозпроизводителей), накапливать исходные данные, обрабатывать и производить информационный продукт и делать его доступным потребителям государственных информационных. 45
Генеральная цель управления АПК – выполнение плана по ГП и ФЦП 1. Схема стратегического управления АПК РФ по материалам Госпрограммы Стратегические целевые индикаторы Правительство ГП, ФЦП, бюджет «ЗА» МСХ Внешний аудит РОССТАТ Меры Раздел IV. Обобщенная регулирования характеристика мер государственного регулирования – стр. 17 Риски АПК, Проблемы развития АПК Факторы «Против» АПК 2. Характеристика поведения АПК как объекта управления: Раздел II. 3. Показатели (индикаторы) реализации Государственной программы – стр. 3 + Приложение 1 (Прогнозные значения показателей (индикаторов) реализации Государственной программы приведены) «ПРОТИВ» МСХ Раздел Х. Риски реализации Государственной программы и меры по управлению этими рисками – стр. 21 Раздел I. 1. Общая характеристика состояния и основные проблемы развития агропромышленного комплекса – стр. 8 1. Отсроченная вероятностная реакция на сочетание факторов «ЗА» МСХ и факторов «ПРОТИВ» МСХ (решение: успешное - ошибочное) 2. Что можно ожидать от процесса управления АПК при наличии функции прогнозирования Последствий принимаемых решений : повышения количества успешных решений 46 (меньше - ошибочных)
Оцениваемые Правительством РФ результаты управления АПК Критерии Успеха управления АПК по годам (2014 – 2020) (правила приемки результатов развития АПК) 1. 2. 3. Достигнуты плановые значения индикаторов ГП и ФЦП Бюджет не превышен Мероприятия выполнены Раздел ХI. Методика оценки эффективности реализации Государственной программы – стр. 23 Для достижения успеха необходимо анализировать и прогнозировать развитие ситуации по пунктам 1, 2, 3 47
Стратегическое управление состоянием АПК. Основные решаемые задачи. 1. 2. 3. Состояния АПК Плановое, Фактическое, Прогнозируемое Сопоставление плана и факта (мониторинг) Разработка ВАРИАНТОВ мер воздействия на АПК Прогнозирование влияния мер воздействия на состояние будущего факта (предсказание последствий мер воздействия) План Фактор «ЗА» Факт План Мониторинг факта Факт Прогноз Фактор «ПРОТИВ» 2014 2015 2016 2017 2018 2019 2020 t Время Мера воздействия на людей, с/х предприятия, банки, рынки, страховые компании Планируемые результаты работы СГИО СХ по стратегическому управлению 48
Определение состава решаемых задач по управлению АПК Функциональные требования к СГИО СХ следуют из состава задач, решаемых ЛЮДЬМИ Отчетность по системе стратегического управления (план/ факт), корректировка ГП Задачи стратегического управления Отчетность межведомственная (42 ГП ведомств по АПК) Управление бюджетом Разработка мер воздействия Прогноз состояния АПК Оценка рисков Вспомогательные задачи по управлению Мониторинг цен Анализ мер воздействия Аналитика по конкуренции Анализ компенсационных мер - Новые приложения - Новая модель Чем поможет СГИО СХ Требуемая функциональность СГИО СХ Что делают люди СГИО СХ Примеры: Паспорт регионов Производственная устойчивость 40 новых задач в ИАС - Требования к данным 49
ПЛАН РЕАЛИЗАЦИИ: Прогнозирование на основе математических моделей Объекты анализа и прогноза 1 Производственные мощности: поля, техника, поголовье и др. Финансы: 2 Кредитоспособность; ликвидность; платежеспособность; рентабельность Меры воздействия: 3 Субсидии; интервенции; таможенно-тарифное регулирование; налогообложение Риски: 4 макроэкономические риски; внешнеторговые риски; природные риски Математические модели Ключевые аргументы Результаты анализа и прогноза Прогнозные -Производственная РФ Ок (8 00 00 г и др. 9 8 7 6 ) -Финансовая устойчивость; ру Ре ) ги (8 о 5 н Ра ) (2 йо СХ 3001) н (1 П 00 устойчивость; Отчетные -Показатели Госпрограммы; -Показатели Продовольственной безопасности; и др. 5 Результат работ 2013 года – модель Производственной устойчивости 50
Цель СГИО СХ: сблизить реальность и представление(у Руководителей) о ней АПК МСХ Реальность Первичные документы Виды Первичных документов Традиционные: отчеты Новые: соц. сети, СМИ Представление о реальности Индикаторы ГП Аналитическая система Модели Система сбора КХД расчетов индикаторов информации Информационный продукт Отчеты Международные документы Обратная связь управления: Меры воздействия 1. Необходимое условие – качество информации 2. Достаточное условие – качество моделей 51
Функциональное развитие СГИО СХ: демонстрация путей реализации задач МСХ на действующей ЦИАС ЦБ РФ Макетирование двух задач ДЭП 1. Паспорт регионов 2. Производственная устойчивость сельхозпроизводителей (от сельхозпредприятия до регионов) Что можно сделать на ЦИАС за 50 дней (срок реализации контракта) 52
Шаги работы службы функционального заказа СГИО СХ 53
Макет СГИО СХ: реализация двух задач МСХ в ЦИАС ЦБ РФ 54
Результаты макетирования задач СГИО СХ Что есть в распоряжении МСХ ТЗ Проектиро- Проектирование вание приложений платформ ЦОД СОИБ Сделано частично Сборка Мы здесь образца СГИО СХ (Макет) Макет Паспорт регионов Производственная устойчивость Показана готовность быстрой (50 дней) интеграции приложений СГИО СХ в готовую инфраструктуру ЦИАС ЦБ РФ на площадке ЗАО «ЕС-лизинг» 55
Где сейчас СГИО СХ 56
Центр компетенции IBM Big Data ЕС-лизинг (первый в РФ) 1. Цели: Освоение и демонстрация технологии IBM Big Data 2. Отраслевая кастомизация технологий 3. Оказание услуг по созданию прототипов корпоративных решений 4. Предоставление виртуальных стендов IBM Big Data Big для удаленного использования у заказчика (накопление практик - ВШЭ) 5. Передача знаний от IBM: обучение персонала 6. Реализация проектов В декабре 2012 создан первый полнофункциональный виртуальный тестовый стенд IBM Big Data для ИПИ РАН с удаленным доступом к вычислительным ресурсам и инструментальным средствам 57
Создание инфраструкутры исследовательского и учебного процессов в области банковской аналитики в МИЭМ ВШЭ на основейших технологий ИБМ (повторение успеха 1972 г) Проекты Бизнессообщества Сейчас работают 11 организаций Best ces ti prac Базовая кафедра Институт МИЭМ НИУ ВШЭ Центр Компетенции по IBM Big Data (ЕС-лизинг) IBM, ЦБ РФ, ЕС-лизинг Профессионалы, оборудование, программные продукты, пилотные проекты Тьюторы Консультации IBM Учебные курсы Лабораторные работы 58
Лабораторные работы Центра компетенции по технологии IBM Big Data Наименование лабораторной работы Инструменты платформы IBM Big Data Оборудование ЕС-лизинг 1. Знакомство с основами Hadoop – HDFS, Map Reduce, Pig, Hive и Jaql ЭВМ IBM z. Series 10, 11 IBM p. Series IBM x. Series IBM Info. Sphere 2. Администрирование IBM Pure Data (Netezza) Big. Insights 2. 0 Info. Sphere Big. Insights Операционные 3. Освоение технологии системы Big. Sheets z. OS z. Linux 4. Текстовая Аналитика IBM Data Studio Linux 5. Интеграция IBM Info. Sphere VMWare Big. Insights c DB 2 Big. Insights 2. 0 Windows AIX 6. Основы потоковой обработки СУБД DB 2 (z, Oracle, данных IBM Info. Sphere Streams Linux, Windows) 3. 0. 0. 2 7. Инструменты и консоль IBM Info. Sphere Streams Oracle z Oracle Linux 8. Создание приложений с Oracle Windows IBM Data Explorer 8. 7 помощью Data Explorer 59
Лабораторные работы Центра компетенции по технологии создания Корпоративных хранилищ данных (КХД) предприятия Наименование лабораторной работы Инструменты платформы 1. Знакомство с принципами и технологиями построения промышленных корпоративных хранилищ данных Best World Practices Система АП АС БЭСП Система КХД БР 2. Адаптация промышленных индустриальных моделей данных фирмы IBM для реализации КХД на примере модели для банковского сектора IBM Banking Data Warehouse Индустриальная модель -IBM Banking Data. Warehouse IBM Infosphere Data Architect СУБД IBM DB 2 СУБД Oracle 3. Разработка ETL-процедур очистки, извлечения, трансформации и загрузки информации от систем-источников для размещения в КХД IBM Info. Sphere Datastage and Quality. Stage 4. Построение витрин данных в интересах ИАС IBM Infosphere Data Architect СУБД IBM DB 2 СУБД Oracle 5. Разработка процедур формирования расчетных аналитических показателей и их размещения в витрине данных в интересах ИАС IBM Info. Sphere Data. Stage and Quality. Stage 6. Система контроля качества данных в витринах и отчетах ИАС Ресурсы ЕС-лизинг ЭВМ IBM z. Series 10, 11 IBM p. Series IBM x. Series IBM Pure Data (Netezza) Операционные системы z. OS z. Linux VMWare Windows AIX СУБД DB 2 (z, Oracle, Linux, Windows) Стенды прикладных систем: Стенд АП АС БЭСП Стенд КХД БР Разработка ЗАО «ЕС-лизинг» - «Подсистема межформенного и внутриформенного контроля» АП АС БЭСП 60
Лабораторные работ Центра компетенции по технологии создания Информационно-аналитических систем предприятия Наименование лабораторной работы Инструменты платформы 1. Многомерный анализ данных – проектирование и разработка многомерных структур данных, OLAPкубов IBM Cognos BI - Cube designer 2. Создание аналитически отчетов произвольной формы в реальном времени IBM Cognos BI – Analysis Studio 3. Создание сложных параметризированных аналитических отчетов IBM Cognos BI – Report. Studio 4. Статистический анализ и прогнозирование IBM SPSS Analytics Ресурсы ЕС-лизинг ЭВМ IBM p. Series IBM x. Series Операционные системы Windows AIX СУБД DB 2 (z, Oracle, Linux, Windows) Стенды прикладных систем: Стенд АП АС БЭСП 61
Учебные задачи центра компетенции IBM Big Data № 1 2 3 4 5 6 Название задачи Источники информации Прогнозирование «бегства вкладчиков» Интернет-форумы, социальные сети, публикуемая отчётность, ставки по депозитам, макроэкономические показатели Выявление аффилированных СМИ, социальные сети лиц Оценка степени удовлетворенности Тематические интернетфорумы, социальные сети, корпоративные источники информации Социальные сети Обнаружение фактов инсайда Оценка и прогноз Финансовая отчетность, управленческий учет, производственной СМИ устойчивости Социальные сети Определение психотипов Количество текстов До 15 млн. в день 62
Централизованная информационно-аналитическая система (ЦИАС) ЕС-лизинг Реализует группировку виртуальных обучаемых компьютеров в различных направлениях бизнеса ППК 3 Прогнозировани ППК 1 Паспорт региона Оценка и прогноз Производственн ой устойчивости ППК 2 е темпов изменения объёма депозитов коммерческого банка ППК 5 ППК 4 Выявление связей аффилированн ых лиц кредитных организаций Обнаружение утечки конфиденциальн ой информации ИАП - Информационно-аналитическая платформа ЕСисполнения прикладных аналитических бизнес приложений лизинг ЕСБМ. 42 5681 ПТК z. Series ПТК p. Series ПТК x. Series ПТК PAAS Среда исполнения ПТК Терминального доступа Анализ психотипов ПТК Виртуализации рабочих станций Облачный доступ ЦОД - Центр обработки данных ППК 6 ЕСлизинг ЕСБМ. 42 5681 Примеры учебных задач ЦИАС: Агробизне с Банковский бизнес Кадры и безопасность 63
Создан пылесос данных и инфраструктура их обработки в интересах множества задач Макет - стартовая точка создания любого бизнеспроекта ЕС-лизинг Макет Источники информации: -международные; -федеральные; -региональные; -муниципальные; -хозяйствующие субъекты Кафедра ИАС МИЭМ НИУ ВШЭ ИПИ РАН Группировка бизнес-приложений, тренажеров, учебных программ Облачный доступ ИАП ЦОД КЛИЕНТЫ: юридические и физические лица Варшавское шоссе, д. 125 64
Центр компетенции по IBM Big Data Приглашаем посетить центр компетенции, ознакомиться с технологиями IBM Big. Data, принять участие в создании виртуальных отраслевых стендов www. ec-leasing. ru Тел. : (495) 319 -58 -09 Факс: (495) 319 -69 -90 e-mail: contact@ec-leasing. ru 65
Публикации в Интернете 26 марта 2013 г. Агентство маркетинговых коммуникаций CNews Conferences и CNews Analytics провели круглый стол «Big Data: возможность или необходимость» . В этой конференции с докладом "Big Data: Революция в области философии и технологий принятия корпоративных решений" выступил А. В. Шмид. Отчет о круглом столе и выступлениях на конференции можно найти по ссылкам http: //www. cnews. ru/reviews/index. shtml? 2013/04/05/525080_1 http: //www. cnews. ru/reviews/index. shtml? 2013/04/05/525080_4 IBM CEO Джинни Рометти 7 марта 2013 г. выступила на собрании спикеров CFR's (Council of Foreign Relations) CEO с обсуждением использования больших данных. http: //www. cfr. org/business-and-foreign-policy/conversation-ginni-rometty/p 30160 http: //www. informationweek. com/software/information-management/ibm-ceo-romettyshares-vision-of-big-dat/240150326 В марте 2013 г. вышла вторая, дополненная версия Учебника 4 CIO. Раздел по Большим Данным написан А. В. Шмидом http: //www. 4 cio. ru/pages/index/221/ 66
«Информационная технология BIG DATA. Революция в области философии и технологий принятия корпоративных решений» http: //www. ec-leasing. ru/publ/detail. php? ID=66 www. ec-leasing. ru 67
Выводы с Сейча В ближайшие годы потребности в специалистах Data analyst в направлении predictive analytics составит 50 -70 тыс. человек в год. Однако подготовки студентов по этой специальности нет ни в одном вузе страны. Надо готовить учителей для обучаемых компьютеров, учить замыкать обратные связи на макроуровне экспертных систем. 68
с Сейча Учебник 4 CIO. А. Шмид «Новые концепции и технологии» http: //4 cio. activetextbook. com/active_textbooks/34#page 619 Х 2 А. Шмид «Информационная технология BIG DATA. Революция в области философии и технологий принятия корпоративных решений» www. ec-leasing. ru 69
ем щ В буду Вирджиния Рометти – IBM CEO: «Что нас ожидает в следующие 30 лет - самообучающиеся компьютеры» A Conversation with Ginni Rometty http: //www. cfr. org/business-and-foreign-policy/conversation-ginni-rometty/p 30160 70
Эпилог «Можно тысячу раз сказать слово халва, но это слово нельзя понять, пока не попробуешь. » 71
СПАСИБО ЗА ВНИМАНИЕ! 72
Скачать презентацию Обучаемые компьютеры Big Data Революция в области философии
Learning_computers_01_12_2015.pptx