ВВЕДЕНИЕ В ИНФОРМАЦИОННОАНАЛИТИЧЕСКИЕ СИСТЕМЫ Ляпин Сергей Валерьевич

ВВЕДЕНИЕ В ИНФОРМАЦИОННОАНАЛИТИЧЕСКИЕ СИСТЕМЫ Ляпин Сергей Валерьевич

План на сегодня 1 • Место BI в ИТ-ландшафте предприятия 2 • Основные понятия и возможности BI 3 • Обзор рынка BI (Gartner) 4 • Введение в Business Objects 5 • Основные компоненты SAP BO 6 • Демо (факультатив)

Бизнес-процессы в организациях • Подготовка регламентной отчетности (для предоставления во внешние контролирующие органы) • Анализ операционной деятельности организации (KPI, маркетинг, поиск зависимостей в данных) • Прогнозирование операционной деятельности (маркетинг, подготовка планов реализации) • Планирование и контроль за подготовкой отчетности • Визуализация (топ-менеджмент, портал организации) • Поиск информации (возможности drill-down, drill -up)

Типичные проблемы в организациях • Бумажная работа – до 40% рабочего времени • Слабое (не на современном технологическом уровне) взаимодействие между организациями • Разрозненность данных (логическая несвязность и территориальная распределенность) • Множество информационных систем (МДМ – больше 40 -ка) • Колоссальные затраты времени на поиск информации • Рутинная нагрузка на персонал (отдел отчетности Пассажирской дирекции РЖД – 40 человек)

Введение в BI В основе бизнес-аналитики лежит способ организации доступа конечных пользователей к данным и развитые возможности анализа этих данных. BI является итерационным процессом, включающий доступ к данным, их интеграцию, последующий анализ в целях эффективного управления компанией. Карта функциональности BI платформы (по Gartner)

Ключевые особенности BI Обычные системы подготовки отчетности BI - системы Ориентированы на подготовку РЕГЛАМЕНТИРОВАННОЙ отчетности (по заранее заданным формам) Ориентированы как на подготовку регламентированной , так и НЕрегламентированной отчетности (по запросу пользователя ) Ad-hoc лат. , означающее «по требованию, для данного случая, для этой цели» Регламент и сроки подготовки ПРЕДВАРИТЕЛЬНО ИЗВЕСТНЫ и меняются редко Необходимость получения отчетности возникает эпизодически, форма и сроки заранее не известны Как правило, оперирует понятиями БД, таблиц и запросов Оперирует понятиями кубов, бизнес-показателей и измерений (Measures & Dimensions) Бухгалтерская отчетность и прочая отчетность в надзорные и контролирующие органы, Типовая отчетность в организации Отчетность аналитических отделов, маркетинг, внутренняя отчетность по операционной деятельности

Место аналитических решений в ИТ-ландшафте компании Принцип разделения транзакционных и аналитических систем Стратегия Менеджмент BI - Решения Понимание Приложения для оптимизации эффективности Принятие решений Аналитическая платформа (BI) Внесение плановых показателей Транзакционные системы Исполнение Платформа бизнес-процессов Исполнители Контроль за процессами

Источники данных Хранение и интеграция данных Аналитически е приложения & BI Информационный портал Место аналитических решений в ИТ-ландшафте компании Мобильный портал Enterprise Portal Portlets Predictive Wrkbnch Crystal Reports Web Intelligence Xcelsius Explorer Business. Objects Enterprise Хранилище MDM ERP Витрина BO Rapid Интеграция и очистка данных marts

Место аналитических решений в ИТ-ландшафте компании Распределение ролей при работе с аналитической системой Руководство plo rer rse iew Ex ov Inf Web. Intelligence ive Un l rta Аналитики Po XCelsius Crystal Reports Бухгалтерия, ФЭД, и т. д. Хранилище данных Data Services. ETL ИТ-департамент Excel MSSQL Источники данных ORACLE SAP

Компоненты и сервисы аналитической платформы § Единый портал для документов разного типа § Гибкая система распределения прав доступа § Встроенный планировщик (обновление отчетов по расписанию, рассылка отчетов) § Кросс-платформенная поддержка § Сервис-ориентированная архитектура (SOA) § Возможность удаленного администрирования системы (через веб) § Аудит использования системы © SAP 2008 / Page 10

Области сравнения систем бизнес-аналитики Продолжение Однородность бизнес-терминов Контроль за распространением и доступом к информации Быстрота развертывания и простота сопровождения Возможности обеспечения качества данных Информация в нужном объеме и формате Информация в нужном месте и вовремя Бизнес-приложения и структурированные данные Неструктурированные данные Поддержка разных источников

Обзор рынка BI Области сравнения систем бизнесаналитики • • • интеграция с учетной системой удобство и гибкость настройки бизнес-объектов полноценная поддержка всех типов отчетов возможности рассылки и экспорта удобство создания и просмотра отчетов и т. д. (много критериев)

SAP Business. Objects • широкие возможности очистки и консолидация данных из различных источников • широкие возможности анализа данных • премиум отчетность всех типов • любые виды доставки информации (портал, мобильные решения) • интеграция с SAP BW, SAP ERP, Oracle и другими источниками

Oracle Business Intelligence • виртуальное хранилище данных • возможность очистки и консолидации данных из различных источников • гибкие возможности анализа данных • нет разделения на аналит. отчеты и инф. панели • интеграция с SAP BW

Портфель решений SAP Business Objects Управление рисками и соответствием нормативным требованиям Управление эффективностью предприятия Стратегический менеджмент Консолидация Решения SAP Business Objects Приложения для оптимизации эффективности Анализ закупок Контроль доступа Контроль процессов Бизнеспланирование Рентабельность и управление издержками Управление рисками Международная торговля Охрана труда, здоровья и защита окружающей среды Аналитическая платформа (BI) Поиск и доставка информации Управление информацией Подготовка отчетов Создание запросов, отчетность и анализ Бизнес-приложения SAP Инструментальные панели и визуализация Поиск и навигация Платформа бизнеспроцессов Расширенная аналитика Интеграция данных Управление качеством данных Управление основными данными Управление метаданными

АНАЛИТИЧЕСКАЯ ПЛАТФОРМА SAP Business Objects Enterprise Для пользователей Руководители принимают решения на основе достоверных данных • Достаточная гибкость для удовлетворения любых (даже постоянно меняющихся) бизнес-требований к аналитике • Понимание происхождения данных, чтобы принимать более уверенные решения • Самостоятельная работа с корпоративными данными без обращения к ИТ • Сокращение цикла принятия решений • Увеличение отдачи от существующих инвестиций в ERP (напр. , в SAP) Для разработчиков • Относительно небольшая стоимость внедрения и поддержки • Высокая гибкость и масштабируемость • Быстрая подготовка и модификация отчетов • Высвобождение сотрудников ИТ от рутинных операций по подготовке отчетов • Минимальная поддержка системы (низкая TCO)

Регламентная отчетность SAP BO Crystal Reports Основные возможности n Доступ к данным в различных источниках n Преобразование данных в отчетную форму n Широкие возможности создания печатных форм n Визуализация данных n Drill-down навигация n Разграничение прав доступа к информации n Интеграция с приложениями SAP Области использования n Построение типовых корпоративных отчетов n Шаблонные отчеты для руководства n Подготовка регламентной отчетности для контролирующих органов © SAP 2008 / Page 17

Регламентная отчетность SAP BO Crystal Reports © SAP 2008 / Page 18

Аналитические решения SAP BO Управление эффективностью предприятия Управление рисками и соответствием нормативным требованиям Стратегический менеджмент Бизнеспланирование Рентабельность и управление издержками Консолидация Анализ затрат Управление рисками Исследование и представление информации Решения SAP Business Objects Приложения для оптимизации эффективности Создание запросов, Подготовка Аналитическая платформа (BI) Web. Intelligence Crystal Reports отчетность регламентной отчетности и анализ Исследование и представление информации Подготовка отчетов Создание запросов, отчетность и анализ Информационные панели и визуализация Поиск и навигация Прогнозная аналитика Бизнес-приложения SAP Информационные Explorer Поиск и навигация Xcelsius панели и визуализация Платформа бизнеспроцессов Predictive Прогнозная аналитика Workbench Контроль доступа Управление процессами Международная торговля Охрана труда, здоровья и защита окружающей среды Управление информацией Интеграция данных Управление качеством данных Управление основными данными Управление метаданными

Преимущества семантического слоя: Автономная работа пользователя – Перевод сложных структур данных на понятные бизнестермины – Пользователи становятся менее зависмы от ИТ: доступ к данным без знания структур или SQL – Простой, интуитивный, самостоятельный способ работы с корп. данными – Единая версия правды, независимо от используемого инструментария – Безопасный доступ к данным – Доступ через web, моб. устройства, MS Office

Исследование данных, аналитические запросы (Web. Intelligence) Основные возможности n Построение нестандартных аналитических запросов бизнес-пользователями, без необходимости обращения к ИТ n Исследование данных - навигация в OLAP кубах n Работа через Web-Interface n Доступ к данным в различных источниках n Разграничение прав доступа к информации n Интеграция с приложениями SAP Области использования n. Аналитические отделы n. Решение аналитических задач на уровне департаментов n. Снятие с бизнес-пользователей необходимости обращаться за информацией к ИТ специалистам © SAP 2008 / Page 21

Исследование данных, аналитические запросы (Web. Intelligence)

Мониторинг ключевых показателей (Xcelsius) Основные возможности n Преобразование отчетов в графическую форму n Интерактивность предоставления информации n Доступ к данным в различных источниках n Интеграция с MS Office Области использования n. Построение интерактивных «информационных панелей руководителя» n. Реализация сценариев «что если» n. Визуализация стратегий и управление по ключевым показателям эффективности n. Подготовка презентаций n. Предоставление данных через мобильные устройства © SAP 2008 / Page 23

SAP Business. Objects Explorer Инструмент самостоятельной работы, использующий идеологию поиска и произвольного исследования корпоративных данных – SAP Business. Objects Explorer соединяет высокую производительность обработки в оперативной памяти от BW Accelerator вместе с интуитивным интерфейсом для поиска и исследования данных. – Главное предназначение - поиск & исследование в больших объемах корп. данных для обнаружения взаимосвязей и выявления первопричин – Любой произвольный пользователь BI получает мгновенное ‘проникновение в суть вещей со скоростью мысли' без посторонней помощи со стороны бизнес – аналитиков или ИТ © SAP 2008 / Page 24

Live Office: Интеграция с MS Office – Live Office интегрирует живые (обновляемые) BI – объекты в документы, эл. таблицы, и презентации. – Результатом является документ Office, который может быть распространен между другими с целью коллегиального принятия решений. – Используя интуитивные мастера и диалоги, пользователь легко подсоединяется и выбирает данные из документа Crystal Report или Web Intelligence – Как только данные попадают в документ MS, вы можете форматировать, реорганизовывать, и выполнять вычисления — с помощью штатных возможностей Microsoft Word, Power. Point, и Excel. Требования пользователей – Простая интеграция BI – документов в Microsoft Office – Легкое самостоятельное распространение BI – данных, внедренных в документы MS Office

Business. Objects Mobile – Предоставление технологий бизнес - аналитики мобильным пользователям – Сокращение цикла принятия решений – Предоставление более быстрых, более аккуратных сервисов – Повышение удовлетворенности клиентов Типичные требования – Повторное использование BI контента для мобильных сотрудников – Работа с мобильными BI технологиями – Нет требований по вовлечению IT или проведения обучения – Безопасная доставка информации через систему безопасности BI-платформы SAP Connectivity – Через технологию Юниверсов пользователи получают доступ к САП-источникам

Predictive Workbench: Прогнозная аналитика • PW является поставщиком информации в систему BI – Визуализация результатов в отчетах, инфопанелях или Microsoft Office – Поиск нового понимания с любым отчетом, инфопанелью или аналитикой • Доступ к прогнозам для всех пользователей – Обеспечение бизнес-пользователей удобными в восприятии прогнозами – Повышение эффективности работы аналитиков • Масштабируемость – Масштабируемый механизм прогнозов – Использование ресурсов БД для оптимизации производительности Predictive Workbench Crystal Reports Web Intelligence Xcelsius

Интеграционные решения SAP Business Objects Управление эффективностью предприятия Стратегический менеджмент Бизнеспланирование Рентабельность и управление издержками Управление рисками и соответствием нормативным требованиям Консолидация Управление рисками Управление корпоративной информацией Анализ затрат Контроль доступа Управление процессами Международная торговля Охрана труда, здоровья и защита окружающей среды Решения SAP Business Objects Приложения для оптимизации эффективности Управление качеством Аналитическая платформа (BI) Интеграция данных Data Quality Data Integrator данных Поиск и представление информации Управление информацией Подготовка отчетов Создание запросов, отчетность и анализ Инструментальные панели и визуализация Поиск и навигация Прогнозная аналитика Master Data Бизнес-приложения SAP Metadata Управление Management основными данными Платформа бизнеспроцессов Управление качеством данных Управление основными данными Управление метаданными Федерализация данных Data Federator Интеграция данных

Business. Objects Data Services (Data Integrator + Data Quality) Единое решение для интеграции корпоративных данных и обеспечения качества • Единый инструмент для интеграции и обеспечения качества корпоративных данных • Единый интуитивнопонятный интерфейс разработчика • Единое администрирование • Единая архитектура Единый интерфейс Единый репозиторий метаданных Извлечение Профилирование Очистка Единая архитектура Трансформация Загрузка Единое администрирование © SAP 2008 / Page 29

Доступ к данным Доступ к структурированным и неструктурированным данным Широкий набор интерфейсов к базам данных, приложениям, унаследованным системам, форматам файлов, и неструктурированным данным Базы данных: Приложения: Файлы/ Транспорты: Мейнфреймы: Неструктурированные • • • • • • • • Любые текстовые данные • 32 языка Oracle DB 2 Sybase & IQ SQL Server Informix Teradata ODBC My. SQL Netezza JD Edwards Oracle Apps People. Soft Siebel Salesforce. com SAP BI SAP R/3 • ABAP • BAPI • IDoc Text delimited Text fixed width EBCDIC XML Cobol Excel HTTP JMS SOAP (Web Services) ADABAS ISAM VSAM Enscribe IMS/DB RMS

Пример: Загрузка справочника клиентов • • • Объединение справочников Консолидация справочников по коду ИНН Консолидация справочников по коду ОКПО Общая консолидация по коду ИНН и ОКПО Согласование со справочником регионов Проверка корректности кода ИНН Обогащение адресной информации Консолидация клиентов по адресу Обновление справочника клиентов Подготовка протокола ошибочных данных 1) ИНН: 1010101 ОКПО: ? Название: василий иванович 2) ИНН: 1010101 ОКПО: ? Название: иванов 3) ИНН: ? ОКПО: 2020202 Название: василий 4) ИНН: ? ОКПО: 2020202 Название: иванович Data Integrator ИНН: 1010101 ОКПО: 2020202 Название: Василий Иванович Иванов

Пример: Загрузка фактических данных • Циклическая обработка источников Обработка исключительных ситуаций Первичная подготовка данных • Проверка корректности кода ИНН • Перекодировка ключей по справочникам клиентов, операционным кассам и справочником регионов • Загрузка фактических данных • Подготовка протокола ошибочных данных

Статистика загрузок и анализ некорректных данных • Встроенные механизмы контроля • Готовые статистические панели и отчетные формы по статистике функционирования системы в целом с возможностью детализации до конкретных потоков данных • Анализ некорректных данных с помощью отчетов Web Intelligence

Data Federation – Альтернативная форма интеграции данных

Единая среда разработки процедур интеграции и обеспечения качества • Задания в режимах реального Один интерфейс для всех проектов по интеграции времени и отложенные – Профилирование – Разработка – Проверка – Аудит – Обеспечение качества данных – Установка параллелизма – Тестирование и отладка – Мониторинг • Графический интерфейс – Drag & drop – Библиотеки расширяемых функции и элементов преобразований

Функции и элементы преобразований ETL-процесса Наличие встроенной библиотеки готовых элементов преобразований позволяет увеличить скорости разработки • Элементы преобразований – Медленно меняющиеся измерения (SCD) – Проверка данных – Очистка данных – Поддержка историчности – Сравнение таблиц – Генерация ключей – Работа с иерархиями – Выражения Case – Многие другие… • Расширяемая библиотека функций может быть использована внутри любого элемента

Интерактивная отладка и поиск ошибок Отладка элементов преобразований или трассировка преобразования данных в рамках всего ETL-процесса Простое отслеживание проблем и обнаружение ошибок в ETLзаданиях – Анализ данных за счет добавления точек останова (условий) и/или фильтров – Просмотр выхода каждого элемента преобразования – Получение следующей записи – Просмотр и модификация данных – Отбрасывание строки или всех строк

Коллективная среда разработки Коллективная, многопроектная среда с механизмами Check In, Check Out Разделение доступа к объектам и их повторное использование Стандартизация между проектами снижает стоимость владения

Безопасность при коллективной работе Обеспечение безопасности при обмене информацией и совместной работе пользователей • Обеспечение безопасности при работе с центральным репозиторием за счет определения прав на уровне групп, пользователей и объектов • Механизмы безопасности – Аутентификация – Авторизация – Отслеживание изменений

Функции интеграции и обеспечения качества данных – в одном интерфейсе Встроенный механизм очистки данных в общей среде разработки – Синтаксический анализ (Parse) – Исправление (Correct) – Стандартизация (Standardize) – Сопоставление (Match) – Консолидация (Consolidate)

Логически законченное решение для обеспечения качества данных Цикл Data Quality

Сквозной анализ метаданных: Уверенность в корректности …? #%&? …. . данных Откуда взялась эта цифра ? Анализ происхождения показывает всю логическую цепочку формирования показателя в отчете через процессы интеграции вплоть до источника данных.

Вместо заключения Business Objects - #1 по простоте использования #1 Ease of Use ** Источник: ETL Product Survey 2007 Report by Passionned