Создание корпоративного хранилища данных на платформе Microsoft SQL

Скачать презентацию Создание корпоративного хранилища данных на платформе Microsoft SQL

d6461bfec31d101bde078dd0485065cf.ppt

Количество слайдов: 33

Создание корпоративного хранилища данных на платформе Microsoft SQL Server 2005 компанией «ББХ-Украина» Сергей Компаниец Бизнес-аналитик BBH-Ukraine Алексей Шуленин Консультант Microsoft Consulting Service

Содержание Цель построения хранилища данных Этапы проекта Архитектура системы Полученные результаты Резюме

Факторы, ухудшающие сбор и анализ информации в компании ББХ-Украина Эксплуатируется множество различных информационных систем, автоматизирующих различные участки бизнеса. Системы от различных производителей, друг с другом практически не интегрированы Бизнес BBH-Ukraine территориально распределен (3 пивоварни в Киеве, Львове и Запорожье), данные также территориально распределены Количество информационных систем в компании постоянно растет, функциональность их со временем расширяется

Как раньше создавались сводные отчеты OLTP 1 OLTP 5 OLTP 6 OLTP 2 OLTP 3 OLTP 4 . . . OLTP n

Недостатки такой схемы построения консолидированной отчетности Аналитик вместо анализа данных тратит свое время на «сборку» нужного отчета Ручные операции при сборке отчета – потенциальный источник ошибок Невозможность или неудобство анализа исторических данных Сбор данных из различных систем аналитик производит в рабочее время, когда максимальна загрузка каналов и серверов Аналитик должен быть довольно опытным пользователем всех информационных систем, из которых ему требуются данные Нет аналитика (заболел, в отпуске и проч. ) – нет отчета Публикация также требует временных затрат на пересылку отчетов по e-mail пользователям

Цель проекта Максимально упростить и ускорить разработку отчетов, которые включают в себя данные из различных информационных систем, а также предоставить конечным пользователям удобные средства для генерации отчетов и аналитической обработки данных Информация сегодня – стратегический продукт. Однако важна не только информация как таковая, но и: её достоверность сроки её получения возможность накопления исторических данных недоступность для конкурентов и злоумышленников

Использование информации принятии управленческих решений Консолидированные отчеты Консолидированные кубы данных

Паспорт проекта Название проекта Система консолидированного анализа данных, отчетности и поддержки принятия управленческих решений Спонсоры проекта Сергей Жданов, директор IT Михаил Гончаров, директор по продажам Илья Агладзе, директор по финансам Александр Руднев, директор по логистике Менеджер проекта Сергей Компаниец Дата начала проекта – 25. 04. 2005 Дата завершения проекта – 07. 09. 2005

Состав исполнителей Заказчик - BBH Ukraine Сергей Компаниец Петр Козлов Партнер – Sigel Ltd. Сергей Васильев Марина Мисюра Партнер – ООО Изотроп Microsoft Consulting Services Артем Горкун, Microsoft Ukraine Евгений Акименко, Microsoft Ukraine Алексей Шуленин, Microsoft Russia

Этапы проекта Выполнение проекта производилось поэтапно Каждый этап финансировался отдельно По закрытии этапа производилась корректировка последующих этапов и состава их работ Основные этапы проекта: Этап 1. Постановка задачи, планирование и архитектура Этап 2. Реализация Этап 3. Внедрение Этап 4. Опытная эксплуатация и документирование

Схема корпоративного хранилища данных

Integration Services–пакет загрузки данных

Схема куба данных

Архитектура решения Слой данных Microsoft SQL Server 2005 ( «Yukon» ) Карантинная БД, куда переносятся данные внешних источников as is Реляционное хранилище, куда погружаются данные из карантина после выверки и преобразования с использованием Microsoft SQL Server 2005 Integration Services Microsoft SQL Server 2005 Analysis Services Многомерные витрины (кубы) Слой бизнес-логики Microsoft SQL Server 2005 Reporting Services Построение регламентной отчетности Microsoft Office Business Scorecard Server 2005 ( «Maestro» ) Ключевые показатели эффективности, объединенные в скоркарды Презентационный слой Microsoft Sharepoint Server 2003 Корпоративный портал, на который выведены веб-фрагменты, интегрированные с Office Web Components 2003 (прямой просмотр многомерной информации), Reporting Services 2005 (просмотр регламентной отчетности) и Maestro (просмотр KPI) Собственно, функциональность Maestro также сопряжена с OWC и RS Клиентом выступает обычный браузер или Office 2003

Текущая статистика системы Текущие объемы основных компонентов Staging DB Corp. DW БД Report. Server БД Scorecard Server Многомерная БД Corp. DW 14 кубов 22 измерения – 6. 1 Gb (80 таблиц) – 1. 2 Gb (84 таблицы) – 850 Mb (12 отчетов) – 80 Mb – 300 Mb Количество записей в таблицах фактов (TOP 3): fct. Day. Sales fct. Prod. Rems. At. Warehouse fct. Tare. Accounts. Receivable 3. 4 млн 1. 1 млн. 0. 9 млн. Количество записей в таблицах измерений (TOP 3): ref. Address ref. Company ref. Calendar 27 тыс. 13 тыс. 2 тыс. Количество записей в таблице мепинга - 42 тыс.

Результаты проекта Проект был завершен с запланированным объемом, сроками и бюджетом Среди основных достижений можно выделить следующие: Создана методологическая основа и единый системный подход к построению корпоративной отчетности Улучшена степень актуальности, достоверности и удобства предоставления необходимой информации для принятия управленческих решений руководством Увеличена гибкость аналитики и оперативности текущих отчетов для регламентной работы бизнесподразделениями компании Упрощены процесс выявления ключевых закономерностей в деятельности компании и построение новых отчетов для их отображения Повышена эффективность работы IT-персонала

Персональная страничка на портале

OLAP-отчеты

Страничка со скоркардом

Персональная страничка дистрибьютора

Преимущества использования корпоративного хранилища данных Сбор данных из различных информационных систем в единое хранилище данных производится автоматически ночью, когда каналы связи и серверы не загружены Перекодировка справочников, предагрегирование, очистка, т. е. приведение данных «к одному знаменателю» также производится автоматически Даже если данные в информационных системахисточниках удалить, исторически накопленные данные в хранилище позволят производить анализ прошлых периодов Хранилище данных собирает в себе данные из различных информационных систем и потенциально предоставляет возможность использования мощного аналитического аппарата Data Mining

Резюме Заложена база для единой системы корпоративной отчетности масштаба компании. Апробированы основные архитектурные принципы системы отчетности и ППР путем автоматизации выпуска наиболее востребованных в подразделениях компании аналитических отчетов на основе реляционного хранилища и многомерных витрин. Построено консолидированное отображение информации на корпоративном портале. Вне зависимости от природы отчетов выработан механизм их единообразного отображения и работы с ними средствами портала. Сроки создания новых отчетов сократились до 5 раз. В процессе работ по проекту приобретен необходимый технический и организационный опыт сотрудниками ITдепартамента. Освоены новые перспективные технологии, которые будут определять облик IT на протяжении ближайших 2 -3 лет.

Результаты проекта Таким образом Менее, чем за 5 месяцев Силами команды из менее, чем 10 человек Был сделан проект, который можно без преувеличения назвать ключевой вехой не только на территории Украины Это первый корпоративный проект, реализованный на основе SQL Server 2005 в масштабе всего СНГ!

Ask the Expert В течение часа после доклада я буду присутствовать на стенде “Спроси эксперта”

Полезные ссылки Ресурсы Microsoft Официальный веб-сайт Microsoft SQL Server http: //www. microsoft. com/sql Информация для разработчиков http: //msdn. microsoft. com/SQL/ default. aspx Технический центр http: //www. microsoft. com/techn et/prodtechnol/sql/2005/default. mspx Независимые ресурсы SQL Server Developers Network http: //www. sqldev. net/ Форумы и блоги http: //www. sqljunkies. com/ Общественная поддержка http: //news. sqlblogs. com/top/ind ex. aspx Оптимизация и настройка производительности http: //www. sql-serverperformance. com/ Вопросы безопасности http: //www. sqlsecurity. com/Deskt op. Default. aspx DTS / Integration Services http: //www. sqldts. com/ SQL Server Magazine http: //www. windowsitpro. com/SQ LServer/ Локальные ресурсы и форумы по Microsoft SQL Server Сообщество разработчиков GOTDOTNET. RU http: //www. gotdotnet. ru Клиент-серверные приложения и доступ к данным http: //www. rsdn. ru/ Русский вариант журнала http: //www. osp. ru/win 2000/sql/

Литература по SQL Server 2005 «Pro SQL Server 2005» Thomas Rizzo и др. «A First Look at SQL Server 2005 for Developers» Bob Beauchemin, Niels Berglund, Dan Sullivan «Microsoft SQL Server 2005 New Features» Michael Otey «Introducing Microsoft SQL Server(TM) 2005 for Developers» Peter De. Betta «Inside Microsoft(r) SQL Server(tm) 2005: T-SQL Programming» Dejan Sarka, Itzik Ben-Gan, Kalen Delaney, Lubor Kollar, Roger Wolter «Inside Microsoft SQL Server 2005: Query Processing and Optimization»

Тематическая литература по SQL Server 2005 «Microsoft SQL Server 2005 Analysis Services» Edward Melomed, Irina Gorbach, Alexander Berger, Py Bateman «Fast Track to MDX» Mark Whitehorn, Mosha Pasumansky, Robert Zare «Delivering Business Intelligence with Microsoft SQL Server 2005» Brian Larson «Data Mining with SQL Server 2005» Zhao. Hui Tang, Jamie Mac. Lennan «Applied Microsoft Analysis Services 2005 and Microsoft Business Intelligence» Teo Lachev Data Warehousing with SQL Server 2005 Joy Mundy, Warren Thornthwaite

Тематическая литература по SQL Server 2005 «Professional SQL Server 2005 Programming» Robert Vieira «Professional SQL Server 2005 XML» Scott Klein «Professional SQL Server 2005 Integration Services» Brian Knight и др. «Professional SQL Server 2005 Reporting Services» Paul Turley, Todd Bryant, James Counihan, George Mc. Kee, Dave Du. Varney «Microsoft SQL Server 2005 Reporting Services» Brian Larson «Pro SQL Server 2005 Reporting Services» Rodney Landrum, Walter J. Voytek . . .