Бизнес-аналитика: новые возможности пользователей по самостоятельному созданию приложений Алексей Шуленин Microsoft Департамент стратегических технологий Эксперт по технологиям обработки и анализа информации
План семинара • Краткий обзор рынка BI • Power. Pivot как возможность самостоятельного выполнения анализа по требованию • Report Builder 3. 0 и улучшения в службах отчетности для самостоятельного построения отчетов • Анонсы предстоящих мероприятий • Вопросы
SQL Server 2008 R 2 - это релиз, ориентированный на BI • Madison - поддержка хранилищ > 100 ТБ при помощи горизонтально • • масштабируемой архитектуры решения Data. Center - поддержка до 256 логических процессоров - вертикальная масштабируемость Multi-server administration и UCP (utility comtrol point) в SSMS централизованное управление серверами в слое данных Data Tier Application - централизованное управление приложениями по работе с данными за счет более тесной интеграции с VS 2010 Self-service analysis - Power. Pivot - In-memory OLAP, анализ по требованию на уровне бизнес-пользователя Self-service reporting - поддержка картографических отчетов в Report Builder 3. 0 и другие улучшения Master Data Services - централизованное управление нормативносправочной информацией (измерениями) в масштабах всего предприятия Stream. Insight - комплексная обработка событий - анализ потоков данных на лету в масштабе времени, близком к реальному. . .
Что же такое BI? Business Intelligence = «a set of technology tools focused on querying, reporting and multi-dimensional analysis on top of a data warehouse» Именно так этот термин был введен в 1989 г. аналитиками Gartner Group Однако в конце 2006 г. докопались, что они его не придумали, а позаимствовали из статьи 1958 г. в IBM Journal Business is a collection of activities carried on for whatever purpose, be it science, technology, commerce, industry, law, government, defense, et cetera Intelligence is defined as "the ability to apprehend the interrelationships of presented facts in such a way as to guide action towards a desired goal“ Сейчас этот смысл вкладывается в понятие DSS = Decision Support System
Основные направления инвестиций в IT на 2010 г. Технологические приоритеты Бизнес-приоритеты Виртуализация Улучшение бизнес-процессов Облачные вычисления Сокращение корпоративных затрат Web 2. 0 Повышение уровня использования информации Телекоммуникации (сеть и голос) Повышение производительности труда Бизнес-анализ Привлечение и удержание новых клиентов Мобильные технологии Управление изменениями Управление данными и документами Инновации – создание новых продуктов и услуг Сервисно-ориентированная архитектура и приложения Лучшая ориентация на клиентов и рынки Информационная безопасность Консолидация бизнес операций Управление ИТ Расширение отношений с текущими клиентами Источник: Gartner EXP (январь 2010)
SQL Server 2008: платформа данных для ПО и сервисов Database Engine Управление реляционными данными Integration Services Analysis Services Обработка ETL Управление многомерными даными (OLAP) Управляемая отчетность Самостоятельная (Self Service) отчетность Репликация Полнотекстовый поиск Reporting Services Профилирование данных Интеллектуальный анализ данных (Data Mining) Встроенная отчетность
SQL Server 2008 R 2: платформа данных для ПО и сервисов Database Engine Integration Services Управление реляционными данными Обработка ETL Обработка сложных событий Репликация Профилирование данных Полнотекстовый поиск Analysis Services Reporting Services Классическое управление многомерными даными (OLAP) Stream. Insight* Управляемая отчетность Интеллектуальный анализ данных (Data Mining) Самостоятельная (Self Service) отчетность Самостоятельный анализ данных с помощью Power. Pivot* Встроенная отчетность Master Data Services* Управление метаданными
Крупнейшие внедрения на SQL Server My. Space - 4. 4 million concurrent users at peak time, 8 billion friend relationships, 34 billion e-mails, 1 Petabyte store, scale-out using SSB and SOA http: //www. microsoft. com/casestudies/Case_St udy_Detail. aspx? casestudyid=4000004532 bwin - Most popular European online gaming site – 30 k db transactions/second, motto: “Failure is not an option”; 100 TB total storage http: //www. microsoft. com/casestudies/Case_St udy_Detail. aspx? casestudyid=4000004138 http: //www. microsoft. com/casestudies/Case_St udy_Detail. aspx? casestudyid=4000001470 Korea Telecom - Largest telco in Korea serves 26 million customers; 3 TB DW http: //www. microsoft. com/casestudies/Case_St udy_Detail. aspx? casestudyid=4000001993 Category Metric Largest single database 80 TB Largest table 20 TB Biggest total data 2. 5 PB Highest transactions per second 36, 000 Fastest I/O subsystem in production 18 GB/sec Fastest “real time” cube 15 sec latency data load for 1 TB 20 minutes Largest cube 4. 2 TB
Магический квадрант для BI-платформ Источник - Гартнер
Ценовое сравнение
Сравнительная стоимость администрирования Исследование компании Alinean Известна своими методологиями в ROI и ТСО, используемыми в аналитике Gartner
BI: корпоративный подход Централизованная разработка хранилища, витрин и системы отчетности Да, но с другой стороны, сколь бы масштабируемой ни была система. . . Централизованная разработка хранилища, витрин и системы отчетности
Персональный BI Да, но с другой стороны, сколь бы масштабируемой ни была система, пользователи зачастую рассматривают ее результат как подспорье и продолжают проводить собственный анализ в зависимости от своих конкретных задач 13
Power. Pivot для Excel Функциональность OLAP Pivot. Tables и Pivot. Charts без необходимости привлечения кубов SQL Server Analysis Services
Компоненты архитектуры Power. Pivot add-in assembly Загружает Power. Pivot в Excel Power. Pivot затем взаимодействует с Excel через его СOM interop assembly: дергает объектную модель Excel и отвечает на события и callbackи, поднятые на стороне Excel Установки Registry и файлы манифеста Позволяет Excel 2010 загружать Power. Pivot в runtime HKEY_CURRENT_USERSoftwareMicrosoftOfficeExcelAddins указывает на манифесты Power. Pivot В манифестах в XML-виде описано, как загружать сборку add-in’a Verti. Paq engine Обрабатывает запросы Pivot. Table и Pivot. Chart и DAX-выражения Реализует (но не засвечивает) объектную модель Analysis Services Verti. Paq database Хранит данные Power. Pivot Сама БД находится в custom XML part внутри Excel workbook zip -> xlcustom. Data cache Единственное исключение из самодостаточности Excelного workbook’a Обслуживает временные файлы в %TEMP% во время операций сохранения Провайдер OLE DB for OLAP Это понятно Теперь он может коннектиться не только к SQL Server Analysis Services, но и к книгам Excel Power. Pivot, как локальным, так и опубликованным на Share. Point AMO и ADOMD. NET Аналогично, реализация XMLA для операций доступа к данным и администрирования
Требования и ограничения Power. Pivot Размер книги не может превышать 2 ГБ Что соответствует 4 -гиговому датасету с 2 -кратным к-том сжатия В процессе загрузки данных и работы с ними ограничений нет, однако книга > 2 ГБ не может быть сохранена Процессор Минимальный - 500 МГц, рекомендованый - 2 -ядерный 2. 6 ГГц Практика показывает, что и на 2 гигах можно загрузить в Power. Pivot сотни миллионов записей и чувствовать себя при этом достаточно комфортно, однако раз на раз не приходится. Сильно зависит от сжимабельности данных. Память Минимум - 1 ГБ, рекомендовано - 4 ГБ ОС Минимум - Windows XP SP 3, рекомендовано - Windows 7 Business или Ultimate Edition (х64) Софт Минимум Excel 2010 +. NET Framework 3. 5 SP 1, рекомендован Office 2010 +. NET Framework 4. 0
Визуальные фильтры и инфокривые Визуальные фильтры (Slicers) Могут передавать выбранные данные в: Pivot. Tables Pivot. Charts CUBE functions Могут ссылаться на несколько элементов Могут быть отформатированы с помощью стилей Инфокривые (Sparklines) Представляют диапазон данных Типы: график столбец выигрыш/проигрыш Могут быть настроены по осям и отформатированы
Расширения Pivot. Table Именованные наборы Предоставляют возможность определить какие элементы будут помещены в области осей Pivot. Table явным выбором из списка или написав в окне MDXзапрос Не путать с Named Sets в кубе (на них по-прежнему можно ссылаться из Pivot. Table) Анализ «что-если» Pivot. Table поддерживает модификацию данных с целью увидеть влияние этих изменений на другие данные Этот функционал поддерживеается только на кубах Analysis Services 2005 и выше Анализ может производиться в локальном режиме (на уровне книги Excel), либо, если куб поддерживает режим обратной записи, результаты анализа могут быть опубликованы в кубе Таким образом Excel может использоваться разработчиками в своих приложениях как средство сбора данных при планировании Включается MDX-окно, где можно задать динамическое разнесение изменений по детальным ячейкам (равномерное, взвешенное) «Дополнительные вычисления» В Pivot. Table числовое значение может быть показано как преднастроенное дополнительное вычисление; эта функция доступна из контекстного меню Дополнительные расширения Расширения условного форматирования, взаимодействие с визуальными фильтрами, возможность повтора элементов на верхних уровнях иерархии, фильтрация по рассчитываемым элементам, визуальные итоги Улучшения в о внешнем виде и скорости отрисовки диаграмм Улучшения поиска при фильтрации больших наборов элементов
Основы DAX = Data Analysis Expressions Предназначен для построения простых конструкций, которые помогут вам расширять базовую модель Power. Pivot вычислениями Типы вычислений: Вычисляемые колонки (оценивается для каждой строки в таблице) Меры (помещаются в область значений свод. таблицы или графика) Типы функций: Обычные функции Excel (~80 функций) Табличные функции - возвращают таблицу, которая служит входным параметром для др. ф-ций DAX Функции агрегирования Две функции для навигации по связям между колонками Первая возвращает скалярное значение, представляющее сторону « 1» отношения, вторая таблицу, представляющую сторону «ко-многим» Функции изменения контекста Под контекстом вычисления меры понимаются слайсеры, фильтры, метки по строкам и столбцам Функции работы со временем Требуют колонки типа «дата»
Возможности для разработчиков Power. Pivot был разработан для «самостоятельного анализа» (self-service BI), так что в версии 2010 возможности разработки ограничены Надстройка SQL Server Power. Pivot для Excel не может быть расширена или автоматизирована Создавайте представления (views) в корпоративных базах для подготовки и содействия загрузке данных Создавайте сервисы данных для передачи данных XML в листы Power. Pivot через потоки данных Управляйте библиотеками потоков данных в Share. Point 2010 Разрабатывайте приложения с целью доказательства концепций
Power. Pivot - выводы Большие объемы данных: Храние со сжатием Быстрые запросы и вычисления Данные из большого количества источников Усиливает знакомые функции Excel Использует Data Analysis Expressions (DAX) для сложных преобразований данных Поддерживает публикацию отчетов Power. Pivot в Share. Point
Power. Pivot для Excel Power. Pivot для Share. Point
Reporting Services: новое в визуализации • Поворот текста на 270 градусов http: //blogs. technet. com/isv_team/archive/2010/03/27/3321575. aspx • Data bars Специальный вид графика, отображающий единичную data point как horizontal bar или vertical column Длина столбца позволяет визуально оценить значение • Sparklines Отображает несколько data points во времени в виде, удобном для оценки тренда Позволяет оценить общий тренд (рост или падение) и флуктуации http: //blogs. technet. com/isv_team/archive/2010/04/04/3322989. aspx http: //blogs. technet. com/isv_team/archive/2010/04/06/3323367. aspx • Indicators Иконки индикаторов могут выбираться из преднастроенных наборов с возможностью изменения цвета / размера или задаваться свои собственные • Карты
Компоненты общего доступа Наборы данных общего доступа (Shared datasets) Позволяют один раз определить запрос к данным и затем повторно его использовать в различных отчетах Можно также настроить обновление кэша для набора данных (вместо задания расписания для подписки с неопределенным провайдером доставки) Кэши можно задавать для различных комбинаций параметров Части отчетов (Report parts) Позволяют публиковать выбранные области данных как отдельные компоненты Другие разработчики отчетов могут их использовать для быстрой разработки отчетов и обеспечения единого внешнего вида Хранятся в Report Part Gallery, которая является новой функцией программы Report Builder 3. 0. Потоки данных ATOM (ATOM data feeds) R 2 поддерживает новое расширение рендеринга для поддержки экспорта данных отчета в документ сервиса ATOM Этот документ может быть использован любым приложением, которое потребляет потоки данных (например, Microsoft Power. Pivot).
Новое для разработчиков Улучшенное разбиение по страницам Появились специальные свойства для tablix data regions, groups и rectangles, чтобы управлять разбиением на страницы и задавать им имена/нумерацию Именование листов при экспорте в Excel http: //blogs. technet. com/isv_team/archive/2010/03/28/3321598. aspx AJAX Report. Viewer control Настройка с помощью Java. Script API Внутреннее обновление контента с помощью ASP. NET AJAX Поддержка AJAX Update. Panel Улучшена поддержка броузеров – IE 6, IE 7, IE 8, Firefox 3. 5 и Safari 4. 0 Report. Service 2010 - новая конечная точка управления для использования административной функциональности RS в приложениях Объединяет функциональность Reporting. Service 2005, 2006 и может использоваться как в native, так и Sharepoint-integrated режимах Относительные ссылки для доступа к отчетам и изображениям Должен быть опубликован на сервере Поддержка маркера пользователя Share. Point Маркер пользователя Share. Point содержит идентификацию пользователя и информацию о его членстве в группах Маркер позволяет приложениям выполнять операции в контексте данного пользователя
Язык выражений Три новые lookup-функции (Lookup, Multi. Lookup и Lookup. Set) позволяют сочетать данные из двух различных источников Lookup: отношение 1: 1 между источниками, на входе 1 значение из первого датасета, на выходе тоже 1 Multi. Lookup : отношение 1: 1 между источниками, на входе можно задавать несколько значений, для каждого из которых будет найдено соответствие. Соответствия вернутся в виде массива. Lookup. Set: отношение 1 -ко-многим между источниками, на входе 1 значение, на выходе - массив Агрегирование агрегатов Возможность использования результатов функции агрегирования в качестве входных данных для следующей функции агрегирования По агрегированным значениям также можно осуществлять сортировку Глобальная переменная Render. Format http: //blogs. technet. com/isv_team/archive/2010/03/29/3321661. aspx
Язык выражений Lookup-функции =Lookup(<Field 1_Key>, <Field 2_Key>, <Field_Return>, "Dataset 2") Агрегирование агрегатов =Avg(Sum(Fields!Sales. Amount. Value, "English. Month. Name"), "Calendar. Year") Условные выражения по формату отображения Глобальные переменные для подсчета страниц Возможность записи в переменную отчета =Variables!My. Variable. Set. Value(Now())
Microsoft Chart Controls Приобретены у Dundas в прошлой версии Поддерживают стандартные диаграммы, статистические формулы и продвинутые свойства макета Связывают данные из множества внешних источников Манипулируют данными (копирование, разделение, слияние, выравнивание, группировка, сортировка, поиск, фильтрация и так далее) Позволяют настроить диаграммы с помощью событий и поддерживают AJAX Microsoft Chart Controls для Microsoft. NET Framework 3. 5 Инсталлируются все сборки, необходимые для chart controls Поддерживают Windows Forms и приложения ASP. NET Microsoft Chart Controls Add-on for Microsoft Visual Studio 2008 Предоставляют интеграцию панели инструментов Chart Controls и Intellisense (автозаполнение в интегрированной среде Visual Studio) Ставятся отсюда
RDL sandboxing <RDLSandboxing> <Max. Expression. Length>5000</Max. Expression. Length> <Max. Resource. Size>5000</Max. Resource. Size> Позволяет обнаруживать и ограничивать использование ресурсов RS индивидуальными пользователями Полезно для сценариев, когда хостер сдает в аренду ферму RS Ограничения относятся к В период разработки отчета: размеры картинок, файлов. xslt, карт, . . . <Max. String. Result. Length>3000</Max. String. Result. Length> <Max. Array. Result. Length>250</Max. Array. Result. Length> <Types> <Allow Namespace=”System. Drawing” Allow. New=”True”>Bitmap</Allow> <Allow Namespace=”Type. Converters. Custom” Allow. New=”True”>*</Allow> </Types> <Members> <Deny>Format</Deny> <Deny>Str. Dup</Deny> </Members> </RDLSandboxing> В момент публикации: типы и члены типов, которые разрешено использовать в выражениях В период выполнения: длина текста и размер возвращаемого значения для выражений Задаются в RSReport. Server. Config Мониторинг - путем просмотра лога Microsoft SQL Server<Экземпляр SQL Server>Reporting ServicesLog. Files
Призыв к действию • Ознакомьтесь с новыми возможностями SQL Server 2008 R 2 • Microsoft® SQL Server® 2008 R 2 November CTP SQL Server® 2008 R 2 Evaluation Edition: X 86, X 64, IA 64 Master Data Services: X 64 Stream. Insight: X 86, X 64 • Обновленная документация на Вебе • Microsoft® SQL Server® 2008 R 2 November CTP Feature Pack SQL Server 2008 R 2 Report Builder 3. 0 SQL Server 2008 R 2 Reporting Services November CTP Add-in for Microsoft Share. Point Technologies 2010, 2007 Также входят: SQL Server 2008 R 2 Upgrade Advisor SQL Server 2008 Native Client, JDBC Driver 2. 0, OLEDB Provider for DB 2, SQL Server Driver for PHP 1. 1 CLR Types, Powershell Extensions, SMO, AMO, BOL, . . .
Встречи экспертов Russian SQL Server User Group Санкт-Петербург, 16 апреля. Встреча по вопросам регулятора ресурсов Microsoft SQL Server • • выступление старшего руководителя программ команды разработки реляционного механизма SQL Server Бориса Барышникова практические сценарии использования регулятора ресурсов http: //www. microsoft. ru/isv
Семинар «Windows Server 2008 R 2 для компаний-разработчиков» • Санкт-Петербург, 22 апреля • новые возможности и сценарии на уровне платформы использование. NET на платформе Server Core, создание приложений, использующих параллельные вычисления создание веб-сервисов, использование Power. Shell улучшение производительности и измеряемости приложений создание сервисов и фоновых задач • а также обеспечение совместимости приложений и подготовка к сертификации приложений для получения логотипа Works with Windows Server 2008 R 2 • Каждый участник получит пособие по совместимости и сертификации приложений под Windows Server 2008 R 2, а также DVD с дополнительными материалами http: //www. microsoft. ru/isv
Семинар «Windows Server 2008 R 2 для компаний-разработчиков» • Екатеринбург, 29 апреля • новые возможности и сценарии на уровне платформы использование. NET на платформе Server Core, создание приложений, использующих параллельные вычисления создание веб-сервисов, использование Power. Shell улучшение производительности и измеряемости приложений создание сервисов и фоновых задач • а также обеспечение совместимости приложений и подготовка к сертификации приложений для получения логотипа Works with Windows Server 2008 R 2 http: //www. microsoft. ru/isv
Семинар «Обзор новых возможностей Microsoft SQL Server 2008 R 2» для компанийразработчиков • Санкт-Петербург, 19 мая • • Self-Service Reporting (улучшения в службах отчетности) Self-Service Analysis (Power. Pivot) комплексная обработка событий Stream. Insight управление развертыванием приложения централизованное администрирование в многосерверном окружении управление нормативно-справочной информацией SQL Server 2008 R 2 Parallel Datawarehouse и др. http: //www. microsoft. ru/isv
Семинар «Обзор новых возможностей Microsoft SQL Server 2008 R 2» для компанийразработчиков • Екатеринбург, 26 мая • • Self-Service Reporting (улучшения в службах отчетности) Self-Service Analysis (Power. Pivot) комплексная обработка событий Stream. Insight управление развертыванием приложения централизованное администрирование в многосерверном окружении управление нормативно-справочной информацией SQL Server 2008 R 2 Parallel Datawarehouse и др. http: //www. microsoft. ru/isv
Семинар «. NET Framework 4 для разработчиков» • Санкт-Петербург, 27 мая сценарии использования новых и обновленных технологий, реализованных в. NET Framework 4: • • технологии для пользовательского интерфейса, работы с данными создание веб-приложений, сервисов, расширяемых приложений создание приложений для Microsoft Office и Share. Point использование сервисов App. Fabric новинки в языках программирования а также новые и расширенные средства создания приложений, включенные в Visual Studio 2010. • Каждый участник получит пособие по Visual Studio 2010, а также DVD с дополнительными материалами. http: //www. microsoft. ru/isv
Ваша оценка имеет значение! • Заполните анонимную анкету • Если Вы не ходили на какие то доклады, ставить ничего не надо.
Вопросы? • isvrus@microsoft. com
© 2007 Microsoft Corporation. All rights reserved. Microsoft, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U. S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
Скачать презентацию Бизнес-аналитика новые возможности пользователей по самостоятельному созданию приложений
LAUNCH 2010 SQ08 R2 shulenin public.pptx