Устройство БД в больших компаниях, интеграция, обработка данных. Вячеслав Блинов
![О докладчике Образование 1. Омский Авиационный Техникум [2003 – 2007] Автоматизация технических процессов и](https://present5.com/presentation/1797954_345045215/image-2.jpg "О докладчике Образование 1. Омский Авиационный Техникум [2003 – 2007] Автоматизация технических процессов и")
О докладчике Образование 1. Омский Авиационный Техникум [2003 – 2007] Автоматизация технических процессов и производства 2. Омский государственный университет [2007 – 2013] Вычислительные системы комплексы и сети Опыт 1. Фриланс [wordpress, shopify, php, js, css, html, linux] 2. Омскагрегат [ oracle, php, linux ] 3. Инфосистемы Джет [oracle siebel ] 4. Мегафон [ oracle , django , python, linux , js, git ] Хобби 1. Python, Django, Linux, Banana pi 2. Кулинария [могу суп сварить ], Фотография, Путешествия 3. Финансы и финансовые рынки
Вопросы презентации 1. 2. 3. 4. 5. 6. 7. Как работают большие базы данных Обработка данных Агрегация Трансформация Диагностика и автоматизация процессов Как устроиться на работу после ВУЗа Что изучать и где брать информацию?
1. Как работают большие базы данных ?
1. 1 Построение инфраструктуры
2. Как обрабатывать данные?
В каком формате хранить данные в своей БД? Пример хранения даты в разных БД: • • • 26. 01. 2014 01 -26 -2014 -01 -26 09: 15: 28 Friday, September 26, 2014
В каком формате хранить данные в своей БД? Дата Ключ period date_id 13. 07. 2014 9: 00 00010 13. 07. 2014 10: 00 00011 13. 07. 2014 11: 00 00012 13. 07. 2014 12: 00 00013 13. 07. 2014 13: 00 00014 13. 07. 2014 14: 00 00015
3. Агрегация данных
Агрегация данных. Агрегация - это укрупнение показателей c помощью объединения их в группу 15 минут Period sessions 11. 11. 2014 7: 15 1 час 1 Period Sessions 11. 2014 7: 00 3 неделя Period sessions 10. 11. 2014 6 15 минут Period sessions 12. 11. 2014 7: 15 1 1 час Period sessions 12. 11. 2014 7: 00 3
4. Трансформация данных
Трансформация данных Трансформация – это преобразование формата данных для необходимых задач. Источник Служебная БД Посчитанная БД cell YJASBWRT 1111 BNEYOVTW 2222 PZEVDEER 3333 AEYNCOEG 4444 GTYMXWPT 5555 cell CELL 1111 ID CELL 2222 ID CELL 3333 ID CELL 4444 ID CELL 5555 ID cell 1111 2222 3333 4444 5555 'CELL' || substr(cell, 9, 4) || 'ID' 'CELL' || substr(cell, 5, 4) || 'ID'
5. Проверка данных на целостность
Проверка данных на целостность Таблица 1 Таблица 2 DATE_ID 253285 253286 253287 253288 253289 253290 253291 253292 253293 253294 DATE_ID 253285 MINUS 253287 253288 253289 253290 253291 253293 253294 Результат DATE_ID 253286 253290
6. Как устроиться на работу после ВУЗа ? Формула успеха = Знания + Опыт + Сертификаты Базы данных : 1. Умение писать запросы 2. Аналитические, агрегирующие функции 3. Индексы, процедуры, функции, тригерры 4. Знать процедурный язык (pl/sql, PL/pg. SQL) Кодинг : 1. Уметь писать небольшие скрипты 2. Парсинг web/файлов любой структуры 3. Знание структур данных 4. Объектно-ориентированное программирование ОС: 1. Linux (базовые операции , bash, подключиться по ssh, ) 2. Windows ( автоматизация рутинных задач )
7. Что изучать и где брать информацию? Формула успеха = Знания + Опыт + Сертификаты Базы данных: Бейли Л. - Изучаем SQL (Бестселлеры O'Reilly), Sql-ex. ru ( сайт с множеством задач на sql ) Курсы: http: //stepic. org (Курсы на русском языке по программированию, алгоритмам, операционным системам и тд. ) http: //www. codecademy. com (Множество курсов по программированию на разных языках)
Спасибо за внимание! e-mail: xammett@gmail. com Skype: xammett Vk: http: //vk. com/xammett
Скачать презентацию Устройство БД в больших компаниях интеграция обработка данных
KPD_presentation_Блинов В..ppt