Принципы построения и работы баз данных Тема 4: Индексирование Принципы построения БД Тема 4 1
Глава 13 Индексирование & Хеширование запись значение Принципы построения БД ? Знач. Тема 4 2
Вопросы • Обычные индексы • Двоичные деревья (B-trees) • Различные схемы хеширования Принципы построения БД Тема 4 3
Последовательный файл 10 20 30 40 50 60 70 80 90 100 Принципы построения БД Тема 4 4
Плотный индекс 10 20 30 40 50 60 70 80 90 100 110 120 Принципы построения БД Последоват. файл Тема 4 5
Разреж. индекс 10 20 10 30 50 70 30 40 90 110 130 150 50 60 70 80 90 100 170 190 210 230 Принципы построения БД Последоват. файл Тема 4 6
Последоват. файл Разреж. индекс 2 уровня 10 90 170 250 330 410 490 570 10 20 10 30 50 70 30 40 90 110 130 150 50 60 70 80 90 100 170 190 210 230 Принципы построения БД Тема 4 7
• • • Комментарий: {Файл, Индекс} могут быть непрерывными или в виде цепочек блоков Вопрос: Можно ли построить плотный 2 уровня индекс для плотного индекса? Замечания: – Указатель на блок (разреженный индекс) может быть меньше, чем указатель на запись Указатель на блок указатель на запись Принципы построения БД Тема 4 8
2. Если файл непрерывный, то указатели можно не хранить (а вычислять) R 1 K 1 R 2 K 3 R 3 Пусть в блоке 1024 байта K 4 R 4 если нужен блок K 3: получить его со смещением (3 -1)1024 = 2048 bytes Принципы построения БД Тема 4 9
Сравнение плотных и разреженных индексов • разреженный: меньше индексного пространства в расчете на 1 запись, можно хранить больше индексной информации в памяти • плотный: может дать информацию, существует ли запись, без обращения к файлу (Позже: – разреженный лучше для вставок – плотный необходим для вторичных индексов) Принципы построения БД Тема 4 10
Терминология • Индексно-последовательный файл • Ключ поиска ( вообще говоря, отличен от первичного ключа ) • Первичный индекс ( по упорядоченному полю ) • Вторичный индекс • Плотный индекс (когда присутствуют все значения ключа) • Разреженный индекс • Многоуровневый индекс Принципы построения БД Тема 4 11
Следующие вопросы: • Повторяющиеся значения ключа • Удаление/вставка • Вторичные индексы Принципы построения БД Тема 4 12
Повторяющиеся значения ключа 10 10 10 20 20 30 30 30 40 45 Принципы построения БД Тема 4 13
Повторяющиеся значения ключа Один из способов использования плотного индекса? 10 10 10 20 20 30 30 30 Принципы построения БД 30 30 40 45 Тема 4 14
Повторяющиеся значения ключа Плотный индекс. Лучший способ, чем предыдущий? 10 10 10 20 30 40 10 20 20 30 30 30 40 45 Принципы построения БД Тема 4 15
Повторяющиеся значения ключа Необходима осторожность при поиске записей с ключом 20 или 30! Разреженный индекс, один способ. Принципы построения БД 10 10 20 30 10 20 20 30 30 30 40 45 Тема 4 16
Повторяющиеся значения ключа Разреженный индекс, другой способ. – индекс содержит первый новый ключ в блоке Должно быть 40? 10 10 10 20 30 30 10 20 20 30 30 30 40 45 Принципы построения БД Тема 4 17
Итоги Повторяющиеся значения ключа, первичный индекс • Индех может указывать только на первое из одинаковых значений Файл Индекс a a a . . b Принципы построения БД Тема 4 18
Удаление из разреженного индекса 10 20 10 30 50 70 30 40 50 60 90 110 130 150 Принципы построения БД 70 80 Тема 4 19
Удаление из разреженного индекса – удалить запись с ключом 40 10 20 10 30 50 70 30 40 50 60 90 110 130 150 Принципы построения БД 70 80 Тема 4 20
Удаление из разреженного индекса – удалить запись с ключом 30 40 10 20 10 30 50 70 30 40 40 50 60 90 110 130 150 Принципы построения БД 70 80 Тема 4 21
Удаление из разреженного индекса – удалить записи с ключами 30 и 40 10 20 10 50 30 70 50 70 30 40 50 60 90 110 130 150 Принципы построения БД 70 80 Тема 4 22
Удаление из плотного индекса 10 20 30 40 50 60 70 80 Принципы построения БД 70 80 Тема 4 23
Удаление из плотного индекса – удалить запись с ключом 30 40 10 20 30 40 40 50 60 70 80 Принципы построения БД 70 80 Тема 4 24
Вставка, случай разреженного индекса 10 20 10 30 40 60 30 40 50 60 Принципы построения БД Тема 4 25
Вставка, случай разреженного индекса – вставить запись с ключом 34 10 20 10 30 40 60 30 34 40 50 • удачный день, свободное. пространство там, где нужно! Принципы построения БД Тема 4 60 26
Вставка, случай разреженного индекса – вставить запись с ключом 15 20 10 20 15 10 30 40 60 30 20 30 40 50 • В примере: Немедленная реорганизация • Другой вариант: – вставить новый блок (в цепочку) – обновить индекс Принципы построения БД Тема 4 60 27
Вставка, случай разреженного индекса – вставить запись с ключом 25 10 30 40 60 10 20 25 Блок переполнения (реорганизовать позже. . . ) 30 40 50 60 Принципы построения БД Тема 4 28
Вставка, случай плотного индекса • Много похожего • Часто более трудоемкая. . . Принципы построения БД Тема 4 29
Вторичные индексы Поле упорядочения 30 50 20 70 80 40 10 90 60 Принципы построения БД Тема 4 30
Вторичные индексы Поле упорядочения Разреженный индекс 30 50 30 20 80 100 20 70 80 40 90. . . Не имеет смысла! Принципы построения БД Тема 4 100 10 90 60 31
Вторичные индексы Поле упорядочения • Плотный индекс 10 50 90. . . 10 20 30 40 30 50 50 60 70. . . 80 40 20 70 10 90 60 Разреж. индекс более высокого порядка Принципы построения БД Тема 4 32
Для вторичного индекса • Самый низкий уровень - плотный • Другие уровни - разряженные Также: Указатели ссылаются на записи (не блоки, не вычисляются) Принципы построения БД Тема 4 33
Повторяющиеся значения ключа и вторичные индексы 20 10 20 40 10 40 30 40 Принципы построения БД Тема 4 34
Повторяющиеся значения ключа и вторичные индексы Одна возможность. . . Проблема: Большие накладные расходы! • дисковое про-во • время поиска Принципы построения БД 20 10 10 20 20 40 20 30 40 40 10 40 30 40 40 40. . . Тема 4 35
Повторяющиеся значения ключа и вторичные индексы Другая возможность. . . Проблема: Переменный размер записей в индексе! Принципы построения БД 10 20 20 40 10 40 30 40 Тема 4 36
Повторяющиеся значения ключа и вторичные индексы 10 20 30 40 20 10 20 40 50 60. . . 10 40 10 Другая идея: Цепочка 40 записей с тем же ключом 30 Проблемы: • Необходимо добавить поле к записи 40 • Необходимо пройти цепочку для получения всех записей Принципы построения БД Тема 4 37
Повторяющиеся значения ключа и вторичные индексы 20 10 10 20 30 40 20 40 10 40 50 60. . . 10 40 30 40 сегменты Принципы построения БД Тема 4 38
Почему полезна идея «сегментов» Пусть таблица служащих (EMP) имеет несколько индексов: первичный и 2 вторичных Индексы Записи Name: первичный EMP (name, dept, floor, . . . ) Dept: вторичный Floor: вторичный Принципы построения БД Тема 4 39
Запрос: Получить список служащих в (Toy Dept) & (2 nd floor) Dept. индекс EMP Toy Floor индекс 2 nd Пересечение сегментов игрушек (toy сегмент) и 2 -го этажа (2 nd сегмент) для получения списка служащих удовлетворяющих обоим критериям выбора Принципы построения БД Тема 4 40
Эта идея широко используется в информационных системах для извлечения текстовой информации Документы cat . . . the cat is fat. . . dog . . . was raining cats and dogs. . . Fido the dog. . . инвертированный список (список записей, имеющих определенное значение вторичного ключа) Принципы построения БД Тема 4 41
IR (information retrieval) запросы • Найти документы со словами “cat” и “dog” • Найти документы со словами “cat” или “dog” • Найти документы со словом“cat”, но без “dog” • Найти документы со словами “cat” в названии • Find articles with “cat” and “dog” within 5 words Принципы построения БД Тема 4 42
Типичный прием: поместить больше информации в инвертированный список п ти cat dog я ци и з по ка ыл с с Название 5 Автор 10 Аннотац. 57 d 1 d 3 d 2 Название 100 Название 12 Принципы построения БД Тема 4 43
Регистрация(Posting): элемент инвертированного списка. Представляет появление термина в документе. Размер списка: (в регистрации) 1 106 Редкое слово или опечатка Общеупотребительное слово Размер элемента регистрации: 10 -15 bits (сжатый) Принципы построения БД Тема 4 44
Предварительные итоги • Обычный индекс – Основные идеи: плотный, разреженный многоуровневый… – Повторяющиеся значения ключа – Удаление/вставка – Вторичные индексы – Сегменты списков регистрации Принципы построения БД Тема 4 45
Обычные индексы Преимущества: - Просты в использовании - Индекс – последовательный файл, удобный для чтения Недостатки: - Вставка записей - трудоемка, и/или - Приводит к потере последовательности записей Другой подход: Другой тип индекса - Отказ от последовательности индекса - Попытка сбалансировать доступ Принципы построения БД Тема 4 46
Пример Индекс (последовательный) непрерывный 10 20 30 33 40 50 60 39 31 35 36 32 38 34 своб. пр-во 70 80 90 Принципы построения БД Область переполнения (не последовательная) Тема 4 47
Пример сбалансированного двоичного дерева (B+Tree) n=3 Принципы построения БД Тема 4 180 200 156 179 120 130 101 110 30 35 3 5 11 30 120 150 180 100 Корень 48
К ключам < 57 Принципы построения БД 95 81 57 Пример промежуточного узла «ветки» дерева (не листа) К ключам 57 k<81 81 k<95 95 Тема 4 49
Пример «лист» -узла: Принципы построения БД Тема 4 95 к следующему листу в последовательности К записи с ключом 95 81 К записи с ключом 57 57 от узла – «не-листа» 50
Обозначения в книге n=3 Лист: 30 35 Не-лист: 30 30 Принципы построения БД Тема 4 51
Размер узлов: n+1 указатель n ключей (фиксиров. ) Не хотим, чтобы узлы были слишком пустыми Использовать, по крайней мере Не-лист: (n+1)/2 указателей Лист: (n+1)/2 указателей на данные Принципы построения БД Тема 4 52
n=3 30 Лист 30 35 Принципы построения БД Тема 4 Считается, даже если NULL Не-лист 120 150 180 Мин. узел 3 5 11 Полный узел 53
Сбалансированное двоичное дерево(B+tree) порядка n (1) Все листья – на одном и том же самом низком уровне (сбалансированное дерево) (2) Указатели в листьях ссылаются на записи, за исключением указателей формирующих «последовательность листьев» Принципы построения БД Тема 4 54
Число указателей/ключей для B+tree 3 -го порядка Max Min ptrs keys ptrs data Min keys Промежут. (не-корень) Лист (не-корень) n+1 n (n+1)/2 - 1 n+1 n (n+1)/2 Корень n+1 n 1 1 Принципы построения БД Тема 4 55
Вставка в B+tree (a) Простой случай – Есть место в «листе» (б) Переполнение «листа» (в) Переполнение промежуточного узла (г) Новый корневой узел Принципы построения БД Тема 4 56
n=3 Принципы построения БД 30 31 32 3 5 11 30 100 (a) Вставить ключ = 32 Тема 4 57
n=3 Принципы построения БД 30 30 31 3 57 11 3 5 7 100 (б) Вставить ключ = 7 Тема 4 58
n=3 Принципы построения БД Тема 4 180 200 180 160 179 150 156 179 120 150 180 160 100 (в) Вставить ключ = 160 59
40 45 40 Тема 4 30 32 40 20 25 10 12 1 2 3 10 20 30 новый корень Принципы построения БД n=3 30 (г) новый корень, вставить 45 60
Удаление из B+tree (a) Простой случай – нет примера (б) Слияние с соседом (в) Перераспределение ключей (г) Случаи (б) или (в) промежуточном узле Принципы построения БД Тема 4 61
(б) Слияние с соседом – Удалить 50 Принципы построения БД 40 50 10 20 30 40 100 n=4 Тема 4 62
(в) Перераспределение ключей n=4 Принципы построения БД 35 40 50 10 20 30 35 10 40 35 100 – Удалить 50 Тема 4 63
(г) Слияние промеж. узлов – Удалить 37 25 Тема 4 40 45 30 37 30 40 25 26 30 20 22 10 14 1 3 10 20 25 40 Новый корень Принципы построения БД n=4 64
Удаление из B+tree на практике – Часто слияние не реализуется – Слишком трудоемко и не стоит затрат! Принципы построения БД Тема 4 65
Сравнение: B+trees со статическим индексно-последовательным файлом Ссылка #1: Held & Stonebraker “B-Trees Re-examined” CACM, Feb. 1978 - Параллельный доступ труднее в B+Tree - B+tree требует больше пространства Для сравнения использованы: блок = 512 байт ключ = указатель = 4 байта 4 записи в блоке Принципы построения БД Тема 4 66
Пример: 1 блок статического индекса k 1 127 ключей k 2 k 3 (127+1)4 = 512 байт -> указатели в индексе - неявные! Принципы построения БД 1 блок данных до 127 блоков Тема 4 67
пример: 1 блок для B+tree k 1 1 блок данных k 2 63 ключа k 2 . . . k 63 k 3 След. 63 x(4+4)+8 = 512 байт -> указатели нужны в B+tree блоках т. к. индекс не явл. непрерывным Принципы построения БД Тема 4 до 63 блоков 68
Сравнение размера Ссылка. #1 Статический индекс Кол-во блоков данных высота 2 -> 127 128 -> 16, 129 16, 130 -> 2, 048, 383 Принципы построения БД 2 3 4 B-tree Кол-во блоков данных высота 2 -> 63 64 -> 3968 3969 -> 250, 047 250, 048 -> 15, 752, 961 Тема 4 2 3 4 5 69
Анализ приведенный в ссылаемой статье #1 утверждает • Для файла из 8, 000 блоков, после 32, 000 вставок после 16, 000 поисков Статический индекс экономит достаточно поисков для реорганизации #1 вывод Принципы построения БД Статический индекс лучше!! Тема 4 70
Ссылка #2: M. Stonebraker, “Retrospective on a database system, ” TODS, June 1980 B-tree лучше!! #2 вывод • Администратор БД не знает, когда нужна реорганизация индекса • Администратор БД не знает, насколько полно загружать страницы нового индекса Принципы построения БД Тема 4 71
Интересная задача: Для B+tree насколько большим должен быть порядок n ? … n – число ключей в узле Простые предположения (1) Время чтения узла с диска - (70+0. 05 n) msec. (2) В памяти для отыскания ключа использется двоичный поиск: (a + b LOG 2 n) msec. Где a, b – некоторые константы (предположим a << 70 ) (3) Предположим также, что B+tree заполнено, т. е. число проверяемых узлов – LOGn. N , где – N число записей Принципы построения БД Тема 4 72
Можно оценить: f(n) = время получения записи f(n) nopt n Найти nopt из уравнения f’(n) = 0 (подробнее в дом. работе) Что будет происходить с nopt по мере того как • Диск становится быстрее? • Процессор становится быстрее? Принципы построения БД Тема 4 73
Вариация B+tree: B-tree (без +) • Основная идея: – Избежание дубликатов ключей – Ссылки на записи из промежуточных узлов K 1 P 1 к записям с ключом K 1 К ключам < K 1 Принципы построения БД K 2 P 2 K 3 P 3 к записям с ключом K 2 К ключам K 1<x<K 2 к записям с ключом К 3 К ключам K 2<x<k 3 Тема 4 К ключам >k 3 74
Пример -tree n=2 Принципы построения БД Тема 4 170 180 150 160 145 165 130 140 110 120 90 100 70 80 50 60 30 40 10 20 25 45 85 105 65 125 • указатели задающие последовательность листьев бесполезны (но место за ними для Простоты сохранено) 75
Замечание по поводу вставки • Предположим, вставляется запись с ключом = 25 10 20 30 лист n=3 10 25 30 – 20 – • После вставки: Принципы построения БД Тема 4 76
Итак, для B-tree: MAX MIN Указ Ключ узел зап. Не-лист Не-кор. Лист Не-кор. Корень Не-лист Корень Лист Принципы построения БД Указ узел Указ зап. Ключ (n+1)/2 -1 n+1 n n 1 n+1 n n 2 1 1 1 n n 1 1 1 Тема 4 (n+1)/2 77
Сравнение: Поиск в B-tree быстрее, чем в B+trees В B-tree, промежуточные узлы и листья имеют разные размеры В B-tree, удаление более сложное B+tree предпочтительнее! Замечание. Если блоки фиксированного размера (из-за ограничений диска или буферизации) то поиск в B+tree на самом деле лучше!! Принципы построения БД Тема 4 78
Пример: - Указатели 4 байта - Ключи 4 байта - Блоки 100 байт (для примера) - Рассмотрим полное 2 -х уровневое дерево B-tree: Корень имеет 8 ключей + 8 указателей на записи + 9 указателей на детей= 8 x 4 + 9 x 4 = 100 bytes Каждый из 9 сыновей: 12 указателей на записи(+12 ключей) = 12 x(4+4) + 4 = 100 bytes 2 -х уров. B-tree, макс. кол-во записей =12 x 9 + 8 = 116 Принципы построения БД Тема 4 79
B+tree: Корень имеет 12 ключей + 13 указателей на детей = 12 x 4 + 13 x 4 = 100 bytes Каждый из 13 сыновей: 12 указателей на записи(+12 ключей) = 12 x(4 +4) + 4 = 100 bytes 2 -х уров. B+tree, макс. кол-во записей =13 х12 = 156 8 записей Более «кустистое» B+ B ooooooo 108 записей 156 записей Принципы построения БД Тема 4 80
Скачать презентацию Принципы построения и работы баз данных Тема 4
64b514b34ebe01808d1363c419a30e62.ppt