Как работать с данными на носителе l Диск

Как работать с данными на носителе? l Диск оперирует терминами l Пластина l Дорожка l Сектор Файловая система Пользователь посредством ОС l оперирует понятием l Файл l Каталог

Файловая система l l l Совокупность всех файлов на диске Наборы структур данных, используемых для управления файлами (например: каталоги файлов, дескрипторы файлов, таблицы распределения свободного и занятого пространства на диске, Комплекс системных программных средств, реализующих управление файлами, в частности: создание, уничтожение, чтение, запись, именование, поиск и другие операции над файлами.

Задачи файловой системы l l l именование файлов; программный интерфейс работы с файлами для приложений; отображения логической модели файловой системы на физическую организацию хранилища данных; организация устойчивости файловой системы к сбоям питания, ошибкам аппаратных и программных средств; содержание параметров файла, необходимых для правильного его взаимодействия с другими объектами системы (ядро, приложения и пр. )

Файл и его атрибуты l l l l l Файл. расширение информация о разрешенном доступе, пароль для доступа к файлу, владелец файла, создатель файла, признак "только для чтения", признак "скрытый файл", признак "системный файл", признак "архивный файл", признак "двоичный/символьный", l l l l признак "временный" (удалить после завершения процесса), признак блокировки, длина записи, указатель на ключевое поле в записи, длина ключа, времена создания, последнего доступа и последнего изменения, текущий размер файла, максимальный размер файла.

Как записать на диск информацию о файле? R — только для чтения, А — архивный, Н — скрытый, S — системный. Атрибуты каждого файла указаны в таблице отдельной таблице Удобно, если файл находится в нескольких каталогах

Низкоуровневое форматирование l Процесс нанесения информации о позиции треков и секторов Не зависит от типа операционной системы l Единица данных – сектор l

Сектора диска l Таблица плохих секторов

Высокоуровневое форматирование Процесс записи структуры файловой системы на диск, которая позволяет использовать диск в операционной системе для хранения программ и данных. l Кластер l

Высокоуровневое форматирование l l Определяется размер кластера Записывается информация, о доступном и неиспользуемом пространстве, о границах областей, отведенных под файлы и каталоги, информация о поврежденных областях. Записывается загрузчик операционной системы — небольшая программа, которая начинает процесс инициализации операционной системы после включения питания или рестарта компьютера. Прежде чем форматировать диск под определенную файловую систему, он может быть разбит на разделы.

Структура размещения данных на диске Данные l Инженерная Физическая область l l l пользователя Отступ Служебная Рабочая Остаток Резерв область l l область Логическая область Служебная область: ► Boot Record ►Копии таблиц FAT ►Root - корневая директория. отводился место с небольшим запасом. доступ пользователю стандартными средствами закрыт. l l Не доступна через внешний интерфейс и стандартным средствам ~10% объема диска, где хранятся резервные сектора для замены дефектных секторов, поврежденных в процессе эксплуатации диска. операционной системы недоступна.

Первый сектор диска содержит l Master Boot Record: Содержит l l загрузочную запись - Boot Record (BR) таблицу Partition Table: четыре 16 -байтных блока, каждый из которых описывает один раздел.

Структура Master Boot Record l Поля таблицы разделов l Таблица разделов указывает на первые сектора каждого из разделов

Файловая система l l l Таблица разделов указывает на первые сектора каждого раздела. Для размещения файлов в разделе раздел следует отформатировать, то есть создать внутри файловую систему. Основная запись файловой системы обычно начинается в первом секторе раздела. Структура записей файловой системы зависит от ее типа. Наиболее используемые файловые системы - NTFS и FAT. http: //education. aspu. ru/view. php? olif=gl 7

Файловая система оптических дисков CDFS l UDF (Universal Disk Format) – UDF ( универсальный дисковый формат l l Дозапись данных на диск l Выборочное стирание файлов на перезаписываемых носителях l Нет ограничений на объем файла l Не использовать постоянно одно и то же физическое пространство

FAT (File Allocation Table) диск: l Каждый элемент таблицы FAT (12, 16 или 32 бит) соответствует одному кластеру диска : l l Свободен (содержит нулевое значение) занят (элемент FAT содержит номер следующего кластера файла) является сбойным кластером (bad cluster отмечается числом FF 7 или FFF 7) последний кластер файла отмечается числом в диапазоне FF 8 - FFF (FFF 8 - FFFF);

FAT (File Allocation Table) D: (кластеры ) l l 0000 (свободен) номер следующего кластера файла (занят) FFF 7 (сбойной кластер) FFF 8 - FFFF (последний кластер файла)

Корневой каталог l l l Описывает файлы и каталоги. Каждый логический диск имеет свой корневой каталог (ROOT, англ. - корень). Элементом каталога является дескриптор (описатель) файла: 2 8 16 24 32 256 65 536 16 777 216 4 294 967 296 =256 байт =65 килобайт =16 Мбайт = 4 Гбайт

FAT: работа Загрузочный сектор (512 байт) FAT 1 l Пользователь запускает файл на выполнение. FAT 2 (копия) l Операционная система ищет файл с нужным именем, просматривая описания файлов в текущем каталоге. l В дескрипторе указан номер первого кластера Дескриптор (32 бита) … Root directory (корневой каталог) Область данных (кластеры)

FAT: порядок работы l l Операционная система считывает номер первого кластера данного файла, а затем по таблице FAT определяет остальные номера кластеров. Данные из этих кластеров считываются в оперативную память. file 1 file 2 17 32 Root directory (корневой каталог) 16 24 19 FF 20 22 32 18 FAT FF

Запись файла. Плохой кластер ! !

Что происходит, когда…?

Недостатки и ограничения FAT 32 l l l 2 Максимальный объем диска не более 8 терабайт. В разделе FAT 32 максимальный размер файла 4 ГБ. Причина – дескриптор файла в каталоге: 8 256 16 65 536 24 16 777 216 32 4 294 967 296 кластер адрес =256 байт 65 536 512 33 554 432 =65 килобайт 1 024 67 108 864 =16 Мбайт 2 048 134 217 728 = 4 Гбайт 4 096 268 435 456 8 192 536 870 912 16 384 1 073 741 824 =1 Тбайт =2 Тбайт 32 768 2 147 483 648 а

NTFS Том – отформатированный раздел l Большинство файловых систем: том – совокупность файлов, свободного дискового пространства и служебных структур ФС l NTFS: все служебные структуры представлены ФАЙЛАМИ l

Файловая система NTFS l l Каждый элемент NTFS -файл Главный файл NTFS – MFT (Master File Table - общая таблица файлов); MFT-файл размещается в MFT зоне; представляет собой централизованный каталог всех остальных файлов диска, и себя самого. MFT поделен на записи фиксированного размера (обычно 1 Кбайт), и каждая запись соответствует какому либо файлу (в общем смысле этого слова).

MTF зона l l l Первые 16 файлов носят служебный характер и недоступны операционной системе – метафайлы Первый метафайл - сам MFT. Первые 16 элементов MFT - единственная часть диска, имеющая фиксированное положение. Остальная часть MFT-файла может располагаться в произвольных местах диска.

Метафайлы

Представление файлов NTFS l Большинство файловых систем : l l l NTFS: файл – совокупность атрибутов (данные – это тоже атрибут, иногда их называют потоками) l l Файл – именованная запись на диске Имеет атрибуты Резидентные (запись в MTF) Не резидентные (хранят в MTF только заголовок) Файл (минимум) имеет запись в MFT. Если для информации не хватает одной записи MFT, то используются несколько, причем не обязательно подряд.

Запись в MTF о файле SI (стандартная информация) FN (имя файла) Data (Данные) SD (дескриптор безопасности) Записи MTF l l l Время создания Время модификации Время последнего доступа Права доступа … l l l Полное имя файла Альтернативное имя файла Ссылка на местонахождение в материнском каталоге

Размещение небольшого файла NTFS l l Файл может иметь переменное количество атрибутов – размер определить сложно Однако обычно файлы размером менее 1500 байт помещаются внутри записи MFT (размером 2 Кбайт).

Размещение большого файла NTFS l l Data содержит признак нерезидентности Атрибут Data содержит список отрезков (адресную информацию (LCN, VCN, k) каждого отрезка данных)

Отрезки; VCN; LCN l l Отрезок - базовая единица распределения дискового пространства для файловой системы NTFS — непрерывная область кластеров. В качестве адреса отрезка NTFS использует логический номер его первого кластера, а также количество кластеров в отрезке k, то есть пара (LCN, k). l l Logical Cluster Number, LCN - Порядковый номер кластера в томе NTFS. Virtual Cluster Number, VCN - Порядковый номер кластера внутри файла

Размещение очень большого файла NTFS l Атрибут данных, хранящий адреса нерезидентных отрезков данных, не помещается в одной записи, то этот атрибут помещается в другую запись MFT.

Размещение сверхбольшого файла NTFS l В Attribute List можно указать несколько атрибутов, расположенных в дополнительных записях MFT. Кроме того, можно использовать двойную косвенную адресацию, когда нерезидентный атрибут будет ссылаться на другие нерезидентные атрибуты, поэтому в NTFS не может быть атрибутов слишком большой для системы длины

Запись файла с учетом плохих секторов Список плохих секторов Пользовательский файл Переназначение плохих секторов

Файловые операции creat (создать файл), l read (читать из файла), l write (записать в файл) l . l Матрица прав доступа

Представление каталогов NTFS l l Каждый каталог NTFS представляет собой один вход в таблицу MFT, который содержит атрибут Index Root. Индекс содержит список файлов, входящих в каталог.

Представление большого каталога NTFS l l l Может потребовать нерезидентной формы хранения. Начальная часть списка остается резидентной Остальные части списка файлов размещаются вне MFT

Особые возможности и проблемы файловых систем Фрагментация l Журналирование l Квотирование l Управление доступом l Сжатие данных l Шифрование l Hard Link l Symbolic Links l

Разрешения файла NTFS

Виртуальная память Процессор Оперативная память Внешние запоминающие устройства l Виртуальная память представляет собой совокупность всех ячеек памяти оперативной и внешней, имеющих сквозную нумерацию от нуля до предельного значения адреса

Страничная организация виртуальной памяти l l l Виртуальная память разбивается на страницы, содержащие фиксированное количество ячеек памяти. Все страницы одинаковы Передача информации между памятью и диском осуществляется целыми страницами. Страницы, в отличие от сегментов, имеют фиксированную длину, обычно являющуюся степенью числа 2, и не могут перекрываться. Размеры страниц ~ 256, 512, 1024, 2048

Связь логического и физического адресов

Страничная организация виртуальной памяти l l Большой объем адресуемой памяти Время доступа к странице

Сегментная организация памяти l l Различные сегменты могут иметь различные длины, которые могут меняться динамически (сегмент стека) Адрес также является двумерным и состоит из двух полей - номера сегмента и смещения внутри сегмента. С точки зрения ОС сегменты являются логическими сущностями и их главное назначение хранение и защита однородной информации (кода, данных и т. д. ). Сегменты содержат процедуры, массивы, стек или скалярные величины, но обычно не содержат информацию смешанного типа.

Сегментная организация памяти l процессор на аппаратном уровне определяет допустимость обращений к памяти, упрощая реализацию защиты информации от повреждения и несанкционированного доступа

Сегментно-Страничная организация памяти l позволяет совместно использовать одни и те же сегменты данных и программного кода в виртуальной памяти разных задач

Сегментно-Страничная организация памяти

Стратегии управления страничной памятью l l l Стратегия выборки - в какой момент следует переписать страницу из вторичной памяти в первичную. Бывает по запросу (когда процесс обращается к не присутствующей странице) и с упреждением (загружается несколько страниц, окружающих ее). Стратегия размещения - определить в какое место первичной памяти поместить поступающую страницу. Для страничной организации – в свободное место. Для сегментной - вопрос Стратегия замещения - какую страницу нужно вытолкнуть во внешнюю память, чтобы освободить место.