Информатика Доцент кафедры Ви ИТ ИМ СФУ Дарья

Информатика Доцент кафедры Ви. ИТ ИМ СФУ Дарья Владиславовна Семёнова dariasdv@aport 2000. ru

Информатика Лекция 2 Информация, ее виды и свойства Информатика — наука о способах получения, накоплении, хранении, преобразовании, передаче и использовании информации. 2/87

Информатика Лекция 2 Классификация информации Информация отношению к по источнику отношению к или конечному приемнику результату по ее изменчивости по стадии ее использования по ее полноте по доступу к ней входная исходная Постоянная первичная Избыточная открытая выходная промежу точная Переменная вторична я Достаточная закрытая внутренняя Результи рующая Смешанная Недостаточная 3/87

Информатика Лекция 2 Формы представления информации ØСообщение - информация, фиксированная в определенной форме. ØСигнал можно характеризовать как средство перенесения информации в пространстве и времени. ØКодирование - построение сигнала по определенным правилам. 4/87

Информатика Лекция 2 Информационный элемент Первичным и неделимым элементом информации следует считать двоичное событие: Øутверждение или отрицание, Øналичие или отсутствие, Øединица или нуль, Øимпульс или пауза. Событие не имеет геометрических измерений и представляется точкой ДА НЕТ 5/87

Информатика Лекция 2 Величина Множество событий, упорядоченное в одном измерении, называется величиной. q. Дискретная величина принимает счетное множество значений. q. Непрерывная величина принимает бесконечное множество значений. Геометрически величина представляется линией. X X – шаг квантования 6/87

Информатика Лекция 2 Функция Если существует соответствие между qвеличиной X и другой величиной U, или qмежду величиной X и пространством N, или qвеличиной X и временем T, то говорят о функции X(U), X(N), X(T) соответственно. Геометрическая функция может быть представлена как поле событий. Различают функции с непрерывным и дискретным аргументом. 7/87

Информатика Лекция 2 Функция X X T T 8/87

Информатика Лекция 2 Комплекс информации X(T, N) представляет собой соответствие между величиной, с одной стороны, и временем и пространством - с другой. Элементами информационного комплекса являются кванты - неделимые части информации Геометрически комплекс информации представляется трехмерным полем событий. 9/87

Информатика Лекция 2 Комплекс информации X(T, N) X T N X N T 10/87

Информатика Лекция 2 Модели информации Информация описывается моделями с различной мерностью: Øсобытие представляет собой нульмерную информацию; Øвеличина - одномерную информацию; Øфункция – двухмерную информацию; Øкомплекс – трехмерную информацию. 11/87

Информатика Лекция 2 структурные Синтаксические геометрические комбинаторные Статистические (вероятностные) Аддитивные (мера Хартли) Мера Шеннона Алгоритмические Информаци онные меры целесообразность Прагматические релевантность Ценность Толерантность адекватность Семантические Содержательность логическое количество полезность 12/87

Информатика Лекция 2 Информационные меры: синтаксические Структурный подход При использовании структурных мер информации учитывается только дискретное строение сообщения, количество содержащихся в нем информационных элементов, связей между ними. Структурные информационные меры (объемный подход) геометрические комбинаторные Аддитивные (мера Хартли) 13/87

Информатика Лекция 2 Информационные меры: синтаксические Структурный подход: геометрическая мера. Геометрическая мера предполагает измерение параметра геометрической модели информационного сообщения (длины, площади, объема и т. п) в дискретных единицах (в количестве квантов). 14/87

Информатика Лекция 2 Информационные меры: синтаксические Структурный подход: геометрическая мера. Сообщение S=S(X, N, T). Единица измерения – метрон (мера точности измеряемого параметра). Один метрон = объему элементарной ячейки v= ΔX*ΔN*ΔT количество метронов, обусловленное точностью измерения координат X, N, T; X, N, T - интервалы, через которые осуществляются дискретные отсчеты. 15/87

Информатика Лекция 2 Комплекс информации X(T, N) X T N X N T 16/87

Информатика Лекция 2 Информационные меры: синтаксические Структурный подход: геометрическая мера. Информационная емкость есть число, указывающее количество метронов в полном массиве информации (количество метронов в сообщении S) Максимально возможное число метронов в заданных структурных габаритах определяет информационную емкость системы. 17/87

Информатика Лекция 2 Информационные меры: синтаксические Структурный подход: геометрическая мера. Сообщение 555555444443333 Информационный элемент – 1 символ сообщения. Объем сообщения (количество метронов): Mисх=15. Кодирование повторений 5(6)4(5)3(4). Mкод=12. Эффект кодирования Mисх –Mкод=3 M(компьютеризация)= M(555555444443333) 18/87

Информатика Лекция 2 Информационные меры: синтаксические Комбинаторная мера оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объеме. Комбинаторика – раздел дискретной математики, посвященный решению задач выбора и расположения элементов некоторого множества в соответствии с заданными правилами. В комбинаторной мере количество информации определяется как число комбинаций элементов (символов). 19/87

Информатика Лекция 2 Информационные меры: синтаксические q. Перестановками называют комбинации, которые отличаются друг от друга расположением элементов. Количество перестановок элементов без повторений. из n Количество перестановок элементов с повторениями. k 1 + k 2 +. . +kr. = n. из n 20/87

Информатика Лекция 2 Информационные меры: синтаксические q. Сочетаниями называют комбинации, составленные из n различных элементов по m элементов Сочетания - группы по k элементов, образуемые из n разных элементов, различающиеся между собой самими элементами. Количество сочетаний из n разных элементов по k элементов с повторениями, в которые элементы могут входить многократно (до m раз) 21/87

Информатика Лекция 2 Информационные меры: синтаксические q. Размещения - группы по k элементов, образуемые из n разных элементов, различающиеся между собой либо самими элементами, либо порядком их следования. Количество размещений из n разных элементов по k элементов без повторений. Количество размещений из n разных элементов по k элементов с повторениями. 22/87

Информатика Лекция 2 Информационные меры: синтаксические Единицей измерения информации в комбинаторной мере является число комбинаций информационных элементов. Определение количества информации в комбинаторной мере определение количества возможных или существующих комбинаций, т. е. оценка структурного разнообразия информационного устройства. 23/87

Информатика Лекция 2 Информационные меры: синтаксические Алфавит A={0, 1, 2, 3, 4, 5, 6, 7, 8, 9}. Составим три структуры 1) путем сочетаний из 10 элементов по 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 элементов 24/87

Информатика Лекция 2 Информационные меры: синтаксические Алфавит A={0, 1, 2, 3, 4, 5, 6, 7, 8, 9}. Составим три структуры 2. путем перестановок 3. путем размещений по десяти различным позициям Когда нельзя реализовать полученные комбинации, подсчет ведется по реализуемым комбинациям. 25/87

Информатика Лекция 2 Информационные меры: синтаксические Алфавит A - множество элементов-букв (символов). Мощность алфавита |A| = n. Дискретное сообщение - слово, состоящее из некоторого количества элементов m, заданных алфавитом A. Число возможных сообщений длиной m, которые можно образовать из данного алфавита : L= nm, где L - число сообщений; m - число элементов в слове; n - мощность алфавита. 26/87

Информатика Лекция 2 Информационные меры: синтаксические Пример. Алфавит A={0, 1}, |A|=n=2. Количество сообщений длиной (объемом) 8 символов; Количество сообщений длиной (объемом) 16 символов; 27/87

Информатика Лекция 2 Информационные меры: синтаксические Пример. Алфавит A={0, 1, 2, 3, 4, 5, 6, 7, 8, 9}. 1. Двузначных чисел (m=2) 2. Трехзначных чисел (m=5) Чем больше L, тем сильнее может отличаться каждое сообщение от остальных. Величина L может быть принята в качестве меры количества информации. 28/87

Информатика Лекция 2 Информационные меры: синтаксические Комбинаторная мера является развитием геометрической меры, так как помимо длины сообщения учитывает объем исходного алфавита и правила, по которым из его символов строятся сообщения. Особенностью комбинаторной меры является то, что ею измеряется информация не конкретного сообщения, а всего множества сообщений, которые могут быть получены. 29/87

Информатика Лекция 2 Информационные меры: синтаксические Комбинаторная мера. Зависимость количества информации L от длины сообщения нелинейна, т. к. число размещений из n элементов по m является степенью. . При L =1 информация равна нулю, поскольку заранее известен характер сообщения (т. е. сообщение есть, а информация равна нулю); 30/87

Информатика Лекция 2 Информационные меры: синтаксические Комбинаторная мера. Не выполняется условие линейного сложения количества информации, т. е. условие аддитивности Если, например, первый источник характеризуется L 1 различными сообщениями, а второй – L 2, то общее число различных сообщений для двух источников определяется произведением L=L 1 L 2 Для k источников общее число возможных различных сообщений равно L=L 1 L 2 … Lk 31/87

Информатика Лекция 2 Информационные меры: синтаксические Мера Хартли(аддитивная мера) Ральф Винтон Лайон Хартли (англ. Ralph Vinton Lyon Hartley, родился 30 ноября 1888 в Ели, штате Невада, умер 1 мая 1970). Американский учёный-электронщик. Он предложил генератор Хартли, преобразование Хартли и сделал вклад в теорию информации, введя в 1928 логарифмическую меру информации, которая называется информации. хартлиевским количеством 32/87

Информатика Лекция 2 Информационные меры: синтаксические Мера Хартли(аддитивная мера) I = m log n, где I – количество информации, содержащейся в сообщении; m – длина сообщения; n – мощность исходного алфавита. Пример. Пусть нужно угадать одно число из набора чисел от 1 до 100. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log 2100 = 6, 644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6, 644 единицы информации. 33/87

Информатика Лекция 2 Информационные меры: синтаксические Мера Хартли(аддитивная мера) - логарифм числа возможных размещений из n элементов по m I = loga nm =m loga n, где I – количество информации, содержащейся в сообщении; m – длина сообщения; n – мощность исходного алфавита. Основание логарифма Единицы измерения информации a=2 бит a=e 2, 71828 нит a=10 дит 34/87

Информатика Лекция 2 Информационные меры: синтаксические Мера Хартли(аддитивная мера) I = m loga n, ØЛинейная зависимость информативности от длины сообщения. ØВсегда положительна. ØАддитивность I=loga(L 1*L 2*…*LK)=loga(L 1)+loga(L 2)+…+loga(Lk)=I 1+I 2+…+IK 35/87

Информатика Лекция 2 Информационные меры: синтаксические Сообщение записано с помощью алфавита, содержащего 8 символов. Какое количество информации несет одна буква этого алфавита? Решение: I = log 28 = 3 бита. Ответ: 3 бита. Сообщение, записанное буквами из 128 -символьного алфавита, содержит 30 символов. Какой объем информации оно несет? Дано: n = 128, m=30. Решение: по формуле Хартли I = m log n = 30* log 2128= 210 бит Заметим, что: 1) I = log 2 n = log 2128 = 7 бит - объем одного символа; 2) V = 30*7 = 210 бит - объем всего сообщения. Ответ: 210 бит объем всего сообщения. 36/87

Информатика Лекция 2 Информация, ее виды и свойства «…Информация снятая неопределенность наших знаний о чем-то…» «Избранные труды по теории информации» Клод Э лвуд Ше ннон (англ. Claude Elwood Shannon; 30 апреля 1856, Петоцки, Мичиган — 24 февраля 2001, Медфорд, Массачусетс) — американский инженер и математик, его работы являются синтезом математических идей с конкретным анализом чрезвычайно сложных проблем их технической реализации. 37/87

Информатика Лекция 2 Информационные меры: синтаксические Статистическая мера информации. Количество информации – мера уменьшения неопределенности. Получение информации (ее увеличение) одновременно означает увеличения знания, что, в свою очередь означает уменьшение незнания или информационной неопределенности. 38/87

Информатика Лекция 2 Информационные меры: синтаксические Первичным и неделимым элементом информации следует считать двоичное событие: Øутверждение или отрицание, Øналичие или отсутствие, Øединица или нуль, Øимпульс или пауза. За единицу количества информации было предложено принять «количество информации, передаваемое при одном выборе между равновероятными альтернативами» . Эта наименьшая единица информации называется бит. 39/87

Информатика Лекция 2 Информационные меры: синтаксические Возможные события Произошедшее событие Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации. 40/87

Информатика Лекция 2 Информационные меры: синтаксические «bit» (сокращение от binary digit) «software» (программное обеспечение) Джон Уа йлдер Тью ки (англ. John Wilder Tukey, 16 июня 1855 года, Нью-Бедфорд — 26 июля 2000 года, Нью-Брансуик (Нью-Джерси)) — американский математик. 41/87

Информатика Лекция 2 Информационные меры: синтаксические Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений. Это количество информации, при котором неопределенность, т. е. количество вариантов выбора, уменьшается вдвое или, другими словами, это ответ на вопрос, требующий односложного разрешения — да или нет. Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации. 42/87

Информатика Лекция 2 Информационные меры: синтаксические Вероятность (вероятностная мера) — численная мера возможности наступления некоторого события. Вероятность события – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов. q 43/87

Информатика Лекция 2 Информационные меры: синтаксические Полная система событий: одно из N событий обязательно произойдет (и только одно!). x 1 p 1 x 2 p 2 x 3 p 3 … … x. N pi – вероятность выбора i-ого варианта (i=1, …, N) 44/87

Информатика Лекция 2 Информационные меры: синтаксические Вычисление вероятности Задача. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Какова вероятность поймать карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: Решение: караси число «нужных» событий общее число событий ? Как иначе посчитать p 3? пескари окуни 45/87

Информатика Лекция 2 Информационные меры: синтаксические Полная система РАВНОВЕРОЯТНЫХ событий x 1 1/N x 2 1/N x 3 1/N … … x. N 1/N 46/87

Информатика Лекция 2 Информационные меры: синтаксические Равновероятные события Если мы подбрасываем монету, то получим сообщение из двух возможных состояний (орел или решка), то есть, алфавит сообщений из двух букв N=1. Количество информации: I = m log 2 N=1 log 22=1 47/87

Информатика Лекция 2 Информационные меры: синтаксические При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события. Алфавит состоит из 4 символов N=4. Количество информации: I = m log 2 N=1 log 24=2 При бросании шестигранного игрального кубика существует 6 равновероятных событий. Алфавит состоит из 6 символов N=6 Количество информации: I = m log 2 N=1 log 26=log 26 48/87

Информатика Лекция 2 Информационные меры: синтаксические Количество I информации, содержащееся в сообщении о том, что произошло одно из N равновероятностных событий, определяется из решения показательного уравнения 2 I = N I=log 2 N Для уменьшения неопределенности ситуации в 2 n раз необходимо n бит информации. 49/87

Информатика Лекция 2 Информационные меры: синтаксические ØЕсли известно количество информации I, то количество возможных событий N легко определить. Например, если I = 5, то N = 2 I = 32. ØЕсли известно количество возможных событий N, то для определения количества информации нужно решить показательное уравнение относительно I. Например, в соревнованиях участвуют 4 команды. Сообщение о том, что победила 3 команда уменьшает первоначальную неопределенность в 4 раза, (4=22) и несет 2 бита информации. Или имеется 4 равновероятных исхода N=4, N = 2 I =4=22 , то I = 2. 50/87

Информатика Лекция 2 Информационные меры: синтаксические Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок. Дано: N = 128 i-? Решение: 2 i = N 2 i = 128 27 = 128 i = 7 бит Ответ: i = 7 бит 51/87

Информатика Лекция 2 Метод двоичного поиска Вопрос второго Кол-во возможных Ответ событий первого (неопределенность знаний) Полученное количество Информации 32 Число больше 16? Да 16 1 бит Число больше 24? Да 8 1 бит Число больше 28? Да 4 1 бит Число больше 30? Нет 2 1 бит Число 30? Да 1 1 бит Для того чтобы угадать число из интервала от 1 до 32 потребовалось 5 вопросов. Количество информации, необходимое для определения одного из 32 чисел, составило 5 бит. 52/87

Информатика Лекция 2 Информационные меры: синтаксические Количество вариантов 2 4 8 16 Количество бит информации 1 2 3 4 32 64 5 6 128 256 512 1024 7 8 9 10 6 вариантов – между 4 (2 бита) и 8 (3 бита) Ответ: количество информации между 2 и 3 битами 53/87

Информатика Лекция 2 Информационные меры: синтаксические Как посчитать информацию, если варианты не равновероятны? Номер сообщения 1 2 … N 0 pk 1 Клод Шеннон p 1 p 2 … p. N Тогда в соответствии с идеей Шеннона, количество информации I в сообщении k определяется по формуле: I = -log 2 pk, где pk – вероятность k-го сообщения (исхода). 54/87

Информатика Лекция 2 Информационные меры: синтаксические Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: Решение: бита карась бита пескарь окунь бит 55/87

Информатика Лекция 2 Информационные меры: синтаксические Помимо информационной оценки одного сообщения, Шеннон предложил количественную информационную оценку всех сообщений, которые можно получить по результатам проведения некоторого опыта. Так, среднее количество информации Iср, получаемой со всеми N сообщениями, определяется по формуле: где pk– вероятность k-го сообщения. 56/87

Информатика Лекция 2 Информационные меры: синтаксические Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Определить среднее количество информации о том, что рыбак поймал рыбу? Формула: Решение: бита карась бита пескарь бит окунь бит 57/87

Информатика Лекция 2 Информационные меры: синтаксические В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика 10 + 20 + 30 + 40 = 100 - шариков всего pб = 10/100; pк = 20/100; pз =30/100; pс = 40/100; pб = 0, 1; pк = 0, 2; pз = 0, 3; pс = 0, 4 События неравновероятны, поэтому для определения количества информации, содержащегося в сообщении о цвете шарика, воспользуемся формулой Шеннона: I = -(0, 1·log 20, 1+ 0, 2·log 20, 2 + 0, 3·log 20, 3 + 0, 4·log 20, 4) бит = 1, 85 бит. 58/87

Информатика Лекция 2 Информационные меры: синтаксические Пусть у опыта два равновероятных исхода, составляющих полную группу событий, т. е. p 1 = p 2 = 0, 5. Тогда имеем в соответствии с формулой для расчета I ср: I ср = -(0, 5*log 20, 5 + 0, 5*log 20, 5) = 1. Эта формула есть аналитическое определение бита по Шеннону: это среднее количество информации, которое содержится в двух равновероятных исходах некоторого опыта, составляющих полную группу событий. 59/87

Информатика Лекция 2 Информационные меры: синтаксические Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона: 60/87

Информатика Лекция 2 Информационные меры: синтаксические незнание получение информации незнание Неопределенность – недостаток знаний (незнание). n при получении информации знания увеличиваются, неопределенность уменьшается n чем больше получено информации, тем больше уменьшается неопределенность n информация – мера уменьшения неопределенности ? Как измерить неопределенность? 61/87

Информатика Лекция 2 Информационные меры: синтаксические Неопределенность (энтропия системы) Информационная энтропия — мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче. Информация = снятая неопределенность! 62/87

Информатика Лекция 2 Информационные меры: синтаксические q. Если в результате опыта или некоторого события снимается полностью неопределенность, то говорят, что получено количество информации равное энтропии. q. Если же энтропия лишь уменьшилась, то в этом случае количество полученной информации равно разности энтропии до опыта и энтропии после опыта. q. Если после опыта получено количество информации, превышающей величину энтропии, то это говорит об избыточности информации. 63/87

Информатика Лекция 2 Информационные меры: синтаксические Система двух событий: I p 2= 1 – p 1 1 0, 5 0 0, 5 1 Средняя информация (неопределенность) максимальна, когда все события равновероятны. 64/87

Информатика Лекция 2 Информационные меры: синтаксические Энтропия обладает следующими свойствами: 1. H 0 2. H =0 1 k N: pk=1 и i k pi 0, 3. Энтропия имеет наибольшее значение, когда все вероятности равны между собой: р1 = р2 =. . . = р. N = 1/N. При этом H = log 2 N. 4. Энтропия объекта АВ, состояния которого образуются совместной реализацией состояний А и В, равна сумме энтропии исходных объектов А и В, т. е. Н(АВ) = Н(А) + Н(В). 65/87

Информатика Лекция 2 Информационные меры: синтаксические Определить количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 34 символов: 33 буквы и знак "пробел" для разделения слов. По формуле Хартли определим количество информации приходящееся на каждый символ: I = log 234 = 5 бит q Количество информации, которое несет один знак алфавита тем Однако, в словах русского языка (равно как и в других языках) различные больше, чем больше знаков входят в этот алфавит, т. е. чем буквы встречаются неодинаково часто. Используя таблицу вероятностей больше мощность алфавита. частоты употребления различных знаков русского алфавита (полученной на q Количество информации, содержащейся в сообщении, основе анализа очень больших текстов), по формуле Шеннона получаем: закодированном с помощью знаковой системы, равно количеству I = 4, 72 бит информации, которое несет один знак, умноженному на число Число 5 бит является максимальным количеством информации, которое могло знаков в сообщении. бы приходится на один знак. 66/87

Информатика Лекция 2 Информационные меры: синтаксические Вася Пупкин получил сдал сессию со следующими оценками: 45535 Сколько информации получили в этом сообщении родители? Алфавитный подход: n возможны 4 разные оценки: 2, 3, 4 и 5 (мощность алфавита 4) n каждая оценка несет 2 бита информации (основание log равно 2) Ответ: 5· 2 бит = 10 бит ! Содержание информации не учитывается! 67/87

Информатика Лекция 2 Информационные меры: синтаксические Вероятностный подход: n задаем вероятности получения всех оценок n информация при получении 5, 4 и 3: бит бит Ответ: информации в сообщении 4 5 5 3 5 бит < 10 бит 68

Информатика Лекция 2 Алгоритмическое измерение количества информации Идея алгоритмического измерения количества информации, выдвинутая в 1965 г. А. Н. Колмогоровым. Андре й Никола евич Колмого ров (урождённый Катаев, 12 (25) апреля 1903, Тамбов — 20 октября 1987, Москва) — советский математик, один из крупнейших математиков ХХ века. 69/105

Информатика Лекция 2 Алгоритмическое измерение количества информации Ø Количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой (множество). Ø Чем больше различаются два объекта между собой, тем сложнее (длиннее) программа перехода от одного объекта к другому. Ø Длина программы при этом измеряется количеством команд. Ø Этот подход (в отличие от подхода Шеннона), не базирующийся на понятии вероятности, позволяет, например, определить прирост количества информации, содержащейся в результатах расчета, по сравнению с исходными данными. Вероятностная теория информации на этот вопрос не может дать удовлетворительного ответа. 70/105

Информатика Лекция 2 Семантический подход к измерению информации Семантический аспект – характеристика информации с точки зрения ее смысла, содержания. Приведем два возможных способа семантической оценки информации: 1. Оценивается количество ссылок на информацию в различных источниках: документах, файлах, Интернете. 2. Вводится понятие элементарной семантической единицы, под которой понимается некоторая законченная мысль. Показатель информации в этом случае – количество таких единиц, в полученном сообщении 71/105

Информатика Лекция 2 Семантический подход к измерению информации Истинность информации(логическое количество) Эта мера оценивает информацию с позиций ее соответствия отображаемому источнику информации, т. е. реальному миру. Пусть r(mess) – функция, оценивающая истинность сообщения mess как соответствие его реальному положению вещей: 0 ≤ r(mess) ≤ 1, причем üпри r(mess) = 1 сообщение истинно, üа при r(mess) = 0 сообщение ложно. Например, r( «данная лекция посвящена информатике» ) = 1, r( «данная лекция длится 5 минут» ) = 0. 72/105

Информатика Лекция 2 Семантический подход к измерению информации Истинность информации(логическое количество) Оценить истинность сложного сообщения можно, разбив его на простые. Например, сообщение mess: «данная лекция посвящена информатике и длится 5 минут» можно представить как два простых сообщения mess 1 и mess 2: mess 1 - «данная лекция посвящена информатике » , mess 2 - «данная лекция длится 5 минут» . Тогда можно предложить рассчитывать истинность сложного сообщения как среднее арифметическое значение истинностей сообщений, его составляющих (что называют - «истинно лишь наполовину» ). В таком случае имеем: r(mess) = Ѕ (r(mess 1) + r(mess 2)) = Ѕ (1 + 0) = 0, 5. 73/105

Информатика Лекция 2 Семантический подход к измерению информации Полезность информации (тезаурус) Для измерения смыслового содержания информации, т. е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя. Тезаурус - это совокупность сведений, которыми располагает Тезаурус пользователь или система. 74/105

Информатика Лекция 2 Семантический подход к измерению информации Шре йдер Ю лий Анато льевич (28 октября 1927, Днепропетровск — 24 августа 1998) — математик, кибернетик и философ. 75/105

Информатика Лекция 2 Семантический подход к измерению информации Полезность информации (тезаурус) Ю. А. Шрейдер: Тезаурус – знания приемника информации о внешнем мире, его способность воспринимать те или иные сообщения. I наилучшее восприятие тезаурус ничего непонятно… сведения не новы 76/105

Информатика Лекция 2 Семантический подход к измерению информации Полезность информации (тезаурус) Количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным (семантический шум) для пользователя 77/105 некомпетентного.

Информатика Лекция 2 Семантический подход к измерению информации Содержательность Рассчитывается как – семантическая отношение емкость количества информации. семантической информации к ее количеству в геометрической мере. Это характеристика сигнала, про который говорят, что «мыслям в нем тесно, а словам просторно» . В целях увеличения содержательности сигнала, например, используют для характеристики успеваемости абитуриента не полный перечень его аттестационных оценок, а средний балл по аттестату. 78/105

Информатика Лекция 2 Прагматический подход к измерению информации Прагматический аспект – характеристика с точки зрения полезности, пригодности для решения задач. При этом оценка может быть субъективной, отражая точку зрения получателя информации (интерпретатора). Если получатель, хотя и понял поступившую информацию, но не счел ее полезной, важной, то возникает прагматический шум и информация отсеивается. Проблемы прагматического отбора изучает прагматика – раздел семиотики, науки о знаках и знаковых системах. Исследования в этой области важны для проектирования информационно – поисковых систем: систем машинного распознавания образов, машинного перевода и других. 79/105

Информатика Лекция 2 Прагматический подход к измерению информации Прагматическая система показателей рассматривается с точки зрения определения содержания и количества информации, необходимой для решения задач и технологии обработки. В систему включаются следующие показатели: qважность, значимость, полнота информации, для решения задач. Важность информации всецело определяется необходимостью и достаточностью для решения конкретных задач. 80/105

Информатика Лекция 2 Прагматический подход к измерению информации qадекватность - соответствие текущему состоянию соответствующих объектов или процессов. Под адекватностью информации понимается “…степень ее соответствия действительному состоянию тех реалий, которые отображает оцениваемая информация”. Определение адекватности осуществляется по двум параметрам: объективностью получения информации о предмете, процессе или явлении и продолжительностью интервала времени между моментом получения информации и текущим моментом, т. е. до момента оценивания ее адекватности. qтолерантность поступающей информации. Толерантность - показатель удобства восприятия и использования информации для решаемых задач. 81/105

Информатика Лекция 2 Прагматический подход к измерению информации qрелевантность информации, поступающей для обеспечения решаемых задач. Релевантность - соответствие содержания информации потребностям решаемой задачи. Количественно релевантность определяется коэффициентом где Nr - количество релевантной информации, No - общее количество информации. Проблема заключается в сложности, а порою и невозможности, определения количества релевантной информации. 82/105

Информатика Лекция 2 Прагматический подход к измерению информации q. Целесообразность информации Количество I получаемой вместе с сообщением информации с позиций ее целесообразности определяется по формуле: где p 1, p 2 – вероятности достижения цели после и до получения сообщения, соответственно. 83/105

Информатика Лекция 2 Прагматический подход к измерению информации Целесообразность информации 1. Пусть вероятность p 2 сдачи экзамена по информатике до получения сообщения (подсказки от соседа) оценивается студентом со значением 0, 2. После того, как ему удалось получить подсказку, вероятность сдачи увеличилась: p 1 = 0, 8. Определить количество информации, содержащейся в подсказке, с точки зрения ее целесообразности. В соответствии с приведенной формулой имеем: I = log 2(0, 8/0, 2) = log 24 = 2. 84/105

Информатика Лекция 2 Прагматический подход к измерению информации Целесообразность информации 2. Пусть положение студента до получения подсказки оценивается аналогично предыдущему примеру. После получения подсказки, вопреки ожиданиям, вероятность сдачи еще уменьшилась, поскольку подсказка содержала неверную информацию: p 1 = 0, 1. Определить количество информации, содержащейся в подсказке, с точки зрения ее целесообразности. В соответствии с приведенной формулой имеем: I = log 2(0, 1/0, 2) = log 20, 5 = -1. Таким образом, полученная информация является дезинформацией, поскольку имеет отрицательный знак при измерении. 85/105

Информатика Лекция 2 Измерение информации Источник информации Физический фильтр Семантический фильтр Прагматический фильтр Потребитель информации 86/105

Информатика Лекция 3 Единицы измерения информации В зависимости от точек зрения, бит может определяться следующими способами: 1. Один разряд двоичного кода (двоичная цифра). Может принимать только два взаимоисключающих значения: да/нет, 1/0, включено/выключено, и т. п. В электронике 1 биту соответствует 1 двоичный триггер. 2. По Шеннону, базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода. Это тождественно количеству информации в ответе на вопрос, допускающий ответы «да» либо «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос). 87/105

Информатика Лекция 3 Единицы измерения информации q. В компьютерной технике бит соответствует физическому состоянию носителя информации: намагничено - не намагничено, есть отверстие - нет отверстия. При этом одно состояние принято обозначать цифрой 0, а другое - цифрой 1. Выбор одного из двух возможных вариантов позволяет также различать логические истину и ложь. Последовательностью битов можно закодировать текст, изображение, звук или какую-либо другую информацию. Такой метод представления информации называется двоичным кодированием (binary encoding). 88/105

Информатика Лекция 3 Единицы измерения информации q. В вычислительной технике и сетях передачи данных обычно значения 0 и 1 передаются различными уровнями напряжения либо тока. В вычислительной технике, особенно в документации и стандартах, слово «бит» часто применяется в значении «двоичный разряд» . q. Аналогом бита в квантовых компьютерах является q-бит. 89/105

Информатика Лекция 2 Единицы измерения информации Информационное объем сообщения в технике – количество двоичных символов, используемое для кодирования этого сообщения. Ø 1 бит = 1 знак двоичного алфавита A={0, 1}, ØЕсли алфавит содержит 2 n знаков, то каждый из его знаков можно закодировать с помощью n знаков двоичного алфавита. ØЧисло различных двоичных слов длины n равно 2 n. ØМножество A допускает однозначное кодирование с длинами кодов, не превосходящих n тогда и только тогда, когда число элементов множества A не превосходит n. ØВывод: длина кода при двоичном кодировании одного символа из алфавита мощности |A|=2 n равна n. ØОбъем информации, содержащейся в сообщении длиной использовании алфавита мощность 2 n, равен m*n бит. m при 90/105

Информатика Лекция 2 Единицы измерения информации 1964 доктор Вернер Бухгольц из в IBM Первое упоминание байта встречается в одной из статей в “IBM Systems Journal” за 1964). 91/105

Информатика Лекция 2 Единицы измерения информации q. По одной из них, термин байт (byte) произошел от слов BInary digi. T Eight (двоичное число восемь) путем замены в образовавшемся слове BITE буквы I на Y. Последнее было сделано для того, чтобы не путать в произношении и написании новый термин с уже существовавшим «битом» . q. Сторонники другой гипотезы утверждают, что «байт» произошел от сокращения слов Binar. Y TErm (двоичный термин) без всякой возни с заменой одной буквы на другую. q. Наконец, есть и третьи, утверждающие, что «байт» просто был переделан из «бита» для того, чтобы термины для обозначения однородных величин и в звучании были похожи друг на друга. 92/105

Информатика Лекция 2 Единицы измерения информации Байт (byte) – это двоичное слово, способное записывать и хранить в памяти ЭВМ один буквенно-цифровой или другой символ данных. Каждый символ записывается в виде набора двоичных цифр (битов) при помощи определенного кода, например ASCII. Байт – единица количества информации, обычно состоящая из 8 бит и используемая как одно целое при передаче, хранении и переработки информации компьютером. Байт служит для представления букв или специальных символов (занимающих обычно весь байт). Информация в компьютере обрабатывается отдельными байтами, либо группами байтов (полями, словами). 93/61

Информатика Лекция 2 Единицы измерения информации Байт - в запоминающих устройствах - наименьшая адресуемая единица данных в памяти компьютера, обрабатываемая как единое целое. По умолчанию байт считается равным 8 битам. Обычно в системах кодирования данных байт представляет собой код одного печатного или управляющего символа. Байт - в измерении информации - единица измерения количества информации, объема памяти и ёмкости запоминающего устройства. 94/61

Информатика Лекция 2 Единицы измерения информации Байт - единица количества информации. Для конкретного компьютера байт - минимальный шаг адресации памяти. В стандартном виде байт равен восьми битам (может принимать 256 (28) различных значений). Байт в современных компьютерах - минимально адресуемая последовательность фиксированного числа битов. При хранении данных в памяти существует также бит чтения-записи, а для цифровых микросхем - бит синхронизации. Иногда байтом называют последовательность битов, которые составляют подполе машинного слова, используемое для кодирования одного текстового символа (хотя правильней это называть символом, а не байтом). 95/105

Информатика Лекция 2 Единицы измерения информации 1 бит (binary digit – двоичное число) = 0 или 1, 1 байт = 23 бит =8 бит, 1 килобайт (1 Кб) = 213 бит = 210 байт = 1024 байт 1 мегабайт (1 Мб) = 223 бит = 1024 Кбайт 1 гигабайт (1 Гб) = 233 бит = 1024 Мбайт 1 терабайт (1 Тб) = 243 бит = 1024 Гбайт 1 петабайт (1 Пб) = 253 бит, 1 эксабайт (1 Эб) = 263 бит. 96/105

Информатика Лекция 2 Единицы измерения информации Важно иметь представление, сколько информации может вместить килобайт, мегабайт или гигабайт. q. При двоичном кодировании текста каждая буква, знак препинания, пробел занимают 1 байт. q. На странице книги среднего формата примерно 50 строк, в каждой строке около 60 символов, таким образом, полностью заполненная страница имеет объём 50 x 60 = 3000 байт ≈3 Килобайта. q. Вся книга среднего формата занимает ≈ 0, 5 Мегабайт. q. Один номер четырёхстраничной газеты — 150 Килобайт. q. Если человек говорит по 8 часов в день без перерыва, то за 70 лет он наговорит около 10 Гигабайт информации. q. Один чёрно-белый кадр (при 32 градациях яркости каждой точки) содержит примерно 300 Кб информации, цветной кадр содержит уже около 1 Мб информации. q. Телевизионный фильм продолжительностью 1, 5 часа с частотой 25 кадров в секунду — 135 Гб. 97/105

Информатика Лекция 2 Чтобы жить эффективно, надо жить с адекватной информацией. Но рберт Ви нер 98/105

Информатика Лекция 2 Скорость передачи информации лимонад скорость v пропускная способность – 10 л/мин время t ? Сколько лимонада перекачается по трубе за 1 час? Решение: единицы измерения? Q = v·t = 10 л/мин· 1 час = ? = 10 л/мин· 1· 60 мин = 600 л ? Как найти время, если задано количество лимонада? ? Как найти скорость, если задано время и количество? 99/105

Информатика Лекция 2 Скорость передачи информации данные скорость v скорость передачи – 80 бит/с время t ? Сколько байт будет передано за 5 минут? Решение: = 80 бит/с· 5 мин = ? единицы измерения? 80 Q = байт/с· 5 · 60 с = 3000 байт 8 100/105

Информатика Лекция 2 Скорость передачи информации данные скорость передачи – 128 000 бит/с ? Сколько Кбайт будет передано за 16 секунд? единицы Решение: Q = v·t = 128000 бит/с· 16 с = ? измерения? = 128000 бит/с · 16 с = … байт 8 128000 бит/с · 16 с = = … Кбайт 8 · 1024 27 · 1000 · 24 1000 · 211 = 250 Кбайт = = 213 23 · 210 101/105

Информатика Лекция 2 Скорость передачи информации данные скорость передачи – 128 000 бит/с ? Сколько секунд потребуется на передачу файла размером 250 Кбайт? Решение: единицы измерения? 250 Кбайт = = … 128000 бит/с 250∙ 1024∙ 8 бит 250∙ 210∙ 23 = 16 c = = 7 128000 бит/с 2 ∙ 1000 102/105

Информатика Лекция 2 Скорость передачи информации данные ? Какова средняя скорость передачи данных (в битах в секунду), если файл размером 250 Кбайт был передан за 16 с? Решение: 250 Кбайт = = … 16 с единицы измерения? 250∙ 1024∙ 8 бит 250∙ 210∙ 23 = 128000 бит/c = = 24 16 с 103/105

Информатика Лекция 2 Скорость передачи информации 1 Кбит = 1024 бит 256 Кбит/с 32 Кбит/с Вася Петя ? Сколько секунд потребуется Пете, чтобы скачать из Интернета через компьютер Васи файл размером 5 Мбайт, если Вася может начать передачу данных Пете только после получения первых 512 Кбайт данных? Решение: время перекачивания файла от Васи к Пете время, пока Вася ждет первые 512 Кбайт 104/105

Информатика Лекция 2 Скорость передачи информации Вася ждёт первые 512 Кбайт: 512 Кбайт 512∙ 1024∙ 8 бит = = 16 с 256 Кбит/с 256∙ 1024 бит/с Передача файла от Васи к Пете: 5 Мбайт 5 ∙ 1024 ∙ 8 бит = = 1280 с 32 Кбит/с 32 ∙ 1024 бит/с Общее время скачивания для Пети: = 16 + 1280 = 1296 с 105/105