Скачать презентацию Дисциплина Основы теории информации Часть 1 Измерение информации Скачать презентацию Дисциплина Основы теории информации Часть 1 Измерение информации

Основы теории информации.ppt

  • Количество слайдов: 33

Дисциплина Основы теории информации Часть 1. Измерение информации. Дисциплина Основы теории информации Часть 1. Измерение информации.

Введение в предмет 1. Понятие теории информации. Теория информации рассматривается как существенная часть кибернетики. Введение в предмет 1. Понятие теории информации. Теория информации рассматривается как существенная часть кибернетики. Кибернетика - это наука об общих законах получения, хранения, передачи и переработки информации. Ее основной предмет исследования - это так называемые кибернетические системы, рассматриваемые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем: автоматические регуляторы в технике, ЭВМ, мозг человека или животных, биологическая популяция, социум. Часто кибернетику связывают с методами искусственного интеллекта, т. к. она разрабатывает общие принципы создания систем управления и систем для автоматизации умственного труда. Основными разделами (они фактически абсолютно самостоятельны и независимы) современной кибернетики считаются: теория информации, теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавания образов.

Введение в предмет Родоначальниками кибернетики (датой ее рождения считается 1948 год, год соответствующей публикации) Введение в предмет Родоначальниками кибернетики (датой ее рождения считается 1948 год, год соответствующей публикации) считаются американские ученые Норберт Винер (Wiener, он - прежде всего) и Клод Шеннон (Shannon, он же основоположник теории информации). Винер ввел основную категорию кибернетики - управление (основная категория кибернетики), показал существенные отличия этой категории от других, например, энергии, описал несколько задач, типичных для кибернетики, и привлек всеобщее внимание к особой роли вычислительных машин, считая их индикатором наступления новой НТР. Выделение категории управления позволило Винеру воспользоваться понятием информации, положив в основу кибернетики изучение законов передачи и преобразования информации. Сущность принципа управления заключается в том, что движение и действие больших масс или передача и преобразование больших количеств энергии направляется и контролируется при помощи небольших количеств энергии, несущих информацию.

Введение в предмет Этот принцип управления лежит в основе организации и действия любых управляемых Введение в предмет Этот принцип управления лежит в основе организации и действия любых управляемых систем: автоматических устройств, живых организмов и т. п. Подобно тому, как введение понятия энергии позволило рассматривать все явления природы с единой точки зрения и отбросило целый ряд ложных теорий, так и введение понятия информации позволяет подойти с единой точки зрения к изучению самых различных процессов взаимодействия в природе. В СССР значительный вклад в развитие кибернетики внесли академики Берг А. И. и Глушков В. М. В нашей стране в 50 -е годы кибернетика была объявлена лженаукой и была практически запрещена, что не мешало, однако, развиваться всем ее важным разделам (в том числе и теории информации) вне связи с обобщающим словом "кибернетика". Это было связано с тем, что сама по себе кибернетика представляет собой род философии, в кое-чем конфликтной с тогдашней официальной доктриной (марксистско-ленинской диалектикой).

Введение в предмет Теория информации тесно связана с такими разделами математики как теория вероятностей Введение в предмет Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи. Таким образом, предмет "Теория информации" весьма узок, т. к. зажат между "чистой" математикой и прикладными (техническими) аспектами теории связи. Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, "размеров" канала связи и т. п. , особенно применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением.

Введение в предмет Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда Введение в предмет Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами. 2. Формальное представление знаний При формальном представлении знаний каждому описываемому объекту или понятию ставится в соответствие некоторый числовой код. Связи между кодируемыми сущностями также представляются кодами (адресами и указателями). Для такого перевода неформальных данных в формальный, цифровой вид должны использоваться специальные таблицы, сопоставляющие кодируемым сущностям их коды и называемые таблицами кодировки. Простейший пример такой таблицы - это ASCII (American Standard Code for Information Interchange), используемая повсеместно с вычислительной техникой. Она сопоставляет печатным и управляющим символам (управляющими являются, например, символы, отмечающие конец строки или страницы) числа от 0 до 127. С

Введение в предмет На практике обычно используют не сам исходный ASCII, а так называемый Введение в предмет На практике обычно используют не сам исходный ASCII, а так называемый расширенный ASCII (ASCII+), описывающий коды 256 символов (от 0 до 255). Первые 128 позиций расширенного ASCII совпадают со стандартом, а дополнительные 128 позиций определяются производителем оборудования или системного программного обеспечения. Кроме того, некоторым управляющим символам ASCII иногда назначают другое значение. Хотя таблицы кодировки используются для формализации информации, сами они имеют неформальную природу, являясь мостом между реальными и формальными данными. Например, коду 65 в ASCII соответствует заглавная латинская буква A, но не конкретная, а любая. Этому коду будет соответствовать буква A, набранная жирным прямым шрифтом, и буква , набранная нежирным с наклоном вправо на шрифтом, и даже буква готического шрифта. Задача сопоставления реальной букве ее кода в выбранной таблице кодировки очень сложна и частично решается программами распознания символов (например, Fine Reader).

Введение в предмет 3. Виды информации Информация может быть двух видов: дискретная информация и Введение в предмет 3. Виды информации Информация может быть двух видов: дискретная информация и непрерывная ( аналоговая ). Дискретная информация характеризуется последовательными точными значениями некоторой величины, а непрерывная - непрерывным процессом изменения некоторой величины. Непрерывную информацию может, например, выдавать датчик атмосферного давления или датчик скорости автомашины. Дискретную информацию можно получить от любого цифрового индикатора: электронных часов, счетчика магнитофона и т. п. Дискретная информация удобнее для обработки человеком, но непрерывная информация часто встречается в практической работе, поэтому необходимо уметь переводить непрерывную информацию в дискретную (дискретизация) и наоборот. Модем (это слово происходит

Введение в предмет представляет собой устройство для такого перевода: он переводит цифровые данные от Введение в предмет представляет собой устройство для такого перевода: он переводит цифровые данные от компьютера в звук или электромагнитные колебания-копии звука и наоборот. При переводе непрерывной информации в дискретную важна так называемая частота дискретизации , определяющая период между измерениями значений непрерывной величины (См. рис. 1. 1). Чем выше частота дискретизации, тем точнее происходит перевод непрерывной информации в дискретную. Но с ростом этой частоты растет и размер дискретных данных, получаемых при таком переводе, и, следовательно, сложность их обработки, передачи и хранения. Однако для повышения точности дискретизации необязательно безграничное увеличение ее частоты. Эту частоту разумно увеличивать только до предела, определяемого теоремой о выборках, называемой также теоремой Котельникова или законом Найквиста (Nyquist).

Введение в предмет Введение в предмет

Введение в предмет Любая непрерывная величина описывается множеством наложенных друг на друга волновых процессов, Введение в предмет Любая непрерывная величина описывается множеством наложенных друг на друга волновых процессов, называемых гармониками, определяемых функциями вида Где А- амплитуда, частоа T- время, фаза Теорема о выборках утверждает, что для точной дискретизации ее частота должна быть не менее чем в два раза выше наибольшей частоты гармоники, входящей в дискретизируемую величину) Примером использования этой теоремы являются лазерные компакт -диски, звуковая информация на которых хранится в цифровой форме. Чем выше будет частота дискретизации, тем точнее будут воспроизводиться звуки и тем меньше их можно будет записать на один диск, но ухо обычного человека способно различать звуки с частотой до 20 КГц, поэтому точно записывать звуки с большей частотой бессмысленно.

Введение в предмет Согласно теореме о выборках частоту дискретизации нужно выбрать не меньшей 40 Введение в предмет Согласно теореме о выборках частоту дискретизации нужно выбрать не меньшей 40 КГц (в промышленном стандарте на компакт-диске используется частота 44. 1 КГц). При преобразовании дискретной информации в непрерывную, определяющей является скорость этого преобразования: чем она выше, с тем более высокочастотными гармониками получится непрерывная величина. Но чем большие частоты встречаются в этой величине, тем сложнее с ней работать. Например, обычные телефонные линии предназначены для передачи звуков частотой до 3 КГц. Связь скорости передачи и наибольшей допустимой частоты подробнее будет рассмотрена далее. Устройства для преобразования непрерывной информации в дискретную обобщающе называются АЦП (аналого-цифровой преобразователь) или ADC (Analog to Digital Convertor, A/D), а устройства для преобразования дискретной информации в аналоговую - ЦАП (цифро-аналоговый преобразователь) или DAC (Digital to Analog Convertor, D/A).

Введение в предмет 4. Хранение, измерение, обработка и передача информации Для хранения информации используются Введение в предмет 4. Хранение, измерение, обработка и передача информации Для хранения информации используются специальные устройства памяти. Дискретную информацию хранить гораздо проще непрерывной, т. к. она описывается последовательностью чисел. Если представить каждое число в двоичной системе счисления, то дискретная информация предстанет в виде последовательностей нулей и единиц. Присутствие или отсутствие какого-либо признака в некотором устройстве может описывать некоторую цифру в какойнибудь из этих последовательностей. Например, позиция на дискете описывает место цифры, а полярность намагниченности - ее значение. Для записи дискретной информации можно использовать ряд переключателей, перфокарты, перфоленты, различные виды магнитных и лазерных дисков, электронные триггеры и т. п. Одна позиция для двоичной цифры в описании дискретной информации называется битом (bit, binary digit).

Введение в предмет Бит служит для измерения информации. Информация размером в один бит содержится Введение в предмет Бит служит для измерения информации. Информация размером в один бит содержится в ответе на вопрос, требующий ответа "да" или "нет". Непрерывную информацию тоже измеряют в битах. Бит - это очень маленькая единица, поэтому часто используется величина в 8 раз большая - байт (byte), состоящая из двух 4 -битных полубайт или тетрад. Байт обычно обозначают заглавной буквой B или Б. Как и для прочих стандартных единиц измерения для бита и байта существуют производные от них единицы, образуемые при помощи приставок кило (K), мега (M), гига (G или Г), тера (T), пета (P или П) и других. Но для битов и байтов они означают не степени 10, а степени двойки: Например, 1 KB = 8 Кbit = 1024 B = 8192 bit, 1 МБ = 1024 КБ = 1048576 Б = 8192 Кбит.

Введение в предмет Для обработки информации используют вычислительные машины, которые бывают двух видов: ЦВМ Введение в предмет Для обработки информации используют вычислительные машины, которые бывают двух видов: ЦВМ (цифровая вычислительная машина) - для обработки дискретной информации, АВМ (аналоговая вычислительная машина) - для обработки непрерывной информации. ЦВМ - универсальны, на них можно решать любые вычислительные задачи с любой точностью, но с ростом точности скорость их работы уменьшается. ЦВМ - это обычные компьютеры. Каждая АВМ предназначена только для узкого класса задач, например, интегрирования или дифференцирования. Если на вход такой АВМ подать сигнал, описываемый функцией , то на ее выходе появится сигнал или. АВМ работают очень быстро, но их точность ограничена и не может быть увеличена без аппаратных переделок. Программа для АВМ - это электрическая схема из заданного набора электронных компонент, которую нужно физически собрать. Бывают еще и гибридные вычислительные машины, сочетающие в себе элементы как ЦВМ, так и АВМ.

Введение в предмет На рис. 1. 2 изображена схема передачи информации. Кодированием, например, является Введение в предмет На рис. 1. 2 изображена схема передачи информации. Кодированием, например, является шифровка сообщения, декодированием - его дешифровка Процедуры кодирования и декодирования могут повторяться много раз. Ошибки при передаче информации происходят из-за шума в канале (атмосферные и технические помехи), а также при кодировании и декодировании. Теория информации изучает, в частности, способы минимизации количества таких ошибок. Рис. 1. 2. Скорость передачи информации измеряется в количестве переданных за одну секунду бит или в бодах (baud): 1 бод = 1 бит/сек (bps). Производные единицы для бода такие же как и для бита и байта, например, 10 Kbaud = 10240 baud.

Введение в предмет Скорость передачи информации измеряется в количестве переданных за одну секунду бит Введение в предмет Скорость передачи информации измеряется в количестве переданных за одну секунду бит или в бодах (baud): 1 бод = 1 бит/сек (bps). Производные единицы для бода такие же как и для бита и байта, например, 10 Kbaud = 10240 baud. Информацию можно передавать последовательно, т. е. бит за битом, и параллельно, т. е. группами фиксированного количества бит. Параллельный способ быстрее, но он часто технически сложнее и дороже особенно при передаче данных на большие расстояния. Параллельный способ передачи используют, как правило, только на расстоянии не более 5 метров.

Базовые понятия теории информации 1. Базовые понятия теории информации. Изучать любую теорию невозможно без Базовые понятия теории информации 1. Базовые понятия теории информации. Изучать любую теорию невозможно без неких базовых принципов, на которых строятся дальнейшие исследования. Для теории информации такими понятиями являются: информация, канал связи, шум, кодирование. Способы измерения информации и ее количество являются важными составляющими дальнейшего обучения. Клод Шеннон предложил вероятностный подход к измерению дискретной и непрерывной информации. Предлагаются различные математические выкладки, примеры задач. Много задач для самостоятельной проверки знаний. Информация - нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация противоположность неопределенности.

Базовые понятия теории информац Канал связи - это среда передачи информации, которая характеризуется в Базовые понятия теории информац Канал связи - это среда передачи информации, которая характеризуется в первую очередь максимально возможной для нее скоростью передачи данных ( емкостью канала связи). Шум - это помехи в канале связи при передаче информации. Кодирование - преобразование дискретной информации одним из следующих способов: шифрование, сжатие, защита от шума. Общая схема передачи информации изображена на рис. 2. 1. Емкость канала связи без шума можно приблизительно вычислить, зная максимальную частоту волновых процессов, допустимую в этом канале. Можно считать, что скорость передачи данных может быть не меньше, чем эта частота. Например, при предельной частоте, равной 1000 Гц, можно обеспечить скорость передачи данных не меньше 1 Кбод.

Базовые понятия теории информац Базовые понятия теории информац

Базовые понятия теории информац Примеры каналов связи и связанных с ними предельных частот: телеграф Базовые понятия теории информац Примеры каналов связи и связанных с ними предельных частот: телеграф - 140 Гц, телефон - до 3. 1 КГц, короткие волны (10 -100 м) - 330 МГц, УКВ (1 -10 м) - 30 -300 МГц, спутник (сантиметровые волны) - до 30 ГГц, оптический (инфракрасный диапазон) - 0. 15 -400 ТГц, оптический (видимый свет) - 400 -700 ТГц, оптический (ультрафиолетовый диапазон) - 0. 7 -1. 75 ПГц. Типичные современные каналы: телеграфный и телефонный. Перспективные, внедряемые ныне: оптоволоконный (терабоды) и цифровой телефонный (ISDN, Integrated Services Digital Networks) 57 -128 Кбод. В реальных оптоволоконных системах скорость гораздо ниже теоретических пределов (редко превосходит 1 -10 Гбод). Наиболее широко пока используются телефонные линии связи. Здесь достигнута скорость более 50 Кбод!

Измерение информации Информация — одно из фундаментальных понятий современной науки наряду с такими понятиями, Измерение информации Информация — одно из фундаментальных понятий современной науки наряду с такими понятиями, как «вещество» и «энергия» . Строгое определение этому термину дать достаточно сложно. В разных науках существуют различные формальные подходы к этому вопросу. В информатике нас будут интересовать два подхода к определению понятия информации. Определение 1. Согласно американскому учёному и инженеру Клоду Шеннону, информация — это снятая неопределённость. Неопределённость некоторого события — это количество возможных результатов (исходов) данного события. Такой подход называют содержательным или вероятностным Например, если мы подбрасываем вверх монету, то она может упасть двумя различными способами (орлом вверх или решкой вверх). Соответственно, у данного события два возможных исхода. Если же подбрасывать игральный кубик, то исходов уже будет шесть.

Измерение информации С другой стороны, всякое сообщение можно закодировать с помощью конечной последовательности символов Измерение информации С другой стороны, всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. Определение 2. Согласно Колмогорову, информация, содержащаяся в последовательности символов, характеризуется безотносительно к содержанию представленного ей сообщения минимально возможным количеством знаков, необходимых для кодирования этой последовательности. Этот подход называют алфавитным. При этом для кодирования наиболее часто используется двоичный алфавит, состоящий из нуля и единицы, это так называемое «двоичное кодирование информации» . Хотя информацию нельзя строго определить, её можно измерить. Чаще всего в качестве основной единицы измерения информации используется бит.

Измерение информации При алфавитном подходе один бит — это количество информации, которое можно передать Измерение информации При алфавитном подходе один бит — это количество информации, которое можно передать в сообщении, состоящем из одного двоичного знака ( « 0» или « 1» ). С точки же зрения содержательного подхода один бит — это количество информации, уменьшающее неопределённость знания в два раза. Наряду с битами можно использовать и другие единицы измерения информации, например, триты или диты. При алфавитном подходе один трит — это количество информации, которое можно передать в сообщении, состоящем из одного троичного знака ( «О» , « 1» или « 2» ). С точки же зрения содержательного подхода один трит — это количество информации, уменьшающее неопределённость знания в три раза. Соответственно, один дит — это количество информации, уменьшающее неопределённость знания в десять раз, и количество информации, которое можно передать в сообщении, состоящем из одного десятичного знака (арабской цифры).

Измерение информации В некоторых задачах (например, в задаче взлома кодового замка) удобнее в качестве Измерение информации В некоторых задачах (например, в задаче взлома кодового замка) удобнее в качестве основной единицы измерения информации использовать не биты, а диты. поскольку угадывание каждой цифры из кода уменьшает количество комбинаций в 10 раз. Для каждой основной единицы измерения информации существуют производные более крупные единицы измерения. Поскольку чаще всего мы будем использовать в качестве основной единицы бит. рассмотрим производные единицы измерения для бита. 1 байт (1 б) = 8 бит: 1 килобайт (1 Кб) = 210 байт = 1024 байт; 1 мегабайт (1 Мб) = 220 байт = 1024 Кб: 1 гигабайт (I Гб) = 2 J 0 байт = 1024 Мб: 1 терабайт (1 Тб) = 240 байт = 1024 Гб: 1 петабайт (1 Пб) = 250 байт- = 1024 Тб.

Измерение информации Обратите внимание, что в сокращённом обозначении единиц измерения префиксная буква - заглавная. Измерение информации Обратите внимание, что в сокращённом обозначении единиц измерения префиксная буква - заглавная. Это сделано специально, чтобы отличать единицы измерения информации от единиц измерения иных величин, в которых каждый префикс означает 1000. а не 1024. 1. 2. Формула Хартли измерения количества информации. Закон аддитивности информации Как уже упоминалось выше, в качестве основной едницы измерения информации мы будем использовать бит. Соответственно, с точки зрения алфавитного подхода мы будем кодировать информацию при помощи нулей и единиц (двоичных знаков). Определение. Для того чтобы измерить количество информации в сообщении, надо закодировать сообщение в виде последовательности нулей и единиц наиболее рациональным способом позволяющим получить самую короткую последовательность.

Измерение информации Длина полученной последовательности нулей и единиц и является мерой количества информации в Измерение информации Длина полученной последовательности нулей и единиц и является мерой количества информации в битах. Поставим себе одну из наиболее часто встречающихся задач в теории информации. Пусть у нас есть N возможных равновероятных вариантов исходов некоторого события. Какое количество информации нам нужно получить, чтобы оставить только один вариант? Например, пусть мы знаем, что некоторая интересная для нас книга находится на одной из полок нашего книжного шкафа, в котором 8 полок. Какое количество информации нам нужно получить, чтобы однозначно узнать полку, на которой находится книга? Решим эту задачу с точки зрения содержательного и алфавитного подходов. Поскольку изначально в шкафу было 8 полок, а в итоге мы выберем одну, следовательно, неопределённость знания о местоположении книги уменьшится в 8 раз.

Измерение информации Мы говорили, что один бит - это количество информации, уменьшающее неопределённость знания Измерение информации Мы говорили, что один бит - это количество информации, уменьшающее неопределённость знания в 2 раза. Следовательно, мы должны получить 3 бита информации. Теперь попробуем алфавитный подход. Закодируем номера всех полок при помощи 0 и 1. Получим следующие номера: ООО. 001. 010. 011. 100. 101. 110. 111. Для того чтобы узнать, на какой полке находится книга, мы должны узнать номер этой полки. Каждый номер состоит из 3 двоичных знаков. А по определению, 1 бит (в алфавитном подходе) -это количество информации в сообщении, состоящем из 1 двоичного знака. То есть мы тоже получим 3 бита информации. Прежде чем продолжить рассмотрение поставленной общей задачи введём важное математическое определение. Определение. Назовём логарифмом числа N по основанию а такое число X, что а в степени х = N. Обозначение: X = log 10 N.

Измерение информации На параметры логарифма налагаются некоторые ограничения. Число N обязательно должно быть строго Измерение информации На параметры логарифма налагаются некоторые ограничения. Число N обязательно должно быть строго больше 0. Число а (основание логарифма) должно быть также строго больше нуля и при этом не равняться единице (ибо при возведении единицы в любую степень получается единица). Теперь вернёмся к нашей задаче. Итак, какое же количество информации нам нужно получить, чтобы выбрать один исход из N равновероятных? Ответ на это вопрос даёт формула Хартли: Н = log 10 N. где N - это количество исходов, а Н - количество информации, которое нужно получить для однозначного выбора 1 исхода. Основание логарифма обозначает единицу измерения количества информации. То есть если мы будем измерять количество информации в битах, то логарифм нужно брать по основанию 2. а если основной единицей измерения станет трит, то. соответственно, логарифм берется по основанию 3.

Измерение информации С точки зрения алфавитного подхода формулу Хартли можно объяснить так: количество информации, Измерение информации С точки зрения алфавитного подхода формулу Хартли можно объяснить так: количество информации, которое несёт в себе i символ N-элементного алфавита, равно log по основанию а от N. где основание логарифма опять-таки обозначает единицу измерения информации. Рассмотрим несколько примеров применения формулы Хартли. Задача I. В библиотеке 16 стеллажей, в каждом стеллаже 8 полок. Какое количество информации несёт сообщение о том, что нужная книга находится на четвёртой полке? Решение. Решим эту задачу с точки зрения содержательного подхода. В переданном нам сообщении указан только номер полки, но не указан номер стеллажа. Таким образом, устранилась неопределённость, связанная с полкой, а стеллаж, на котором находится книга, мы всё ещё не знаем. Так как известно, что в каждом стеллаже по 8 полок, следовательно, неопределённость уменьшилась в 8 раз. Следовательно, количество информации можно вычислить по формуле Хартли H=log по основанию 2 от 8=3 бита информации.

Измерение информации Логарифмы обладают очень важным свойством: Log по основанию а от (LX*Y) = Измерение информации Логарифмы обладают очень важным свойством: Log по основанию а от (LX*Y) = Log по основанию а от Х + Log по основанию а от Y. Если переформулировать это свойство в терминах количества информации, то мы получим закон аддитивности информации: Количество информации H(x 1, x 2) необходимое для установления пары (x 1, x 2) равно сумме количеств информации H(x 1) и H(x 2), необходимых для независимого установления элементов x 1 и x 2 H(x 1, X 2) = H(x 1)+H(x 2) Проиллюстрируем этот закон на примере. Пусть у нас есть игральная кость в форме октаэдра (с 8 гранями) и монета. И мы одновременно подбрасываем их вверх. Нужно узнать, какое количество информации несёт сообщение о верхней стороне монеты после падения (орёл или решка) и числе, выпавшему на игральной кости.

Измерение информации Игральная кость может упасть 8 различными способами, следовательно, по формуле Хартли можно Измерение информации Игральная кость может упасть 8 различными способами, следовательно, по формуле Хартли можно вычислить, что, определив число, выпавшее на игральной кости, мы получаем 3 бита информации. Соответственно, монета может упасть только 2 способами и несет в себе 1 бит информации. По закону аддитивности информации мы можем сложить полученные результаты и узнать, что интересующее нас сообщение несет 4 бита информации. Рассмотрим другой способ решения этой задачи. Если мы сразу рассмотрим все возможные исходы падения 2 предметов, то их будет 16 (кость выпадает 8 способами, а монета - орлом вверх, и кость выпадает 8 способами, а монета - решкой вверх). По формуле Хартли находим, что интересующее нас сообщение несет 4 бита информации. Замечание: если в результате вычислений по формуле Хартли получилось нецелое число, а в задаче требуется указать целое число бит, го результат следует округлить в большую сторону.

Измерение информации Задача 2. Имеется 27 монет, одна из которых фальшивая и легче всех Измерение информации Задача 2. Имеется 27 монет, одна из которых фальшивая и легче всех остальных. Сколько потребуется взвешиваний на двухчашечных весах, чтобы однозначно найти фальшивую монету? Решение. В этой задаче неудобно использовать бит в качестве основной единицы измерения информации. Двухчашечные весы могут принимать три положения: левая чаша перевесила, значит, фальшивая монета находится в правой: правая чаша перевесила, значит, монета находится в левой: или же весы оказались в равновесии, что означает отсутствие фальшивой монеты на весах. Таким образом, одно взвешивание может уменьшить неопределённость в три раза, следовательно, будем использовать в качестве основной единицы измерения количества информации трит. По формуле Хартли Н = log по основанию 3 от 27 = 3 трита. Таким образом, мы видим, что для того чтобы найти фальшивую монету среди остальных, нам потребуется три взвешивания.