Измерение информации Содержательный подход. Пусть в некотором

Измерение информации Содержательный подход.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (ни одно из событий не имеет преимуществ перед другим). Тогда количество информации, заключенное в этом сообщении, - i бит и число N связаны формулой:

Пример: При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации. Кол-во возможных вариантов – 2 (орел или решка) l

Пример: В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере. Количество возможных вариантов – 32 l

Измерение информации Алфавитный подход.

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте.

l l Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. (обознач. : N)

Примеры: l l l В 2 -х символьном алфавите каждый символ весит 1 бит. В 4 -х символьном алфавите каждый символ весит 2 бита. В 256 -ти символьном алфавите каждый символ весит 8 бит.

l Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в ней информации равен: где i – информационный вес одного символа