В теории информации определяют синтаксическое количество информации

В теории информации определяют синтаксическое количество информации на основе энтропии
Для случая, когда все состояния системы равновероятны, т. е. их вероятности равны Её энтропия
Пример: • По каналу связи передается n-разрядное сообщение, использующее т различных символов.
• При Sp → 0 пользователь не воспринимает, не понимает поступающую информацию;
Скачать презентацию В теории информации определяют синтаксическое количество информации Скачать презентацию В теории информации определяют синтаксическое количество информации

материалы по первой теме.ppt

  • Количество слайдов: 4

>В теории информации определяют синтаксическое количество информации на основе энтропии В теории информации определяют синтаксическое количество информации на основе энтропии системы. Энтропия системы α, имеющая N возможных состояний, согласно формуле Шеннона, равна: где PI — вероятность того, что система находится в i- ом состоянии.

>Для случая, когда все состояния системы равновероятны, т. е. их вероятности равны Её энтропия Для случая, когда все состояния системы равновероятны, т. е. их вероятности равны Её энтропия определяется формулой Хартли

>Пример: • По каналу связи передается n-разрядное сообщение, использующее т различных символов. Пример: • По каналу связи передается n-разрядное сообщение, использующее т различных символов. Так количество всевозможных кодовых комбинаций будет N=mn, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I = log N = n log т. Если в качестве основания логарифма принять т, то I = n logm m = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = VД, полученных по каналу связи. Для неравновероятных состояний системы всегда I < VД = n. Наиболее часто m = 2 или 10. Единицами измерения в этих случаях будут соответственно бит и дит.

> • При Sp → 0 пользователь не воспринимает, не понимает поступающую информацию; • При Sp → 0 пользователь не воспринимает, не понимает поступающую информацию; • при Sp →∞ пользователь все знает, и поступающая информация ему не нужна; • при согласовании смыслового содержания сообщения S с тезаурусом пользователя Sp = Sp opt, получаем максимальное количество семантической информации Ic. • Sp = Spopt означает, что поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения.