Список рекомендованной литературы • Цымбал В.
Список рекомендованной литературы • Цымбал В. П. Теория информации и кодирования. – Киев: Вища школа, 1987. - с. • Тутевич В. Н. Телемеханика. - М. : Высшая школа, 1985. - 423 с. • Темников Ф. Е. , Афонин В. А. , Дмитриев В. И. Теоретические основы информационной техники. – М. : Энергия , 1979. - 426 с. • Цымбал В. П. Задачник по теории информации и кодированию. –Киев: Вища школа, 1976. – 276 с. • Катков В. Ф. Телеуправление. – К. : Техника, 1967. – 375 с. • Катков Ф. А. , Дидык Б. С. , Стулов В. А. Телемеханика. – К. : Вища школа, 1974. – 248 с. • Туманян Г. Б. Телемеханика. Раздел «Кодирование и декодирование сообщений» . – М. : МГИ, 1981. – 88 с.
Основные понятия ТИ.
Теория информации – раздел кибернетики, в котором математическими методами изучаются способы измерения количества информации, содержащейся в каких – либо сообщениях результатов измерения, а также способы её передачи и хранения.
Кибернетика – наука о способах и средствах получения, передачи, обработки и использования информации для управления и регулирования.
Теория информации уделяет особое внимание вопросам преобразования информации и созданию эффективных методов её передачи, наиболее полно и целесообразно использующих линии связи.
Теория информации – математическая дисциплина, использующая методы теории вероятностей, математической статистики, линейной алгебры, теории графов.
Основная задача ТИ – максимальное использование потенциальных возможностей каналов связи путём совместной реализации оптимального кодирования источника и помехоустойчивого кодирования.
Теория кодирования – часть современной ТИ. ТИ изучает вопросы разработки алгоритмов кодирования и декодирования, и также оценивать их эффективность.
Кодирование источников сообщения – (оптимальное кодирование и сжатие сообщений) и помехоустойчивое кодирование (обнаружение и исправление ошибок).
Информация – функция отношения числа возможных ответов до и после получения информации. Информация – сведения, которые сокращают неопределённость существовавшую до их поступления.
Любое отражение математического мира несёт информацию. Отражение может быть представлено в виде набора символов, букв, цифр, т. е. формализовано . Такой набор называется данными. Данные полученные от источника информации – сообщения. Не все сообщения могут быть информацией.
Сведения не увеличивающие и не уменьшающие неопределённость, существующую до их поступления – информационными шумами. Степень новизны информации оценивается по вероятности появления того или иного события (т. вероятности и математическая статистика).
Теория информации занимается изучением количества информации в сообщениях безотносительного их конкретного содержания, т. к. процесс передачи информации не предусматривает изменения её содержания. Предмет изучения теории информации – изучение вероятностных характеристик исследуемых объектов или явлений (вероятность – удобная численная мера неопределённости).
История развития ТИ
20 -е – 30 -е годы – бурное развитие техники, электро и радиосвязи привело к появлению научных работ касающихся информационных процессов при передачи информации.
1928 г. Хартли Р. Л. – английский учёный, сделал количественное описание информации и ввёл логарифмический закон её изменения в зависимости от числа возможных выборов.
1933 г. Котельников В. Л. – теорема о дискретном представлении функции времени с ограниченным спектром (практические рекомендации по оценке пропускной способности каналов связи).
1941 г. Колмогоров А. Н. и 1948 г. Винер Н. – работы по интерполяции, экстраполяции и фильтрации случайных процессов.
Винер ввел основную категорию кибернетики — управление , показал существенные отличия этой категории от других , например , энергии , опис несколько задач, типичных для кибернетики, и привлек всеобщее внимание к особой роли вычислительных машин , считая их индикатором наступления новой НТР. Выделение категории управления позволило Винеру воспользоваться понятием информации , положив в основу кибернетики изучение законов передачи и преобразования информации.
1946 г. – работы Котельникова В. А. по исследованию помехоустойчивости средств связи.
В СССР значительный вклад в развитие кибернетики внесли академики Берг А. И. и Глушков В. М.
1948 г. – Шеннон И. «Математическая теория связи» (теоремы о пропускной способности связи) и помехоустойчивости (теория Котельникова).
Различают математическую ТИ (работы А. Н. Колмогорова, А. Я. Хингина) и прикладную, связанную с решением прикладных задач (работы Харкевича А. А. , Голдина С. ).
Основная задача теории информации – оптимальное использование информационных характеристик источников сообщений и каналов связи для построения кодов, обеспечивающих заданную достоверность передаваемой информации с максимально возможной скоростью и минимально возможной стоимостью.
Достигается основная задача: а) оценкой степени использования возможности сигнала и пропускной способности канала связи, т. е. эффективность передачи. б) установлением целесообразной системы сигналов с точки зрения минимальной вероятности искажения помехой, т. е. обеспечение помехоустойчивости передачи сообщений.
Подзадачи: • проблемы измерения количества информации; • изучение свойств информации; • исследование взаимодействия систем и элементов систем методами ТИ; • решение прикладных задач.
Канал связи – совокупность технических средств, обеспечивающих независимую передачу сообщений.
Сообщения – любые сведения, подлежащие передачи (буквы, слова, изображения, команды ТИ и др. ). Передача сообщений на расстоянии связана с преобразованием сигналов. Линия связи – среда в которой распространяются сигналы.
Линии связи бывают: • проводные; • радиотехнические; • оптические; По линии связи могут одновременно передаваться несколько сообщений, а каждое сообщение передаётся отдельно по своему каналу связи.
Сигнал – любое изменение начального состояния объекта которое способно вызвать реакцию человека или прибора.
Код – универсальный способ отображения информации при её хранении, передачи и обработке в виде системы однозначных соответствий между элементами сообщений и сигналами, при помощи которых эти элементы можно зафиксировать. Кодирование сводится к однозначному преобразованию символов одного алфавита в символы другого алфавита, т. е. код – правило, закон, алгоритм, по которому осуществляется это преобразование.
Количество информации.
Первичный алфавит – символы при помощи которых записано передаваемое сообщение. Вторичный алфавит – символы при помощи которых сообщение трансформируется в код.
Любое сообщение содержит информацию. Если при передаче и приёме сообщений поступление данного сообщения ожидается с большей вероятностью, то такое сообщение содержит мало информации и, наоборот, если поступление данного сообщения получателя ожидается с меньшей вероятностью, то в таком сообщении содержится много информации
Количество информации зависит от вероятности появления того или иного сообщения. Если общее число событий равно N и возникновение каждого события равновероятно, то вероятность возникновения данного события обратно пропорционально общему числу возможных состояний.
Число возможных сообщений: n импульсов, т. е. элементов сообщения принимающих одно из m возможных состояний
Количество полученной информации равно логарифму обратной вероятности этого события:
Если события равновероятны и вероятность каждого события равна получим:
За единицу количества информации принимается информация элементарного сообщения, состоящего из одного символа (n=1) двоичного алфавита (m=2). ; дв. ед. (бит)
События равновероятны, поэтому вероятность появления любого из N сообщений
Когда все m состояний неравновероятны и их вероятности соответственно равны: Количество информации определяется как:
Теория информации.ppt
- Количество слайдов: 41