Теория информации и кодирования доц. Бритик В. И. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 1
Базовые понятия. Информация. Канал связи – это среда передачи информации, основная характеристика которой есть ёмкость канала связи (экспериментально приблизительно определяется через максимальную частоту волновых процессов допустимых в данном канале). Скорость передачи информации — скорость передачи данных, выраженная в количестве бит, символов или блоков, передаваемых за единицу времени. Теоретическая верхняя граница скорости передачи информации определяется теоремой Шеннона-Хартли. Теорема Шеннона-Хартли n Теорема Шеннона-Хартли утверждает, что ёмкость канала C, означающая теоретическую верхнюю границу скорости передачи информации, которые можно передать с данной средней мощностью сигнала S через один аналоговый канал связи, подверженный аддитивному белому гауссовому шуму мощности N равна: n где n n n C— ёмкость канала в битах в секунду; B — полоса пропускания канала в герцах; S — полная мощность сигнала над полосой пропускания, измеренной в ваттах или вольтах в квадрате; N — полная шумовая мощность над полосой пропускания, измеренной в ваттах или вольтах в квадрате; S/N — отношение сигнала к шуму(SNR) сигнала к гауссовскому шуму, выраженное как отношение мощностей. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 2
Скорость передачи информации. Базовая единица измерения скорости передачи информации, используемая на физическом уровне сетевой модели OSI или TCP/IP —Бит в секунду (bits per second, bps). n На более высоких уровнях сетевых моделей, как правило, используется более крупная единица — байт в секунду (Б/c или Bps, от bytes per second) равная 8 бит/c. n Битами в секунду измеряется эффективный объём информации, без учёта служебных битов (стартовые/стоповые/чётность), применяемые при асинхронной передаче. n Кроме этого, бодами выражают полную ёмкость канала, включая служебные символы (биты), если они есть. n Бод (baud) в связи и электронике — единица измерения символьной скорости, количество изменений информационного параметра несущего периодического сигнала в секунду. n Ошибочно, считают, что бод — это количество бит, переданное в секунду. В действительности же это верно лишь для двоичного кодирования, которое используется не всегда. Например, в современных модемах используется квадратичная амплитудная модуляция (QAM - КАМ), и одним изменением уровня сигнала может кодироваться несколько (до 16) бит информации. Например, при символьной скорости 2400 бод скорость передачи может составлять 9600 бит/c благодаря тому, что в каждом временном интервале передаётся 4 бита. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 3
Производные единицы. Для обозначения больших скоростей передачи применяют более крупные единицы, образованные с помощью приставок системы СИ кило-, мега-, гига- и т. п. получая: n Килобиты в секунду — -Кбит/с (Кbps, Kbit/s или Kb/s) n Мегабиты в секунду — - Мбит/с (Mbps, Mbit/s или Mb/s) n Гигабиты в секунду — - Гбит/с (Gbps, Gbit/s или Gb/s) n Терабит в секунду— - Тбит/с (Tbps, Tbit/s или Tb/s) n Петабит в секунду— Пбит/с. … и т. д. n Часто путают Mb/s и MB/s (1 MB/s = 8 Mb/s), поэтому рекомендуется использовать сокращение Mbit/s. 100 Пбит/скм по оптоволокну добилась Alcatel-Lucent n Компания Alcatel-Lucent анонсировала новый рекорд передачи данных по оптическому каналу, достигнутый усилиями исследовательского подразделения Bell Labs. Результат – 100 петабит в секунду на километр (эквивалентно 100 млн Гбит/скм). Эксперимент включал передачу объёма данных, равного 400 DVD, за секунду на расстояние более 7000 км – приблизительно как между Парижем и Чикаго. Это самая высокая пропускная способность, когда-либо достигнутая для трансокеанской дистанции, и превышает возможности самых передовых коммерческих подводных линий в 10 раз. Чтобы добиться таких показателей, исследователи из Bell Labs инновационным путём использовали новую детектирующую технику и массив разнообразных технологий в области модуляции, передачи и обработки сигналов. n ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 4
1000 или 1024: два подхода В отношении трактовки приставок к битам существует неоднозначность. Встречается два подхода: стандартный — 1 килобит = 1000 бит (как килограмм или километр), мегабит как 1000 килобит и т. д. так как ГОСТ 8. 417 -2002 ( «Единицы величин» ) определяет «кило» как 1024 только для байтов. Основное преимущество данного метода — простота вычислений. Например, мало кто без калькулятора скажет сколько будет один (или полтора) мегабита в битах, (при 1 Мбит/c = 1024 кбит/c = 1024 × 1024 бит/c) n традиционный — 1 килобит = 1024 бита, мегабит как 1024 килобита и так далее. Основное преимущество данного метода — соответствие традиционным для вычислительной техники (где обычно и применяется) килобайтами, мегабайтами и т. п. Так чтобы 8 кбит/c = 1 КБ/c (а не 0, 9765625) Частые ошибки n Начинающие часто путают килобиты c килобайтами, ожидая скорости 256 КБ/c от канала 256 Кбит/c (скорость 31, 25 или 32 КБ/c). n Для того чтобы узнать настоящую скорость интернет подключения нужно Кб/с * 0, 125 ( Пример: Скорость равна 512 Кб/с. 512 * 0, 125 = 64 КБ/с( 64 - Реальная скорость интернет подключения)). n Часто (ошибочно или намеренно) путают биты/c c бодами. n 1 кбод (в отличие от Кбит/c) всегда равен 1000 бод. Битрейт (bit rate) — буквально, скорость прохождения битов информации. Битрейт принято использовать при измерении эффективной скорости передачи информации по каналу, то есть скорости передачи «полезной информации» (помимо таковой, по каналу может передаваться служебная информация — например, стартовые и стоповые биты при асинхронной передаче по RS-232 или контрольные символы при избыточном кодировании). Скорость передачи информации, учитывающую полную пропускную способность канала, измеряют в бодах. n ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 5
Источники информации и каналы передачи информации. Общая характеристика источников информации Основные вопросы теории информации: n Обеспечение помехоустойчивости n Обеспечение высокой эффективности Под высокой эффективностью понимается – получить наиболее высокие оценки эффективности при минимальных возможных информационных средствах. n Математические модели: сигналы условно делятся на детерминированные и случайные. n Детерминированные в строгом понимании не существуют, т. к. они не несут информации. Случайные сигналы – это те, значения которых априорно не известны и не могут быть описаны с помощью вероятности, если он цифровой, и плотности вероятности, если он аналоговый. n Виды информации: n дискретная; n аналоговая; n Источник информации или сообщение – это любой объект, состояние которого изменяется по случайному закону во времени или в пространстве. n Сообщение – дискретное или непрерывное n Между отдельными символами или сообщениями могут существовать вероятностные зависимости – корреляционные, означающие, что вероятность события Хі зависит от того, какие символы были переданы ранее. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 6
Производительностью источника. Источники, у которых корреляционные связи распространены только на конечно число предшествующих символов, называются эргодическими. Для них характерно, что символы, находящиеся на достаточно далеком расстоянии – независимы, т. е. корреляция отсутствует. n Отдельные символы на выходе источника информации появляются через некоторые интервалы времени. Это означает, что можно говорить о длительности отдельных символов или о количестве информации, вырабатывающейся в единицу времени. Производительностью источника. Если средняя длительность символа равна , то энтропия приходящаяся на единицу времени равна: n n n Эта величина называется скоростью создания сообщений или производительностью источника. Производительность зависит от количества различных символов, их длительности и статистических характеристик. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 7
Общая характеристика каналов передачи информации n n Производительность зависит от количества различных символов, их длительности и статистических характеристик. В случае равенства длительности сигналов , производительность Чтобы производительность была максимальной, необходимо обеспечить максимальную энтропию на символ. Если символы имеют различную длительность, то необходимо уменьшить длительность символов . n Полученная в результате опыта информация должна передаваться на расстоянии, приниматься и обрабатываться в течении определенного времени. n Если количество передаваемой, принимаемой или перерабатываемой информации в течении времени Т обозначить через I, то можно определить скорость поступления информации, или поток информации Шеннон показал, что информационную емкость (пропускная способность) системы можно определить формулой ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 8
Теорема Шеннона для канала без помех где – полоса пропускания системы передачи информации. n и – средняя мощность сигнала и шума в системе. Пусть Vu - (информационная) производительность источника, т. е. количество информации, производимое источником в единицу времени; Ck — (информационная) пропускная способность канала, т. е. максимальное количество информации, которое способен передать канал без искажений за единицу времени. Первая теорема Шеннона утверждает, что безошибочная передача сообщений определяется соотношением Vu и Ck. Первая теорема Шеннона: если пропускная способность канала без помех превышает производительность источника сообщений, т. е. удовлетворяется условие Ck >Vu, то существует способ кодирования и декодирования сообщений источника, обеспечивающий сколь угодно высокую надежность передачи сообщений. В противном случае, т. е. если Ck <Vu Такого способа нет. Таким образом, идеальное кодирование по Шеннону по существу представляет собой экономное кодирование последовательности сообщений при безграничном укрупнении сообщений. Такой способ кодирования характеризуется задержкой сообщений n ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 9
Теорема Шеннона для канала без помех поскольку кодирование очередной типичной последовательности может начаться только после получения последовательности источника длительностью T, а декодирование — только когда принята последовательность из канала той же длительности T. Поскольку требуется , то идеальное кодирование требует бесконечной задержки передачи информации. В этом причина технической нереализуемости идеального кодирования по Шеннону. Тем не менее, значение этого результата, устанавливающего предельные соотношения информационных характеристик источника и канала для безошибочной передачи сообщений, весьма велико. Исторически именно теорема Шеннона инициировала и определила развитие практических методов экономного кодирования. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 10
Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока). n Шеннон показал, что теоретический предел скорости передачи информации, определяется пропускной способностью системы, причем: если скорость передачи сообщений меньше пропускной способности канала связи n – передача возможна со сколь угодно малой погрешности то существуют коды и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности. Если же – безошибочная передача информации принципиально невозможна. То кода, на основе которого можно добиться сколько угодной малой вероятности возникновения ошибки, не существует. n n n Теоретического предела скорости поступления информации можно достигнуть лишь при выполнении 3 -х условий: при бесконечно большом времени накоплении передаваемой информации; при оптимальном кодировании этой информации; при условии, что сигнал и шум являются нормально белыми процессами. Невыполнение первых двух условий приводит к уменьшению реально возможной скорости передачи информации. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 11
ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 12
ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 13
. ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 14
ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 15
ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 16
ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 17
ХНУРЕ, Кафедра Інформатики informatika@kture. kharkov. ua 18
Скачать презентацию Теория информации и кодирования доц Бритик В И
ТИиК_Лекция 2_1.ppt