ШЕННОН ЭНТРОПИЯСЫ
Клод Э лвуд Ше ннон лвуд ннон Клод Шеннон 1916 жылы 30 сәуірде Петоцки қаласында Мичиган штатында туған. Ол Америкалық инженер және математик. Негізінен кибернетика, электротехника, математика , ақпараттар теориясы ғылыми салаларында көптеген еңбектер қалдырған. 2001 жылы дүниеден өтті.
Ақпарат шамасын өлшеудің үш тәсілі бар КӨЛЕМДІК АЛГОРИТМДІК ЭНТРОПИЯЛЫҚ
Ақпарат теориясында ақпартты өлшеу үшін энтропиялық тәсіл пайдаланады. энтропия – ішке айналу
Энтропия деп кездейсоқ (екіұштылық) болатын жағдайдың (орындалуы алдында нәтижесі белгілі емес тәжірибенің) анықталмағандық шамасын айтады.
Ол мынадай модельден тұрады: - Тәжірибе бойынша белгілі оқиғалардың орындалу шамасы анықталады; - шамаларды дәл есептеу мүмкін болмағандықтан, олардың энтропиясын ықтималдықты пайдаланып есептейді. Энтропияны ақпараттың жеткіліксіз шамасы деп қарастыруға болады. Ол ықтималдылықтар жиынытығының біршама математикалық байланыстылығы арқылы сипатталады.
Мысалы: Тиын ақша аспанға лақтырғанда оның сандық бетімен не қарсы бетімен түсуінің энтропиясын анықтау керек. Мұндай жағдай тең ықтималдықты екі оқиғадан тұратыны белгілі, ықтамалдық (Р) 0, 5 -ке тең. Ақпарат теориясында берілген тең ықтималдықты n оқиғалар үшін оқиғаның энтропиялық шамасы (Н) анықталатын формула:
Дерек хақында айтылса, ақпарат деп әлдебір түйін жасауға болатындай ақиқаттар жиынтығын қарастыруға болады. Оқу, тәжірибе немесе тапсырмалар арқылы ақпарат алынатындықтан оның т. б. түсініктемелері болуы мүмкін. Қалай болғанда да ақпарат деректерді өңдеу, реттеу және оларды қабылдаушыға жаңа білім болатындай ұйымдастыру нәтижес болып табылады.
Байланыс теориясы нәтиженің (шығыстың) анықсыздығының сандық өлшемі болып табылады. Мысалға, “мыңдаған биттерден тұратын ақпарат” деп айта аламыз. Байланыс теориясында жиі Клод Шеннонның есімімен байланысты ақпарат энтропиясы деген ұғым пайдаланылады
Көлемдік өлшем –мәлімет құрайтын символдар саны. Оны өлшеу ақпараттың жазылу түріне байланысты. Мысалы, 13 санын түрліше жазуға болады: «он үш» , 13, ХІІІ, 11012 (бұлардың соңғысы екілік санау жүйесінде жазылған).
Алгоритмдік байланыс теориясы ақпаратты өлшеудің қосымша жолын береді. Қысқаша қайырғанда, бұл тәсіл ақпарат мазмұнын белгілер тізімінің болжамдығына негіздеп өлшейді, немесе басқаша айтқанда бағдарлама арқылы тізімді есептеу қаншалықты оңай: тізімнің ақпарат мазмұны ең қысқа осы тізімді есептейтін бағдарламаның биттер саны болып табылады. Төмендегі тізімнің алгоритмдік өлшемі өте аз болар еді, өйткені ол - оңай болжауға болатын құрылым, және құрылым ретінде жалғасқанымен өлшемі өзгермейді. Шеннон ақпараты тізімнің әр белгісі үшін, олар статистикалық кездейсоқ болғандықтан, дәл осындай ақпарат өлшемін берер еді, ал әр жаңа белгі өлшемін үлкейтер еді. 123456789101112131415161718192021
РАХМЕТ