Edu Doc

КАТЕГОРИЯ:


Астрономия- (809) Биология- (7483) Биотехнологии- (1457) Военное дело- (14632) Высокие технологии- (1363) География- (913) Геология- (1438) Государство- (451) Демография- (1065) Дом- (47672) Журналистика и СМИ- (912) Изобретательство- (14524) Иностранные языки- (4268) Информатика- (17799) Искусство- (1338) История- (13644) Компьютеры- (11121) Косметика- (55) Кулинария- (373) Культура- (8427) Лингвистика- (374) Литература- (1642) Маркетинг- (23702) Математика- (16968) Машиностроение- (1700) Медицина- (12668) Менеджмент- (24684) Механика- (15423) Науковедение- (506) Образование- (11852) Охрана труда- (3308) Педагогика- (5571) Полиграфия- (1312) Политика- (7869) Право- (5454) Приборостроение- (1369) Программирование- (2801) Производство- (97182) Промышленность- (8706) Психология- (18388) Религия- (3217) Связь- (10668) Сельское хозяйство- (299) Социология- (6455) Спорт- (42831) Строительство- (4793) Торговля- (5050) Транспорт- (2929) Туризм- (1568) Физика- (3942) Философия- (17015) Финансы- (26596) Химия- (22929) Экология- (12095) Экономика- (9961) Электроника- (8441) Электротехника- (4623) Энергетика- (12629) Юриспруденция- (1492) Ядерная техника- (1748) Arhitektura- (3434) Astronomiya- (809) Biologiya- (7483) Biotehnologii- (1457) Военни бизнесмен (14632) Висока technologies- (1363) Geografiya- (913) Geologiya- (1438) на държавата (451) Demografiya- ( 1065) Къща- (47672) журналистика и смирен (912) Izobretatelstvo- (14524) външен >(4268) Informatika- (17799) Iskusstvo- (1338) историята е (13644) Компютри- (11,121) Kosmetika- (55) Kulinariya- (373) културата е (8427) Lingvistika- (374) Literatura- (1642) маркетинг-(23702) математиците на (16968) Механична инженерно (1700) медицина-(12668) Management- (24684) Mehanika- (15423) Naukovedenie- (506) образователна (11852) truda- сигурност (3308) Pedagogika- (5571) Poligrafiya- (1312) Politika- (7869) Лево- (5454) Priborostroenie- (1369) Programmirovanie- (2801) производствено (97 182 ) индустрия- (8706) Psihologiya- (18388) Religiya- (3217) Svyaz (10668) Agriculture- (299) Sotsiologiya- (6455) на (42831) спортист строително (4793) Torgovlya- (5050) транспорт ( 2929) Turizm- (1568) физик (3942) Filosofiya- (17015) Finansy- (26596) химия (22929) Ekologiya- (12095) Ekonomika- (9961) Electronics- (8441) Elektrotehnika- (4623) Мощност инженерно ( 12629) Yurisprudentsiya- (1492) ядрена technics- (1748)

формула Хартли

количество информация

В проучването на различни явления и обекти на света хората искаха да се асоциират с тези обекти номер, въведете тяхната количествена мярка. Хората са се научили за измерване на разстояния, да се претеглят различни предмети, се изчислява площта на форми и обеми на тела. След като научил за измерване на времето, продължителността му, ние все още се опитва да разбере своята същност. Термометърът е изобретен преди много години учените са разбрали, че той измерва: след появата на първия термометър за създаването на термодинамиката отне около три века. Количествено изследване на едно явление, обект може да бъде в навечерието на своята качествено изследване, образуването на съответното понятие може да последва количествено изследване.

Подобно е положението по отношение на информацията. Р. Хартли през 1928 г. и след това през 1948 г., Шанън предложи формула за изчисляване на размера на информация, обаче, по въпроса за това каква информация те не са отговорили.

В теория на комуникацията информация се появява под формата на различни доклади: например, букви или цифри, в телеграфия, или като непрекъсната функция на времето, както в телефонията или излъчване.

Във всеки от тези примери, в крайна сметка, задачата е да се прехвърли на семантичното съдържание на човешката реч.

На свой ред, човешката реч може да бъде представена в звукови вибрации или в писмена форма.

Това е още една от характеристиките на този вид информация: способност да представлява същото семантично съдържание в различна физическа форма.

Това първо беше подчертано W. Ашби.

Представяне на информация в различна физическа форма се нарича кодиране. За да общува с други хора, човек трябва постоянно да се справят с кодиране, транскодиране и декодиране. Очевидно е, че информацията за комуникационни канали могат да се предават в различни системи на кодиране.

Р. Хартли представен за първи път в методиката за предаване "измерване на количеството информация," теорията на информацията. В същото време Р. Хартли Вярва се, че информацията, че той щеше да бъде измерено, че е "... група от физически символи - думи, точки, тирета и т.н., като общо споразумение за определен смисъл на съответните страни ..." Така намерението Хартли беше да се въведе някаква мярка за измерване на кодираната информация.

Да предава последователност на N символи и 1 и 2 и 3 и п ..., всяка от които принадлежи на азбуката М, съдържащ м символи. Какъв е броят K на различни варианти на тези последователности?

Ако п = 1 (един символ се предава), след това К = М; ако п = 2 (последователността на предаваните два знака), след това К = М * М = М 2; Като цяло, за последователност на N символи се



Количеството информация, съдържаща се в тази последователност, Hartley препоръчва да се изчисли логаритъм на база 2 K:

I = Log 2 K,

където K = m н.

Това означава, че количеството на информацията, съдържаща се в поредицата от символи от азбуката N М, съгласно формулата още Hartley

I = Log 2 Н) = N Log 2 м

Забележка 1. Хартли предполага, че азбуката A м може с еднаква вероятност (честота) се срещне навсякъде в съобщението. Това състояние е нарушено за естествен език азбуки: например, не всички букви от руската азбука са намерени в текста със същата честота.

Забележка 2. Всяко съобщение на дължина н в азбуката A м ще съдържа същото количество информация. Например, в азбука {0; 1} Публикациите 00111, 11001 и 10101 съдържат същото количество информация. Това означава, че при изчисляването на размера на информация, съдържаща се в съобщението, ние се абстрахира от нейното семантично съдържание. "Смислена" съобщение и съобщението, получено от него всяка пермутация на героите, ще съдържа същото количество информация.

Пример. В телеграфен съобщението използва два символа - (.) Точка и тире (-), т.е. азбука се състои от м = 2 символа. След това, предаването на един символ (п = 1), количеството информация I = Log 2 2 = 1. Тази сума бе като единица за измерване на количеството на информацията, и се нарича 1-битов (от двоична единица английски = битова). Ако телеграфни съобщения в азбуката {. ; - N} съдържа символи, количеството информация I = N Вход 02 Февруари = N (битове).

Използване на символите 0 и 1 са кодирани в предаването на компютъра и информация в компютърни мрежи, т.е. азбука, съставена от два символа {0; 1}; един символ в този случай се състои от I = Log 2 2 = 1 бит информация, така че н знака дължина на съобщението в азбуката {0; 1} съгласно формула I Hartley = N Вход 2 м (I = N Вход 2 2 = N) ще съдържа N бита информация.

Ако говорим за предаване на съобщения в азбуката на руски език, който се състои от 33 букви, количеството на информацията, съдържаща се в съобщението на п герои, изчислена по формулата Хартли, както и

I = N * Влезте 2 33 ≈ Н * 5.0444 бита.

Английската азбука има 26 букви, един символ съдържа

Влезте 26 февруари ≈4.7 битов

така съобщението на п герои, изчислена по формулата Хартли съдържа п * Влезте 26 февруари ≈ 4.7 * п бита информация.

Въпреки това, този резултат не е правилна, тъй като тя не отговаря на всички букви в текста със същата честота. В допълнение към буквите от азбуката, че е необходимо да се добави сепаратори: пространство, точка, запетая и др.

Формула I The = log2 K прилича Болцман формула за изчисляване на ентропията на системата с N еднакво вероятни microstates:

S = - К * Ln (W ),

където К - Болцман константа = 1.38 х 10 -23, и W - вероятността от спонтанно приемане на един от microstates на системата за единица време Т = 10 -13 е. , W = 1 / N, т.е.

S = -k * Ln (1 / N) = к * Ln ( N),

което е в съответствие с формула S = - К * Ln (W ) , с изключение на фактор к и основата на логаритъм. Поради тази прилика Log 2 стойност K в теорията на информацията се нарича ентропия и символ H означават.

Информация ентропия - мярка за неопределеността на статута на случайна променлива (физическа система) с ограничен или изброимо множество държави.

Случайна променлива (RV) - стойност, която е резултат от експеримент или наблюдение отнема числова стойност, като не се знае предварително какво.

Така че нека X - случайна променлива, която може да отнеме N различни стойности на х 1, х 2, ... х N; ако всички стойности на RV X еднакво, ентропията (мярка за несигурност) на X е:

H (X) = Log 2 N.

Забележка. Ако случайна променлива (система) може да бъде само в една състояние (N = 1), си ентропия е равен на 0. В действителност, това не е случайна променлива. Несигурността на системата е по-висока, толкова по-голям броят на възможните състояния еднакво.

Ентропия и количеството информация, измерена в същите единици - в бита.

Определение. 1 бит - това е ентропията на система с два еднакво вероятни състояния.

Нека X система може да бъде в две състояния x1 и x2 с еднаква вероятност, т.е. П = 2; след това си ентропия H (X) = Log 2 2 = 1 бит.

Един пример за такава система ни дава монета хвърляне, което попада в обхвата на всяко орел (x1), или опашки (x2). Ако монетата е "право", а след това вероятността за получаване на ези-тура е един и същ и е равна на 1/2.

Нека да дам още един определение на информация единица.

Определение. В отговор на въпроса на всякакъв характер (от всякакво естество) съдържа 1 бит информация, ако тя е също толкова вероятно да бъде "да" или "не".

Пример. Играя в "празно-гъста." Вие се скрие малък обект в едната ръка и да предложи на партньора си да се отгатне коя ръка трябва да го скрит. Той ви пита "в лявата си ръка?" (Или просто избира ръката си наляво или надясно). Можете да отговори с "да", ако той предположил, или "Не" по друг начин. Във всеки сценарий Отговор партньор получава 1 бит информация, и несигурността на ситуацията е напълно елиминирано.

Хартли формула може да се използва за решаване на проблемите в определението на избрания елемент от даден набор. Този резултат може да бъде формулиран като следните правила:

ако в даден набор от M, състояща се от N елемента, подчерта някои елемент х, от които нищо повече не е известно, за определянето на този елемент е необходимо да се получи Вход 2 N бита информация.

Помислете за някои проблеми, свързани с употребата на Хартли формула.

Задача 1. Някой заченат естествено число от 1 до 32. Какво е минималният брой въпроси, трябва да се настрои да се гарантира предположение замислена (избрано) брой. Отговорите могат да бъдат само с "да" или "не".

Коментар. Можете да се опита да отгатне броя на планове просто търсене. Ако имате късмет, ще трябва да попитам само един въпрос, и в най-жалко форма бюст трябва да се запитаме 31 въпроса. Предложената задача трябва да бъде да се определи минималният брой въпроси, с които ви са гарантирани, за да се посочи броят на плановете.

Solution. Чрез Хартли формула може да се изчисли количеството информация, която трябва да се получи, за да се определи избрания елемент х от множеството от цели числа {1,2,3 ...... 32}. Чрез получаване H = Log 2 5 = 32 бита информация. Въпросите трябва да бъдат определени така, че отговорите са еднакво вероятни. Тогава отговорът на всеки такъв въпрос ще генерира 1 бит информация. Например, броят може да бъде разделена на две равни групи с 1 до 16 и 17 до 32 и поиска да какво е замислена номер група. Освен това, по същия начин трябва да се извършва със специален група, която вече съдържа само 16 числа и т.н. Да предположим, например, броят на 7 планирано.

Въпрос №1: Измислен номер 17 принадлежи на множеството {32} ..? Отговорът е "не" ви носи един бит информация. Ние вече знаем, че броят принадлежи към множеството {1 .. 16}.

Въпрос №2: Измислен номер принадлежи на {1} .. 8? "Да" отговор ви носи повече 1 бит информация. Ние вече знаем, че броят принадлежи към множеството {} 1 .. 8.

Въпрос №3: Измислен номер принадлежи на {1} .. 4? Отговорът е "не" ви носи повече 1 бит информация. Ние вече знаем, че броят принадлежи към множеството {5} .. 8.

Въпрос №4: Измислен номер принадлежи на множеството {7; 8}? "Да" отговор ви носи повече 1 бит информация. Ние вече знаем, че броят принадлежи към множеството {7; 8}.

Въпрос №5: Измислен брой е 8? Отговорът е "не" ви носи повече 1 бит информация. Сега ние знаем, че зачена брой е 7. Проблемът е решен. пет въпроса в отговора, получени 5 бита на информация и определят броя на планове са създадени.

Задача 2. (Проблемът на фалшиви монети). Има 27 на монети, от които 26 от тях, както и една фалшива. Какъв е минималният брой претегляния на баланса на лъча, за които може да бъде гарантирано за определяне фалшива монета от 27, като се използва факта, че фалшивата монета е по-лесно да се представи.

Лост везни имат две чаши и те могат да се използват само за да се определи дали едно и също съдържание от теглото на чаши, и ако не, тогава съдържанието на чашите, които е по-тежък.

Solution. Това е предизвикателство за определянето на избрания елемент от формулата 27. Хартли, ние може веднага да се определи размерът на информация, която трябва да получи, за да се определи фалшивата монета: тя е равна на I на Log = 2 27 = Log 2 (3 3) = 3 2 3 Вход малко. Имайте предвид, че дори и без да знаят стратегията за претегляне, можете да кажа колко много информация, която ние трябва да стигнем до задачата.

Ако сложим на кантара, равен на броя на монетите, които могат да бъдат три еднакво вероятни резултати:

1. остави чашата е по-тежък от дясно (L> R);

2. Левият чашата е по-лесно да се надясно (L <R);

3. остави чашата е в равновесие с право (L = R);

"Beam баланс" система може да съществува в три държави еднакво вероятни, така един с тегло позволява Вход март 2 бита информация. Общо за решаване на проблема, което трябва да получите I = Вход 2 3 3 бита на информация, то тогава е необходимо да се направят три претегляне за определяне на фалшивата монета. Ние вече знаем, минималният брой претегляния, но все още не знам как те трябва да се провеждат. Стратегията трябва да бъде такава, че да се даде възможност на всяка с тегло максимум количество информация. Разделете монети в три равни купчини А, В и С на всеки от 9 части. Фалшивите монети, тя се означава с буквата F, може с еднаква вероятност да бъде във всяка от трите купчини. Ние избираме всеки две от тях, например А и Б, и се претеглят. Има три възможни изхода:

1) A-тежък B (A> B); След това е IV;

2) A-лек B (A <B); След това е IA;

3) е в равновесие с В = В); След това е оС.

Независимо от резултата, ние определяме какво е куп е фалшива монета, но тази купчина ще има само 9 монети. тя Razobёm на три равни купчини Al, бл, C1 до 3 във всяка монета. Ние избираме да са два и се претеглят. Както и в предишната стъпка, ние определяме купчината монети, която е фалшива монета, но сега само шепа се състои от три монети. Ние избираме всеки две монети и се претеглят. Това ще бъде последният, трети с тегло, след което можем да открием една фалшива монета.

Задача 3. Без помощта на калкулатор, изчисли до един бит на ентропията на системата, която може с еднаква вероятност е 50 щата.

Solution. Съгласно формулата N = Вход Хартли 2 50. Ние очакваме, изразът.

Очевидно 32 <50 <64; логаритъм на това неравенство -> Log232 <Log250 <Log264 - > 5 <Log250 <6. Ентропията на система с точност от 1 бит 5 <п <6.

Цел 4. Известно е, че ентропията на системата е 7 бита. Определете броя на състояния на системата, ако е известно, че всички те са еднакво вероятни.

Solution. Нека N е броят на състоянията на системата. Тъй като всички държави са еднакво вероятни, след това H = Log 2 N -> N = 2 п, т.е. N = 07 Февруари = 128.30.

<== Предишна лекция | На следващата лекция ==>
| формула Хартли

; Дата: 04.01.2014; ; Прегледи: 1405; Нарушаването на авторските права? ;


Ние ценим Вашето мнение! Беше ли полезна публикуван материал? Да | не



ТЪРСЕНЕ:


Вижте също:

  1. Билет 50. Дебай формула
  2. Vіdobrazhennya лопатар във формули
  3. Въпрос 7. Същността на принципа на ускорението. Ускорение фактор. ускорител формула
  4. Изчисляването на определени интеграли. Нютон-Лайбниц формула
  5. Дифракция при пространствена решетка. формула Браг
  6. Нютон интерполация формула за нееднакво мрежа
  7. Quantum хипотеза. формула на Планк
  8. Kraplinna че plіvkova залог кондензация. Репетирате techії plіvki кондензат. Teplovіddacha в kondensatsії. Nusselt формула. Vpliv rіznih faktorіv на teploobmіn в kondensatsії.
  9. Ламинарен и турбулентен поток. Номерът на Рейнолдс. Ламинарен поток на вискозна течност в цилиндрични тръби. Поазьой формула. Хидравлична устойчивост.
  10. ЛЕКЦИЯ 19. Концепцията за устойчивост на сградите. Стабилност централно сгъстен прът в рамките на пропорционалност. Формула на Ойлер
  11. Лекция формула 19. Тейлър. серия Тейлър.
  12. Лекция №3. Концепцията на вероятностите. Условна вероятност. формула на Бейс ".




ailback.ru - Edu Doc (2013 - 2017) на година. Тя не е автор на материали, и дава на студентите с безплатно образование и използва! Най-новото допълнение , Al IP: 11.45.9.26
Page генерирана за: 0.05 секунди.