Авиационно инженерство Административно право Административно право Беларус Алгебра Архитектура Безопасност на живота Въведение в професията „психолог” Въведение в икономиката на културата Висша математика Геология Геоморфология Хидрология и хидрометрия Хидросистеми и хидравлични машини Културология Медицина Психология икономика дескриптивна геометрия Основи на икономически т Oria професионална безопасност Пожарна тактика процеси и структури на мисълта, Професионална психология Психология Психология на управлението на съвременната фундаментални и приложни изследвания в апаратура социалната психология социални и философски проблеми Социология Статистика теоретичните основи на компютъра автоматично управление теория на вероятностите транспорт Закон Turoperator Наказателно право Наказателно-процесуалния управление модерна производствена Физика Физични феномени Философски хладилни инсталации и екология Икономика История на икономиката Основи на икономиката Икономика на предприятията Икономическа история Икономическа теория Икономически анализ Развитие на икономиката на ЕС Спешни ситуации ВКонтакте Однокласници Моят свят Facebook LiveJournal Instagram
border=0

Пример 2.7

В определен район има две тясно разположени села: А и Б. Известно е, че жителите на А винаги казват истината, а жителите на В винаги лъжат. Известно е също, че жителите на двете села обичат да посещават помежду си, така че във всяко едно от селата може да се срещнете с жител на съседно село. Пътникът, след като се отклони през нощта от пътя си, се озова в едно от двете села и, като говореше на първия човек, когото срещна, искаше да разбере в кое село е и откъде е дошъл събеседникът му. Какъв е минималният брой въпроси с двоични отговори, които пътникът трябва да зададе?

Броят на възможните комбинации очевидно е равен на 4 (пътник до А, събеседник от А; пътник до А, събеседник от В; и т.н.), т.е. n = 2 2 и следователно k = 2. Създайте си поредица от въпроси.

Нека се опитаме да разберем смисъла на резултатите, получени в този раздел. Необходимо е да се подчертаят няколко точки.

1. Изразът (2.14) е статистическа дефиниция на понятието “информация”, тъй като включва вероятности за възможни резултати от експеримента. По същество е дадено оперативно определение на нова стойност, т.е. установява процедура (метод) за измерване на стойността. Както беше отбелязано по-рано, в науката (научното познание) този метод на въвеждане на нови термини се счита за предпочитан, тъй като не може да се провери какво не може да бъде измерено и затова заслужава по-малко доверие.

Изразът (2.13) може да се интерпретира по следния начин: ако началната ентропия на експеримента е H 1 , и в резултат на комуникацията на информация / ентропия става равна на H 2 (очевидно H 1 > H 2 ) , тогава

т.е. информацията е равна на загубата на ентропия. В конкретния случай, ако първоначално равностойните резултати са n 1 , а в резултат на прехвърлянето на информацията / несигурността намалява, а броят на резултатите става n 2 (очевидно n 2 ≤ n 1 ), то от (2.15) е лесно да се получи:

Така можем да дадем следното определение:

Информацията е съдържанието на съобщение, което намалява несигурността на някакъв опит с неясен резултат; загубата на ентропия, свързана с нея, е количествена мярка за информация.

В случай на равностойни резултати, информацията е равна на логаритъма на съотношението на броя на възможните резултати преди и след (получаване на съобщението).

2. Както вече споменахме, в статистическата механика ентропията характеризира несигурността, свързана с липсата на информация за състоянието на системата. Ентропията е най-голяма при напълно неуправляемата система на равновесието - нашето съзнание е минимално за състоянието му. Подреждането на системата (индукция на някакъв ред) е свързано с получаването на допълнителна информация и намаляване на ентропията. В информационната теория ентропията също отразява несигурността, но това е различен вид несигурност - тя е свързана с незнанието на резултата от експеримента с набор от случайни възможни резултати. Така, въпреки че има много общо между ентропията във физиката и компютърните науки, е необходимо да се признае разликата между тези понятия. Ясно е, че в бъдеще концепцията за ентропия ще бъде използвана в аспекта на информационната теория.

3. Адитивността на ентропията на независимите експерименти (2.5) е адитивността на информацията. Нека избора на един от елементите (x A ) на множеството A, който съдържа n A на елементи, да е свързан с / A = log 2 n A информация, а с избора на x B от B с n B информационните елементи са свързани I B = log 2 n B, а вторият Тъй като изборът не е свързан с първия, тогава, когато се комбинират множества, броят на възможните състояния (елементи) ще бъде n = n A B n B и за да се избере комбинация x A x B се нуждаете от количество информация:

4. Нека се върнем към твърдението, че количеството информация може да бъде измерено по броя на въпросите с два еднакво вероятни отговора. Означава ли това, че винаги трябва да съм цяло число? От формулата на Хартли (2.15), както е показано, I = k битове (т.е. цялото число на битовете) само в случая п = 2 k . И в други ситуации? Например, когато играете "Guess - 7" (за да познаете число от 0 до 6), трябва да зададете m ≥ log 2 7 = 2.807 в селективната каскада, т.е. Трябва да се зададат три въпроса, тъй като броят на въпросите е цяло число.

Представете си обаче, че едновременно играем шест от същите игри. След това трябва да познаете една от възможните комбинации, които са

Следователно, за да отгатне цялата шестсимволна комбинация, се изисква I = 17 бита информация, т.е. 17 въпроса. Средно един елемент (една игра) има 17/3 = 2,833 въпроса, което е близко до стойността на log 2 7.

стойността на I , определена по описания по-горе начин, показва колко средно е необходимо да се направят двойки, за да се установи резултата (пълно елиминиране на несигурността), ако експериментът се повтаря многократно ( n ).

5. Също така е необходимо да се разбере, че не винаги с всеки един от отговорите на въпрос, който има само два възможни отговора (ще наречем такива въпроси бинарни по-долу ), точно 1 бит информация е свързана. Помислете за опита, реализиран чрез две случайни събития; тъй като има само две от тях, очевидно те са взаимно допълващи се. Ако тези събития са еднакво вероятни, p 1 = p 2 = 1/2 , и I = 1 бит, както следва от формулата на Хартли и (2.14). Въпреки това, ако вероятностите им са различни: p 1 = p, тогава, съгласно (А.8),

p 2 = 1 - p, а от (2.14) получаваме функцията:

Лесно е да се покаже, че при p → 0 и при p → 1, функцията I (p) → 0. Ситуацията може да бъде илюстрирана с графика, от която, по-специално, може да се види, че кривата е симетрична по отношение на p = 0.5 и достига максимум при тази стойност. , Ако приемем, че събитие 1 е положителен отговор на двоичен въпрос, а събитие 2 е отрицателно, тогава заключаваме:





Вижте също:

Предаване на серийни данни

Раздел 1. ИНФОРМАЦИОННА ТЕОРИЯ

Тестови въпроси и задачи

Пример 4.3

Сравнение на алгоритмичните модели

Връщане към съдържанието: Теоретични основи на компютърните науки

2019 @ ailback.ru