Авиационно инженерство Административно право Административно право Беларус Алгебра Архитектура Безопасност на живота Въведение в професията „психолог” Въведение в икономиката на културата Висша математика Геология Геоморфология Хидрология и хидрометрия Хидросистеми и хидравлични машини Културология Медицина Психология икономика дескриптивна геометрия Основи на икономически т Oria професионална безопасност Пожарна тактика процеси и структури на мисълта, Професионална психология Психология Психология на управлението на съвременната фундаментални и приложни изследвания в апаратура социалната психология социални и философски проблеми Социология Статистика теоретичните основи на компютъра автоматично управление теория на вероятностите транспорт Закон Turoperator Наказателно право Наказателно-процесуалния управление модерна производствена Физика Физични феномени Философски хладилни инсталации и екология Икономика История на икономиката Основи на икономиката Икономика на предприятията Икономическа история Икономическа теория Икономически анализ Развитие на икономиката на ЕС Спешни ситуации ВКонтакте Однокласници Моят свят Facebook LiveJournal Instagram
border=0

Условна ентропия

Нека намерим ентропията на сложен експеримент α ^ β в случай, ако експериментите не са независими, т.е. ако резултатът от β се влияе от резултата от експеримента α. Например, ако в кутията има само две многоцветни топки и α се състои в извличане на първото и β - второто от тях, а след това напълно премахва несигурността на комплексния опит α ^ β, т.е. Оказва се, че H (α ^ β) = H ( α ), но не и сумата на ентропията, както следва от (2.5).

Връзката между а и р е, че някои от резултатите на А ( а ) могат да повлияят на резултатите от В ( β ) , т.е. някои двойки от събития A i ^ B j не са независими. Но тогава в (2.6) p (A i ^ B j ) трябва да бъде заменено не от произведението на вероятностите, а според (А.14):

където - p Ai ( B j ) вероятността за резултата от резултата B, при условие че в първия експеримент имаше резултат A i .

след това

При заместване в (2.6) получаваме:

В първия член индексът j присъства само в B ; променяйки реда на сумиране, получаваме членовете на формата:

Въпреки това,

като

формира надеждно събитие (всеки от резултатите от експеримента β е все още реализиран). Следователно първата добавка е равна на:

Във втория срок членовете на формуляра

ентропията на експеримента β е значима при условие, че в експеримент се реализира резултат А i - ще го наречем условна ентропия. Ако въведем това понятие и използваме неговото обозначение, то вторият термин ще бъде:

където H α (β) е средната условна ентропия на експеримента β, при условие че експериментът α е изпълнен . И накрая, получаваме за ентропията на сложен опит:

Полученият израз е общо правило за намиране на ентропията на сложния опит. Абсолютно ясно е, че изразът (2.5) е специален случай на (2.10), подлежащ на независимостта на експериментите α и β.

Що се отнася до условна ентропия, могат да се направят следните твърдения:

1. Условната ентропия е неотрицателна. H α (β) = 0 само ако всеки резултат a напълно определя резултата от β (както в примера с две топки), т.е.

В този случай H ^ (β) = H (α).

2. Ако експериментите α и β са независими, тогава H α (β) = H (β) и това се оказва най -голямата стойност на условната ентропия. С други думи, опитът α не може да увеличи несигурността на опита β; той може или да няма ефект (ако експериментите са независими), или да намали ентропията β.

Тези твърдения могат да се комбинират с едно неравенство:

т.е. условна ентропия не надвишава безусловната.

3. От съотношенията (2.10) и (2.11) следва, че

освен това, равенството се реализира само ако експериментите α и β са независими.





Вижте също:

Организиране на структури от данни в RAM

Тестови въпроси и задачи

Пример 4.11

Формална граматика

Тестови въпроси и задачи

Връщане към съдържанието: Теоретични основи на компютърните науки

2019 @ ailback.ru