Авиационно инженерство Административно право Административно право Беларус Алгебра Архитектура Безопасност на живота Въведение в професията „психолог” Въведение в икономиката на културата Висша математика Геология Геоморфология Хидрология и хидрометрия Хидросистеми и хидравлични машини Културология Медицина Психология икономика дескриптивна геометрия Основи на икономически т Oria професионална безопасност Пожарна тактика процеси и структури на мисълта, Професионална психология Психология Психология на управлението на съвременната фундаментални и приложни изследвания в апаратура социалната психология социални и философски проблеми Социология Статистика теоретичните основи на компютъра автоматично управление теория на вероятностите транспорт Закон Turoperator Наказателно право Наказателно-процесуалния управление модерна производствена Физика Физични феномени Философски хладилни инсталации и екология Икономика История на икономиката Основи на икономиката Икономика на предприятията Икономическа история Икономическа теория Икономически анализ Развитие на икономиката на ЕС Спешни ситуации ВКонтакте Однокласници Моят свят Facebook LiveJournal Instagram
border=0

Ентропия като мярка за несигурност

Случайните събития могат да бъдат описани, използвайки понятието "вероятност" (вж. Приложение А). Отношенията на теорията на вероятностите ни позволяват да намерим (изчислим) вероятностите както на единични случайни събития, така и на сложни експерименти, които съчетават няколко независими или свързани събития. Възможно е обаче да се опишат случайни събития не само от гледна точка на вероятности.

Фактът, че дадено събитие е случайно, означава липсата на пълно доверие в неговото възникване, което от своя страна създава несигурност в резултатите от експериментите, свързани с това събитие. Разбира се, степента на несигурност е различна за различните ситуации. Например, ако опитът се състои в определяне на възрастта на случайно избран ученик от 1-ва година на пълно работно време на висше учебно заведение, тогава може да се твърди с висока степен на увереност, че той ще бъде на възраст под 30 години; Въпреки че лицата под 35-годишна възраст могат да учат в отдела за редовно обучение, най-често завършилите следващите няколко завършили се обучават лично. Много по-малко сигурно има подобен опит, ако се проверява дали възрастта на произволно избран ученик е на възраст под 18 години. За практиката е важно да може да се направи числена оценка на неопределеността на различните експерименти. Нека се опитаме да въведем такава количествена мярка на несигурност.

Започваме с проста ситуация, в която опитът има еднакви вероятни резултати. Очевидно е, че неопределеността на всеки от тях зависи от n , т.е. Мярката на несигурността е функция от броя на резултатите f (n).

Можете да посочите някои свойства на тази функция:

1. f (1) = 0, тъй като при n = 1 резултатът от експеримента не е случаен и следователно няма несигурност;

2. f (n) нараства с увеличаване на n , тъй като колкото по-голям е броят на възможните резултати, толкова по-трудно е да се предскаже резултатът от експеримента.

За да определим явната форма на функцията f (n), ще разгледаме два независими експеримента α и β * с числата на еднакво вероятни резултати, съответно n α. и n β . Да предположим, че има сложен опит, който се състои в едновременното изпълнение на експериментите α и β; броят на възможните резултати е n αn β и всички те са еднакво вероятни. Очевидно е, че несигурността на резултата от такъв сложен опит α ^ β ще бъде по-голяма от неопределеността на опита α, тъй като към нея се добавя неопределеността β; Мярката на неопределеността на сложен експеримент е f (n α n β ). От друга страна, мерките на неопределеността на отделните α и β са съответно f (n α ) и f (n β ). В първия случай (сложен опит), общата (обща) несигурност на съвместните събития се проявява, а във втората - несигурността на всяко от отделните събития. От независимостта на α и β обаче следва, че в един сложен експеримент те по никакъв начин не могат да засягат помежду си и по-специално α не може да повлияе на β несигурността и обратно. Следователно, мярката на общата неопределеност трябва да бъде равна на сумата от мерките за неопределеност на всеки експеримент, т.е. мярката за несигурност е добавка:

* За да обозначим експерименти със случайни резултати, ще използваме гръцки букви (α, β и т.н.) и ще определим индивидуални резултати от експерименти (събития), латински главни букви (A, B и др.).

Сега нека помислим какво може да бъде изричната форма на функцията f (n), така че тя да отговаря на свойства (1) и (2) и на отношение (2.1)? Лесно е да се види, че функцията log (n) удовлетворява този набор от свойства и може да се докаже, че тя е единствената от всички съществуващи класове функции. По този начин:

като мярка за неопределеността на експеримента с n еднакви вероятни резултати, може да се вземе броят на лога (n).

Трябва да се отбележи, че изборът на базата на логаритъма в този случай няма значение, защото по силата на добре известната формула за преобразуване на логаритъма от една база в друга.

преходът към друга основа се състои в въвеждане на постоянния коефициент log b а , който е еднакъв за двете части на израза (2.1), което е еквивалентно на промяна в скалата (т.е. размера на единица) на измерването на неопределеността. Тъй като това е така, възможно е да се избере удобна (от някои допълнителни съображения) основа на логаритъма. Тази удобна основа се оказва 2, тъй като в този случай като единица за измерване се използва несигурността, съдържаща се в експеримент, който има само два еднакво вероятни резултата, които могат да бъдат обозначени например като TRUE (True) и FALSE (False) . ,

Единицата за измерване на неопределеността в две възможни изходи за опит се нарича битова * .

* Името на бита идва от английската двоична цифра, която буквално означава „двоична цифра“ или „двоична единица“.

По този начин, ние сме установили изрична форма на функция, описваща мярка за неопределеността на експеримент, който има n еднакви вероятни резултати:

Тази стойност се нарича ентропия. В бъдеще ще го обозначим с Н.

Отново разгледайте опита с еднакво вероятни резултати. Тъй като всеки резултат е случаен, той допринася за несигурността на целия опит, но тъй като всички n резултати са равни, разумно е да се предположи, че тяхната несигурност е еднаква. От свойствата на адитивността на неопределеността, както и от факта, че съгласно (2.2), общата неопределеност е равна на log 2 n , следва, че въведената от един изход несигурност е

където p = е вероятността за някой от отделните резултати.

По този начин, несигурността, въведена от всеки един от също толкова вероятните резултати, е равна на:

Сега ще се опитаме да обобщим формулата (2.3) на ситуацията, когато резултатите от експериментите са неравномерни, например p (A 1 ) и p (A 2 ). След това:

Обобщавайки този израз до ситуацията, когато опитът α има n нееднакви резултати А 1 , А 2 ... А p , получаваме:

Въведеното по този начин количество, както вече бе споменато, се нарича ентропия на експеримента на оса. Използвайки формулата за средната стойност на дискретни случайни величини (А.11), можем да напишем:

A ( α ) - показва възможните резултати в опита на α.

Ентропията е мярка за неопределеността на опита, при която се случват случайни събития и е равна на средната несигурност на всички възможни резултати.

За практиката формулата (2.4) е важна, тъй като позволява да се сравни несигурността на различните експерименти със случайни резултати.





Вижте също:

Пример 7.7

Тестови въпроси и задачи

Всеки алгоритъм може да бъде дефиниран с помощта на функционална схема, изпълнена в съответната машина на Тюринг.

Нормални марковски алгоритми

Класификация на моделите

Връщане към съдържанието: Теоретични основи на компютърните науки

2019 @ ailback.ru