Proprietatile entropiei

Proprietatile entropiei

Functia H(S), are o serie de proprietati, mai importante fiind:

H(S)>0; entropia este pozitiva;

Prin diversificarea unei surse discrete, complete si fara memorie entropia creste.

Daca se considera sursa S cu distributia :

Sa consideram in continuare mesajul s_n, de exemplu, se diversifica in alte m mesaje disjuncte, adica    s_n = y₁ y₂ y₃ y_m

Deoarece mesajele y_j, s-au propus disjuncte sau incompatibile, rezulta ca: (1.13) unde, prin p(y_j) se intelege probabilitatea mesajului y_j se intelege probabilitatea y_j.

In felul acesta, sursa diversificata, pe care o vom nota cu S', va avea distributia:

Conform relatiei generale de calcul a entropiei rezulta ca entropia sursei diversificate se calculeaza cu o relatie similara, adica:

(1.14)

Proprietatea 2 afirma ca : H(S') H(S)

Ecuatia (1.14) se mai scrie:

T

Din ultima relatie se constata, conform (1.13), ca , ceea ce inseamna ca acest raport este o probabilitate, si tot conform (1.13), , asta inseamna ca, conform primei proprietati.

Tinand cont de aceasta constatare, rezulta ca:

(deci, prin diversificare entropia creste).

Entropia unei surse discrete, complete si fara memorie, isi atinge valoarea maxima cand mesajele sunt furnizate echiprobabil.

Pentru entropia data de (1.11) in care se stie ca (1.15)

Pentru a determina extremul functiei H(S) (data de 1.11) cu legatura data de (1.15), se va folosi metoda multiplicatorilor lui Lagrange, adica determinarea extremului unei functii cu legaturi. Pentru aceasta se construieste functia F

unde l este multiplicatorul lui Lagrange iar extremul lui F(p_k) va avea loc pentru aceleasi valori p_k ca si o functie H(S).

Conditia necesara de extrem:

se poate determina p_k:

Deci extremul are loc pentru probabilitati egale cu , furnizate de sursa. Daca in (1.11) se inlocuieste , rezulta .Pentru a demonstra ca acest extrem este maxim trebuie sa aratam ca H(S) log n sau

H(S) - log n 0. Inlocuind in ultima inegalitate relatia (1.11) T

. Deci:

Se cunoaste ca: ln z <z - 1, z 1, z > 0 si

ln z = z - 1, z = 1 (se observa din grafic )

Figura 1.2.

Daca se noteaza , atunci

Deci o sursa discreta, completa si fara memorie isi livreaza mesajele echiprobabil, entropia acestora devine maxima si

max[H(S)] = log n (1.17)

Daca, de exemplu s-ar considera o sursa S cu distributia S.

Conform ecuatiei (1.11), rezulta ca:

Reprezentand grafic ultima relatie ,s-ar obtine:

Figura 1.3.

Adica, daca p=1, inseamna ca sursa S va furniza cu certitudine mesajul s₁,seexistand nici o incertitudine, entropia va fi nula.

In mod similar, daca p=0, sursa va livra cu certitudine mesajul s₂, neexistand nici o incertitudine , entropia va fi nula.

Cea mai mare incertitudine asupra sursei o vom avea atunci cand mesajele s₁ si s₂ sunt furnizate echiprobabil, adica atunci cand , in acest caz entropia devenind:

Inseamna deci, ca de la o sursa care poate furniza numai doua mesaje, informatia medie pe mesaj, adica entropia acesteia nu poate depasi valoarea de un bit. Da ca dorim a transmite pe mesaj o informatie medie mai mare de un bit, va trebui sa construim o sursa formata din mai multe mesaje. Se atrage atentia ca cresterea numarului de mesaje dintr-o sursa, nu determina o crestere proportionala a informatiei medie pe acestea.

Intotdeauna, daca, de exemplu, o sursa lineara echiprobabil n mesaje, conform (1.17), informatia medie pe mesaj este log n.

Pentru ca informatia pe mesaj sa se dubleze, ar trebui ca sursa furnizeze n² mesaje: log n² =2 log n.

(0,1 -> nu se poate transmite o informatie medie mai mare de 1 bit.