Extensia unei surse discrete, complete si fara memorie

Extensia unei surse discrete, complete si fara memorie

Ca un element al doilea model matematic de sursa discreta Considerand sursa care nu furnizeaza mesajele in mod individual ci pe grupe de mesaj. Deci, daca o sursa discreta si fara memorie cu distributia si ar livra mesajele nu individual s₁ respectiv s₂, ci grupe de cate 2 mesaje, s-ar obtine o noua sursa care ar avea mesajele s = s₁s₁, s = s₁s₂ , s = s₂s₁, s = s₂s₂ .

Noile mesaje s_i poarta denumirea de mesaje compuse, distributia noii surse pentru exemplul considerat, S², are structura:

; Sursa S² reprezinta extensia de ordin doi a sursei initiale S.

Deoarece sursa initiala S s-a propus discreta, completa si fara memorie, inseamna ca mesajele s1 si s2 sunt independente si deci: p(s ) = p₁p₁; p(s ) = p₁p₂; p(s ) = p₂p₁; p(s ) = p₂p₂.

In general, se numeste extensie de ordin m a sursei S ce are alfabetul format din n mesaje, sursa ce se formeaza prin livrarea a m mesaje din cele n ale sursei S.

Daca presupunem:

in modelul de extensie de ordin m, sursa va furniza mesaje compuse de forma s_k = s_k1 s_k2 s_km unde s_ki I

Deci, pentru extensia de ordin m, notata S^m vor exista un numar de mesaje compuse n^m deoarece un mesaj compus este format din m mesaje ale sursei initiale iar fiecare pozitie din cele m poate fi oricare din cele n mesaje posibile.

Consideram extensia de ordin 2 a sursei T

Entropia extensiei de ordin 2, H(S²) va fi, conform relatiei de definitie, calculabila cu relatia:

dar = p_i p_j fiind o extensie de ordin doi.

Prin inductie matematica completa se poate demonstra usor, in acelasi fel, ca extensia de ordin m are o entropie de m ori mai mare decat entropia sursei initiale: