Teorema codarii surselor pentru canale fara perturbatie. Teorema lui Schannon

Teorema codarii surselor pentru canale fara perturbatie. Teorema lui Schannon

Pe baza cunoasterii lungimii medii a unui cuvant de cod se poate evalua un domeniu de variatie posibila pentru lungimea medie a unui cuvant de cod.

Teorema codarii surselor pentru canale fara perturbatie

Lungimea unui cuvant de cod, l, e cuprins in intervalul:

Obs: Pe baza inecuatiei prezentate, daca se considera extensia unei surse atunci si inecuatia respectiva se modifica corespunzator adica:

, impartim expresia prin m unde m este ordinul extensiei

= ,

Interpretare:

Daca codarea se realizeaza pe grupe de mesaje si numarul mesajelor din fiecare grupa e suficient de mare, atunci se obtine un cod absolut optimal (cod cu lungimea medie minima, cu min.

In practica este dificil de construit coduri absolut optimale, de aceea s-au pus la punct algoritmi de generare a unor coduri instantanee cu lungimi medii, minime ale cuvintelor. In practica se intalnesc 2 astfel de algoritmi:

Algoritmul lui Schannon - Fano

Algoritmul lui Huffman