SURSE DISCRETE

Valoarea medie:

Informatia proprie:

[biti

Entropia:

[biti/simbol

Debitul de informatie:

[biti/secunda

Redundanta sursei:

[biti/simbol]

Entropia relativa:

Redundata relativa:

CANALE DE TRANSMISIE DISCRETE

Matricea de trecere a canalului:

unde

Informatia mutuala:

[biti]

Echivocatia:

biti simbol

Eroarea medie:

biti simbol

Efectul perturbatiei prin canal:

biti simbol

Transinformatia:

biti simbol

Capacitatea canalului discret:

biti simbol

Debitul de transinformatie:

biti secunda

Debitul canalului:

biti secunda

Redundanta canalului:

biti simbol

Redundanta relativa:

Eficienta:

Canalul binar simetric CBS:

Canalul M-ar simetric CMS:

Canalul binar cu anulari CBA:

Canalul binar cu erori si anulari CBEA:

Canalul continuu CC:

Largimea benzii canalului - [Hertz]

Raportul semnal-zgomot - daca

Capacitatea de transmise a canalului - [biti secunda

Numarul de esantioane - unde

Numarul de maxim de nivele pe esantion - M

Informatia medie pentru un esantion - [biti

Informatia totala - [biti]

Timpul de transmitere - [secunde]

CODARE SURSA

Alfabetul codului -

Probabilitatea simbolurilor codului -

Capacitatea unui cod -

Eficienta (raportul costului) -

Redundanta codului -

Algoritmul SHANNON pentru codare binara

Presupunem o sursa cu elementele ordonate in modul urmator . Codarea se face

Codul este optimal pentru repartitii de probabilitati ale simbolurilor sursei puteri ale alfabetului codului.

Algoritmul HUFFMAN

Se ordoneaza simbolurile sursei in ordinea descrescatoare a probabilitatilor.

Cu ultimele D simboluri se formeaza o sursa restransa cu probabilitatea egala cu suma probabilitatior simbolurilor ce o compun.

Pentru cele m-D simboluri ramase se reia algoritmul pana mai raman doar D simboluri si sau restrangeri

Se aloca cele D litere din alfabetul codului.

Se face intoarcerea la coloana precedenta, la fiecare pas alocandu-se prin adaugire litere din alfabetul codului pentru elementele din restrangerea ce se desface.

Se pot adauga simboluri cu probabilitati nule sursei, pentru a se ajunge la ultimul pas la un numar de D simboluri si sau restrangeri.