Elemente de teoria informatiei

Elemente de teoria informatiei

Transmiterea informatiei este limitata ca performante de o serie de factori cum sunt: puterea de emisie, zgomotul canalului, latimea de banda disponibila, etc. In acest context se pune problema de a evalua cantitatea de informatie vehiculata. Sistemul de comunicatie trebuie sa aiba capacitatea de a transporta de la sursa catre destinatie o secventa de mesaje selectata dintr-un numar finit de mesaje. Receptorul informatiei trebuie sa identifice ce mesaj a fost transmis cu probabilitatea maxima. Datorita faptului ca informatia e vehiculata sub forma unor mesaje, spunem ca ea are un caracter discret. Vom numi in continuare emitatorul sursa de mesaje sau de informatie, mediul se va numi canal si destinatarul receptor.

O sursa de informatii se numeste     discreta daca furnizeaza un numar finit de mesaje. O sursa discreta se numeste fara memorie, daca daca furnizarea unui mesaj la un moment dat nu depinde de mesajele furnizate anterior.

O sursa discreta si fara memorie se numeste completa daca la un moment dat furnizeaza cu certitudine un anumit mesaj. Multimea mesajelor furnizate de o sursa completa, discreta si fara memorie se va numi alfabetul sursa.Din punct de vedere matematic, descrierea sursei se face prin precizarea mesajelor constitutive si a probabilitatilor aferente.

Daca sursa este completa, rezulta ca suma tuturor probabilitatilor mesajelor este . A transmite o informatie inseamna a inlatura o certitudine.Se pune problema de a determina marimea acestei incertitudini. Din punct de vedere matematic, aceasta determinare a incertitudinii se poate face pe considerente probabilistice si fara a tine seama de caracterul subiectiv al informatiei. Cu cat probabilitatea unui eveniment este mai mica cu atat incertitudinea este mai mare. Daca sursa este completa discreta si fara memorie si daca vom considera o sursa cu 2 mesaje(fie aceste mesaje 0 si 1), se va obtine o informatie unitara daca cele 2 mesaje sunt echiprobabile.

, pentru ca informatia sa fie unitara , k=1 si logaritmul in baza 2

. Vom putea spune ca informatia atasata unui mesaj . In acest moment se poate defini bitul ca fiind unitate de masura a informatiei si este informatia transportata de un mesaj atunci cand este transmis de o sursa ce contine 2 mesaje echiprobabile.