RETELE NEURONALE FEED-FORWARD (MULTI-LAYER PERCEPTRON)

RETELE NEURONALE FEED FORWARD (MULTI-LAYER PERCEPTRON)

In retelele neuronale feed-forward se folosesc neuroni sigmoidali.

Exista mai multe functii matematice de tip sigmoidal.

Retelele neuronale feed-forward sunt formate din unitati de procesare interconectate care sunt grupate pe mai multe straturi (dupa modelul biologic, avem : strat de neuroni senzoriali, strat de neuroni de procesare (scoarta cerebrala), start de neuroni motori).

Neuronii din primul strat sunt singurii care primesc semnale din exterior. Primul start se numeste strat de intrare si este singurul strat ce contine neuroni ''degenerati'', ce au functia de transfer 1.

Neuronii artificiali din celelalte straturi (intermediare si de iesire) sunt neuroni sigmoidali.

Neuronii dintr-un strat intermediar este denumit strat ascuns.

Neuroni dintr-un strat sunt direct conectati cu neuronii din startul urmator.

Nu exista conexiuni intre neuronii din acelasi strat.

O retea neuronala feed-forward poate avea 0, 1 sau mai multe straturi ascunse.

Pentru a rezolva problema functiei SAU exclusiv, XOR a RN feed-forward au 1 - 2 stzraturi ascunse.

Notam o RN feed-forward in functie de numarul de neuroni din fiecare strat:

nni- nnh -nno

Exemplu: 2 - 3 - 2 ( 2 neuroni in stratul intrare, 3 neuroni in stratul ascuns, 2 neuroni in stratul de iesire)

Pentru o retea ce are NI-NH-NO se calculeaza conexiunile dupa relatia: NI*NH+NH*NO.

In general aplicatiile de recunoastere de forme folosesc un strat ascuns. Aplicatiile de modelare feed-forward folosesc minim 2 straturi ascunse.

Numarul de neuroni de intrare si numarul de neuroni de iesire sunt in general impusi de aplicatie.

Numarul de neuroni din straturile ascunse se determina experimental pe baza simularilor.

In elaborarea unei aplicatii cu RN feed-forward sunt 2 faze:

Invatare;

Testare;

In urma fazei de invatare sunt calculate toate ponderile retelei.

Invatarea RN feed-forward este supervizata.

Cel mai cunoscut algoritm de invatare este back-propagation, algoritm descoperit in anii '80.

Descoperirea acestui algoritm a dat un mare impuls domeniului de retele neuronale.

In faza de invatare, reteaua neuronala este antrenata sa invete un numar de sabloane cu o eroare specificata.

Un sablon de invatare pentru o retea neuronala are 2 componente:

Valorile intrarilor de pe neuroni din stratul de intrare;

Valorile iesirilor corespunzatoare de pe neuroni din stratul de iesire.

Numarul de sabloane necesare pentru antrenare depinde de tipul si complexitatea problemei.

Algoritmul de invatare supervizata este urmatorul:

Intrarile din sablonul de antrenare curent determina anumite valori calculate pentru iesirile retelei.

Pasul forward al antrenarii

Iesirile calculate se compara cu iesirile impuse catre sablon, diferentele dintre acestea reprezinta eroarea curenta de invatare a sablonului.

Aceasta eroare se propaga inapo in retea ( de la stratul de iesire catre stratul de intrare) si se modifica ponderile retelei.

In privinta iesirilor retelei neuronale feed-forward , folosind neuroni sigmoidali, iesirile sunt numere reale cuprinse in intervalul deschis (0, 1).

Intrarile intr-o retea neuronala pot fi:

intrari binare (0 sau 1)

Intrari analogice (valori continue intre 0 si 1).