Evaluarea programelor sociale

Programe si proiecte sociale[1]

Programele sociale au fost create in scopul eliminarii sau diminuarii problemelor sociale cu care se confrunta indivizii . Problemele sociale constituie situatii indezirabile cu care se confrunta un grup social, "un proces social, o caracteristica, o situatie despre care societatea sau un subsitem al ei considera ca trebuie schimbat . " (Zamfir, 1977, 47) Pentru ca o problema sociala sa poata fi eliminata/ rezidualizata este nevoie ca ea sa fie constientizata, sau mai bine spus sa parcurga drumul de la latent la manifest . Solutionarea ei depinde in mare masura de acest drum . In momentul in care se produce constientizarea se pot lua masurile necesare pentru rezolvarea ei . Cele mai importante si eficiente masuri de eliminare a problemelor sociale sunt intotdeauna incluse intr-un program social . Sferele de activitati in care pot fi realizate programe sociale sunt diverse, cuprinzand sanatatea, educatia, accesul la servicii, combaterea saraciei, excluziunea sociala etc .

Combaterea saraciei comunitare se realizeaza prin prisma unor programe sau proiecte sociale . Aceste notiuni se folosesc cu acelasi inteles in practica, dar la nivel teoretic exista foarte multe distinctii intre ele . "Programele sociale reprezinta un ansamblu planificat si coordonat de resurse (materiale, financiare, umane) si activitati alocate, respectiv desfasurate pentru o perioada determinata de timp sau pana la atingerea unui obiectiv clar stabilit, in scopul satisfacerii unei (unui set de) nevoi sociale, al prevenirii sau rezolvarii unei (unui set de) probleme sociale . " (Matauan, 1999, 38) Proiectele se refera la "un grup de activitati care trebuie realizate intr-o secventa logica, pentru a atinge un set de obiective prestabilite, formulate de client; proiectul este prima subdiviziune a unui program . " (Comisia Europeana, 1994 apud Matauan) .

Programele se disting de proiecte in functie de mai multe caracteristici:

amploarea operatiilor

pozitionarea in ansamblul interventiilor

buget

durata

rolul echipei

focusul evaluarii .

Daca luam in considerare amploarea operatiilor, programele se desfasoara intr-un cadru mai amplu, la nivel national sau international, in timp ce proiectele rezolva probleme ale unui grup bine definit cu o problema foarte clar conturata . Programele incearca sa implementeze anumite politici realizate in majoritatea cazurilor de catre stat, pe cand proiectele constituie componente ale programelor . Bugetul programelor este alocat global, poate suferi modificari in timp, cel al proiectelor este fix, neputandu-se modifica . Durata programelor este foarte mare, intinzandu-se pe mai multi ani, cea a proiectelor rareori depaseste un an . Rolul echipei programului este de coordonare, planificare si supervizare, in cazul proiectului acesta fiind de implementare a activitatilor . Evaluarea proiectelor urmareste performanta, evaluarea programelor urmarind atat performanta cat si impactul .

Diferenta dintre programe si proiecte este foarte bine ilustrata de Gabriel Matauan (1999, 44) in urmatorul tabel:

Tabelul 1: Diferentele dintre programe si proiecte

Armenia Androniceanu (coord, 2004) considera ca principalele caracteristici ale unui proiect sunt reprezentate de:

complexitate

activitati si obiective care necesita coordonare conform unei succesiuni clare

dinamica ciclului de viata

trecerea gradata print-o etapa de initiere, urmata de o dezvoltare rapida, apogeu si declin

interdependenta

interactiunea cu celelalte activitati din organizatie si cu celelalte proiecte

unicitatea

competivitatea

atragerea de resurse umane si materiale utilizate deja in cadrul departamentelor din cadrul organizatiei

concurenta cu alte proiecte .

In practica internationala sunt considerate a fi doua abordari majore ale programelor sociale[2] . Prima dintre ele se refera la instrumentele de implementare a politicilor nationale/ comunitare, scopul programului fiind rezolvarea problemelor adresate . Aceasta rezolvare duce la atenuarea unor caracteristici specifice programelor cum ar fi durata foarte lunga, uneori indefinita sau modificarea bugetelor in timp . Genul acesta de abordare este specific SUA sau Uniunii Europene unde fondurile structurale au trasaturi comune atat programelor cat si liniilor de finantare . A doua abordare are scopul de a facilita demararea anumitor procese sau de a demonstra faptul ca anumite procese pot fi adresate in diverse feluri . Spre deosebire de prima abordare, in a doua programele vor avea intotdeauna durate, bugete si obiective clar definite .

Proiectele sociale insusesc cateva elemente constitutive comune de care trebuie sa se tina cont in momentul in care se doreste realizarea lor (Matauan, 1999):

a) Obiectivul general, obiectivul de dezvoltare sau obiectiv pe termen lung reprezinta contributia pe care proiectul o are la programul din care face parte .

b) Obiectivul specific (operational, imediat, pe termen scurt) se refera la scopul operational al unui proiect . Cel mai adesa este definit ca starea care se doreste a fi implementata prin realizarea proiectului . Spre deosebire de obiectivul general, in cadrul unui proiect obiectivele imediate pot fi multiple .

c) Rezultate (outputuri, outcomes, efecte) precizeaza ceea ce aduce in mod direct programul dupa realizarea lui: schimbari fizice, psihice, de comportament etc .

d) Resurse (inputuri) sunt mijloace utilizate in scopul producerii rezultatelor dorite

e) Activitatile urmaresc transformarea resurselor programului in rezultate .

f) Legaturile se refera la legaturile cauzale dintre elementele structurale si factorii externi

g) Factorii externi reprezinta elemente exterioare programului/proiectului care pot afecta pozitiv sau negativ evolutia acestuia .

Pornind de la elementele comentate mai sus se poate realiza o metoda de analiza numita Logical Framework Analyses (LFA) sau pe scurt Logframe (Tabelul 2), metoda dezvoltata de USAID la sfarsitul anilor 1960, utilizata in majoritatea programelor de asistenta internationala . Aceasta metoda este constituita din concepte legate intre ele, facand posibila rezumarea elementelor constitutive ale unui program sau proiect si intelegerea lor intr-un mod optim . Pentru a construi aceasta matrice trebuie parcursi de regula urmatorii pasi (Matauan, 1999, 49):

Analiza participarii la proiect (cu accent pe principalele grupuri tinta)

Analiza problemelor

Analiza obiectivelor

Analiza alternativelor

Identificarea principalelor elemente ale proiectului

Analiza factorilor externi

Stabilirea indicatorilor de performanta

Tabelul 2: Logical Framework Analyses

Sursa: Matauan, 1999, 49 .

Factorii externi care trebuie introdusi in Logframe sunt aceia care indeplinesc simultan urmatoarele conditii: sa nu poata fi conditionati de echipa proiectului, sa aiba o probabilitate suficient de mare de producere, in cazul producerii sa aiba o influenta semnificativa asupra proiectului si evolutia lor sa poata fi monitorizata de catre echipa proiectului .

LCA opereaza cu o logica verticala si cu una orizontala . Completarea se va face pornind de la obiectivul general catre activitati/ resurse . Dupa ce a fost realizata aceasta operatie, matricea trebuie analizata si invers, adica de la activitati spre obiectivul general, pentru a se vedea daca deriva unele din celelalte . Urmeaza completarea primului factor extern, aceasta operatie trebuind realizata incepand cu ultima casuta . "Logica verticala reformulata prin includerea oportunitatilor si riscurilor devine: daca activitatile se desfasoara si factorii externi nu se produc, atunci vor fi obtinute rezultatele . Logica orizontala are ca obiectiv masurarea resurselor si rezultatelor unui proiect, prin identificarea unor indicatori verificabili obiectiv si a mijloacelor de realizare a acestor indicatori . Ea este construita pe baza coloanelor 1, 2 si 3 ale matricei LFA . Coloana 2 contine indicatorii de performanta pentru obiectivul general si pentru cel specifi, ca si pentru rezultate . Coloana 3 indica resursele din care pot culese datele necesare calcularii valorilor indicatorilor . " (Matauan, 1999, 51)

In ceea ce priveste etapele pe care un proiect trebuie sa le parcurga, specialistii oscileaza intre trei si mai multe in functie de preferinte . Catalin Zamfir[3] propune sapte etape, considerand ca respectarea acestora reprezinta cheia reducerii saraciei la nivel comunitar:

Documentarea preliminara asupra comunitatii

Contacte preliminare cu comunitatea

Decizie: continuarea sau sistarea programului

Identificarea problemelor

Decizia de a incepe derularea proiectului

Realizarea proiectului

Implementarea proiectului

Constantin Opran (coord . , 2002), sugereaza un model cu patru etape, avantajul acestuia fiind concentrarea activitatilor in blocuri coerente mai usor de distins:

Identificarea, analiza, formularea defineste in linii generale proiectul si contextul in care se va realiza acesta, implicand stakeholderii .

Pregatirea proiectului, estimarea, asumarea se realizeaza prin activitatile de elaborare a poiectului, stabilirea reurselor necesare, planificarea detaliata a proiectului, precum si explicarea acestuia celor interesati .

Implementarea, monitorizarea, raportarea urmareste transformarea resurselor in rezultate .

Evaluarea finala stabileste daca ceea ce si-a propus proiectul a fost realizat si identifica necesitatile pentru proiectele viitoare .

EVALUAREA . Notiuni introductive

Evaluarea, componenta de baza a proiectelor sociale, constituie una dintre cele mai importante metode de feedback existente fiind folosita din ce in ce mai mult in practica curenta . Ea reprezinta o mica parte a unui set de activitati complexe, concentrate pe rezolvarea de probleme . Evaluarea este un domeniu nou, care s-a bucurat insa de mare interes din partea cercetatorilor, practicienilor, finantatorilor, factorilor de decizie . Interesul si nevoia crescanda de evaluare, fondurile alocate programelor sociale si educationale si cercetarii evaluative au stimulat dezvoltarea rapida a domeniului . Evaluarea arata cel mai bine cum au fost realizate obiectivele, ce s-a incercat prin implementarea acelui proiect si cum a fost inteles si perceput de catre grupul tinta . Este utila atat finantatorilor cat si initiatorilor proiectului respectiv . .

Aparitia evaluarii moderne este considerata de Shadish, Cook si Leviton (1996) a fi la inceputul anilor 1960 . Initial, teroreticienii s-au concentrat pe obiectivele, masurarea si instrumentele de testare ale evaluarii, in urmatoarele decenii crescand interesul pentru conceptualizarea notiunii . Evolutia evaluarii a avut loc in Statele Unite datorita contextului economic si politic . Din punct de vedere politic evaluarea a aparut ca urmare a conflictului de interese existent intre autoritatile locale si cele federale, acestea din urma dorind un control mai mare asupra programelor sociale . Din punct de vedere economic s-a dezvoltat cu scopul protectiei americanilor de efectele negative ale saraciei . (Shadish, Cook, Leviton, 1996) . Un alt motiv l-au reprezentat disfunctiile care s-au constatat in implementarea, eficienta si eficacitatea programelor . Toate acestea au dus la crearea unui nou gen de specialisti, mai ales dintre absolventii de stiinte sociale orientati in special spre evaluare . De atunci numarul profesionistilor a crescut, "evaluarea profesionista devenind o alternativa viabila de cariera, fata de cariera academica . " (Shadish, Cook, Leviton, 1996, 8) .

In Romania evaluarea programelor sociale si de invatamant este un domeniu nou, in principal datorita faptului ca programele sociale si sistemul de invatamant s-au dezvoltat in perioada de tranzitie . Primele evaluari de programe s-au realizat cu asistenta internationala, iar primul program care a cuprins si o componenta de monitorizare si una de evaluare a fost Programul de Masuri Active pentru Combaterea Somajului (PAEM), administrat de Fundatia Internationala pentru Management, in perioada 1994-1997 .

Definirea termenului de evaluare de programe

Evaluarea este o notiune ampla, utilizata frecvent in contemporanitate . Problema cu care se confrunta este data de faptul ca nici pana la ora actuala nu exista o definitie acceptata unanim de cercetatori, ci mai degraba o multitudine de incercari, majoritatea nereusite . Foarte multi teoreticieni prefera definitia data de Scriven (1986 apud Shadish, Cook, Leviton,1996, 62) "evaluarea este ceea ce este, determinarea meritului sau importantei, si ce se face cu aceasta determinare este altceva" sau cea a lui Glass si Elett (1980, apud Matauan, 1999, 65) "evaluarea, mai mult decat orice alta stiinta, este ceea ce spun oamenii ca este . Si de obicei oamenii spun ca ea este o sumedenie de lucruri . " Evaluarea este, in general, o activitate de echipa, de aceea o armonizare a acceptiunilor termenilor, strategiilor si modelelor teoretice este necesara, in vederea ameliorarii comunicarii si colaborarii . Este important ca membrii echipei sa impartaseasca o viziune comuna asupra procesului de evaluare, astfel incat activitatile lor sa fie complementare in atingerea acelorasi scopuri .

Dupa cum spuneam exista o multitudine de abordari ale conceptului de evaluare in functie de scopurile, obiectivele urmarite si metodologiile aplicate . Gabriel Matauan (1999) a grupat aceste definitii in mai multe categorii in functie de criteriile mentionate mai sus .

Prima acceptiune a termenului de evaluare are in vedere nivelul de atingere a obiectivelor programului . Definitiile centrate pe obiective considera ca evaluarea este procesul care determina modul in care acestea au fost sau nu atinse . Una dintre cele mai importante definitii in acest sens ii apartine lui C . H . Weiss (1986, apud Matauan, 1999, 61) care considera ca "evaluarea este un demers rational care examineaza efectele politicii si ale programelor asupra grupurilor tinta, in termenii indeplinirii obiectivelor asumate . Prin metode obiective si sistematice, evaluarea estimeza masura in care obiectivele au fost realizate si analizeaza factorii de care depind succesul sau insuccesul unui program . " O alta definitie care ilustreaza orientarea evaluarii spre realizarea obiectivelor este cea data de UNICEF in Ghidul pentru monitorizare si evaluare: "Evaluarea este un proces care incearca sa determine intr-un mod sistematic si obiectiv relevanta, eficienta, eficacitatea si impactul activitatilor tinand cont de obiectivele specifice . "

Al doilea set de definitii considera evaluarea un instrument managerial si de decizie, un mijloc de feedback, o metoda stiintifica folosita pentru cresterea performantelor programului . O definitie considerabila pentru ilustrarea managementului este data de Tripodi si Epstein (1986, apud Matauan, 1999, 62) . "Evaluarea programelor sociale este o tehnica manageriala care furnizeaza feedback informational administratorilor programului . Ea reprezinta acumularea sistematica de date care sa furnizeze informatii despre indeplinirea cerintelor programului si realizarea obiectivelor, luand in considerare eforturile, eficacitatea si eficienta in fiecare etapa a dezvoltarii programului . Datele necesare evaluarii pot fi obtinute printr-o varietate de tehnici relativ sistematice . Ele sunt incorporate intr-un sistem de valori dat, pentru a facilita deciziile asupra programelor sociale . "

Orientarea evaluarii catre generarea deciziei este foarte bine surpinsa de M . S . Thompson (1975, apud Matauan, 1999, 62): "Evaluarea este un proces care furnizeaza informatii in vedera luarii deciziilor, ea este un cuvant tot mai frecvent utilizat pentru a desemna orice proces analitic care ghideaza actiunile viitoare . "

Un alt gen de definitii urmaresc modalitatile de utilizare si imbunatatire a programului/ proiectului . In acest caz, evaluarea se centreaza pe efectele programului cu scopul mentinerii sau extinderii celor eficiente si producerii de schimbari in cele ineficiente . Un studiu OECD din 1986 considera ca "Evaluarea este un proces continuu de descriere si analiza a activitatii programelor, in scopul de a imbunatati politicile sectoarelor respective si de a perfectiona procedurile de implementare a programelor . "

Urmatorul set de definitii se orienteaza pe evaluarea ca instrument de judecare si valorizare . Valoarea ca element fundamental al evaluarii a fost teoretizata de Michael S . Scriven (1983, apud Shadish, Cook si Leviton, 1996) care considera ca este imposibil de facut optiuni in ceea ce priveste programele sociale fara valori care sa devina evidente in optiunile referitoare la criteriile evaluative, standardele de performanta sau criteriile de masurare . Astfel, societatea are nevoie de o stiinta a valorii pentru a cunoaste daca produsele, personalul sau programele sale sunt bune . Scriven recomanda patru stadii pentru afirmarea valorii care trebuie urmarite in fiecare program/ proiect evaluat:

Dezvoltarea unor criterii de merit pentru stabilirea a ceea ce ar trebui sa faca un evaluator bun .

Standarde de performanta care sa specifice cum ar trebui sa actioneze un evaluator conform criteriilor .

Masurarea performantei pe fiecare criteriu pentru a stabili daca standardele au fost atinse sau nu .

Integrarea rezultatelor multiple intr-o afirmatie privind valoarea evaluatului .

O definitie care clarifica relevanta valorii si judecatii in procesul de evaluare este data de Barry si Rae (1975, apud Matauan, 2002, 311): "A evalua inseamna a atasa lucrurilor anumite valori sau, mai simplu spus, a determina daca sunt bune sau rele . "

Evaluarea mai este considerata de unii specialisti drept o stiinta cu o natura comparativa si care se bazeaza pe aplicarea metodelor stiintelor sociale, iar de altii o cunoastere cuprinzatoare a rezultatelor diferitelor activitati . Acesti teoreticieni considera ca aplicarea cunostintelor stiintifice tine de insasi natura evaluarii, dar exista caracteristici care o disting de cercetarile al caror scop este acumularea de date pentru generarea de noi cunostinte . [5]

Cu toata complexitatea de interpretari oferita conceptului nu a fost elaborata o definitie care sa cuprinda toate aspectele evaluarii, fiecare definitie generand perspective si metode de evaluare diferite . Dupa cum considera si Patton (1986, apud Matauan, 1999) exista controverse in ceea ce priveste esenta si limitele evaluarii, confuzii care nu vor fi rezolvate in viitorul apropiat . Aceste dificultati ii fac pe cercetatori sa considere evaluarea mai mult o arta decat o stiinta, deoarece fiecare evaluare se desfasoara intr-un mod unic, depinzand foarte mult de persoana evaluatorului si de subiectivismul acestuia .

Gabriel Matauan (1999) considera ca exista doua interpretari ale evaluarii de programe/ proiecte: una in sens larg, iar alta in sens restrans . Evaluarea in sens larg     este un proces care se desfasoara in mod continuu sau periodic, depaseste cadrul programului luand in calcul influentele mediului, impactul programului asupra societatii, se bazeaza pe capacitatea de negociator a evaluatorului in vederea intelegerii punctelor de vedere ale stakeholderilor, fiind un proces de descriere, valorizare, judecare si invatare . Evaluarea in sens restrans este o faza distinsa a programului care are loc spre sfarsitul acestuia, urmareste elementele interne ale programului si necesita instrumente de masurare cat mai precise . Procesul evaluativ urmareste masurarea, compararea si identificarea problemelor programului sau a punctelor forte .

2 . Scopurile si obiectivele evaluarii

Scopul unei evaluari are in vedere obiectivul general pentru care a fost realizata aceasta, raspunzand la intrebarea: "De ce a fost ceruta aceasta evaluare?" . Nivelul de generalitate este mai redus decat cel al misiunii, aceasta din urma incercand "furnizarea sistematica a feedback-ului in sistemele sociale, pentru sprijinirea imbunatatirii modului in care societatea abordeaza problemele social, in scopul de a face mai buna soarta umanitatii" .

Obiectivele evaluarii sunt mai practice, fiind legate de rezultatele evaluarii . Intrebarea pe care incearca sa o clarifice este legata de nevoia imediata careia ii foloseste aceasta evaluare[7] .

In literatura de specialitate, primii teoreticieni care au facut distinctia intre scopurile si obiectivele evaluarii au fost Tripodi, Fellin si Epstein (1986, apud Matauan, 1999) . Acestia considera ca evaluarea genereaza o dualitate a scopurilor deoarece poate fi ceruta atat de agentia finantatoare cat si de directorii de program . In functie de cine comanda procesul de evaluare, scopurile vor fi diferite . Finantatorii vor urmari aspecte legate de gradul de atingere al obiectivelor generale, relevanta programului, priorititatile financiare ale acestuia, pe cand managerii programelor vor fi centrati pe imbunatatirea componentelor programului . Cei trei autori considera ca in functie de primul criteriu (finantatorii) va fi stabilit scopul evaluarii, iar in functie de cel de-al doilea (managerii programului) se vor defini obiectivele evaluarii .

Elena Chelimsky (1986, apud Matauan, 1999) identifica trei scopuri majore ale evaluarii de programe:

a)     Formularea politicii - ofera informatii despre problemele pe care programul incearca sa le rezolve, despre programele trecute sau alte activitati care au fost incercate pentru eliminarea problemei . Scopul stangerii acestor informatii il constituie alegerea celei mai bune variante de program in ceea ce priveste costurile .

b)     Implementarea politicii - are ca scop verificarea modului de implementare a programului vizand date despre managementul acestuia si evolutia problemei pe care programul incearca sa o combata .

c)     Responsabilitatea pentru luarea deciziilor - incearca determinarea modului in care programul si-a atins obiectivele, in functie de acestea finantatorii hotarand sistarea, modificarea sau continuarea sa .

Abordarea propusa de Elena Chelimsky are cateva deficiente, una dintre ele referindu-se la accentuarea prea mare a responsabilitatii, iar cealalta la cunostintele pe care evaluarea poate sau nu sa le creeze . Gabriel Matauan (1999) considera ca informatiile pe care evaluarea poate sa le furnizeze constituie efortul mai multor experiente evaluative si nu al unui singur proces evaluativ, de aceea a afirma ca o singura evaluare genereaza cunostinte este o abordare prea optimista . Cu toate acestea, clasificarea Elenei Chelimsky ramane o etapa importanta in incercarea istorica de identificare a scopurilor si obiectivelor evaluarii .

Pornind de la prezentarile anterioare, Gabriel Matauan (1999) distinge patru scopuri ale evaluarii din care deriva o serie de obiective legate de rezultatele evaluarii:

a)            Strategic - urmareste strangerea de informatii pentru efectuarea de decizii privind politica domeniului respectiv . Obiectivele care deriva din scopul strategic au in vedere luarea de hotarari privind continuitatea, modificarea sau oprirea programului respectiv, stabilirea unor programe noi care sa contribuie la indeplinirea scopului politicii respective, precizarea modalitatilor adecvate de implementare a politicii .

b)            Praxiologic - are ca efect imbunatatirea metodelor de aplicare a programului, din interiorul acestuia . Obiectivele evaluarii urmaresc imbunatatirea managementului proiectului si a serviciilor furnizate beneficiarilor, cat si calificarea echipei de lucru pentru obtinerea unui rezultat cat mai eficient .

c)            Demonstrativ - este utilizata pentru demonstrarea anumitor aspecte legate de proiect fiind ceruta de finantatorii proiectului . Obiectivele sunt de obicei mascate, dar cu toate acestea evaluarea trebuie sa ajunga la ele: probarea unor rationalitati , perceptii, atitudini, roluri sau responsabilitati fata de proiect .

d)            Formal - birocratic - evaluarea nu urmareste luarea de decizii privind proiectul respectiv, ci este interesata de modul in care au fost realizate cerintele birocratice . Obiectivele urmarite servesc la demonstrarea existentei unui compartiment de evaluare sau la confirmarea realizarii ei .

Pe langa obiectivele prezentate mai sus, Gabriel Matauan considera ca evaluarea produce obiective si rezultate neintentionate, secundare, acestea fiind comasate sub denumirea de impact al evaluarii . La nivelul proiectului, evaluarea poate contribui in mod direct la perfectionarea personalului si la imbunatatirea comunicarii intre actorii implicati .

3 . Obiectele si criteriile evaluarii

In practica contemporana exista doua abordari majore privind lucrurile care se evalueaza . Una care se concentreaza pe modul in care au fost realizate obiectivele (performanta programului/ proiectului), iar a doua ia in considerare relevanta obiectivelor propuse in raport cu mediul politic sau cu problema pe care proiectul incearca sa o indeparteze (impactul proiectului) . Prima abordare este specifica inceputului evaluarii, in timp ce a doua se intalneste din ce in ce mai mult in prezent . (Matauan, 1999)

Obiectele evaluarii incearca sa raspunda la intrebarea "ce evaluam?", acestea putand fi interpretate in functie de mai multe criterii . Inca de la inceputurile evaluarii moderne, teoreticienii au cautat termenii cu care poate opera o evaluare eficienta . Primele cuvinte cu care a fost asociata evaluarea au fost: efort, eficacitate, eficienta . Conform lui Catalin Zamfir (1987) " Eficacitatea unui element sau sistem reprezinta gradul in care acesta indeplineste o functie, satisface o cerinta functionala specificata . Costul (efortul) unui sistem reprezinta cantitatea de resurse (mijloace) consumate de catre acesta . Eficienta reprezinta raportul eficacitate/ cost . "

Potentialele obiective ale evaluarii sunt teoretizate plecand de la ani intregi de cercetare . Spre exemplu OECD- ul opereaza in evaluarile pe care le desfasoara cu mai multe criterii de evaluare, explicate intr-un mod exact, pentru a face mai facila sarcina evaluatorului:

a)     Relevanta - punctul pana la care activitatile intrepinse sunt relevante in raport cu prioritatile si politicile beneficiarilor si finantatorilor .

b)     Eficacitatea - masurarea nivelului in care activitatile sunt obiective .

c)     Eficienta - se focalizeaza pe legaturile dintre output-uri si input-uri . Eficienta reprezinta un termen economic care sugereaza faptul ca proiectul utilizeaza cele mai putin costisitore resurse cu scopul de a obtine rezultatele dorite .

d)     Impactul - schimbarile negative sau pozitive produse de o interventie planificata in mod direct sau indirect, intentionat sau neintentionat .

e)     Sustenabilitatea - specifica daca beneficiile unei activitati vor avea efect si dupa ce finantarea s-a incheiat .

Gabriel Matauan (1999, 81) considera ca "obiectivele evaluarii unui program social il constituie relevanta, procesul, performanta sau impactul sau, la fel ca si orice combinatie a acestora . Fiecare dintre acestea poate fi analizat si evaluat prin prisma mai multor criterii" Legatura dintre acestea este redata cu ajutorul unei scheme (Fig . 3)

Evaluarea relevantei urmareste raportarea proiectului la prioritatile politicii sau la nevoile si problemele sociale care l-au generat . Criteriile de evaluare masoara modul in care proiectul este adecvat in raport cu problema sociala pe care incearca sa o elimine, necesitatile beneficiarilor, prioritatile politicii sau alte interventii create pentru solutionarea celor deja expuse .

Figura 3: Relatia dintre obiectele evaluarii

Sursa: Matauan, 1999, 81

Evaluarea procesului verifica daca proiectul executa activitatile pentru care a fost creat . Criteriile de evaluare se refera la management, activitatile desfasurate, costuri, legaturile interne si externe ale proiectului, activitatile formale si informale, raspunsurile proiectului la factorii externi .

Evaluarea performantei cerceteaza masura in care proiectul a reusit sa isi atinga scopurile propuse . Criteriile performantei masoara eficacitatea, eficienta, economia, disponibilitatea, accesibilitatea, targeting-ul si acceptabilitatea .

Evaluarea impactului reprezinta cel mai complex obiect al evaluarii, deaorece teoreticienii nu sunt de acord asupra unei definitii comune . Gabriel Matauan (1999, 83) intelege prin impact "doua categorii de consecinte ale programului: pe de o parte, contributia globala a acestuia la realizarea politicii domeniului, iar pe de alta parte, consecintele neprevazute ale programului asupra comunitatii in care se desfasoara si chiar asupra societatii in general . " Printre criteriile de evaluare ale impactului se numara:

gradul in care proiectul si-a atins obiectivul general,

modalitatile prin care proiectul a contribuit la formularea politicilor viitoare,

gradul de participare (numar de clienti serviti/ numar de clienti potentiali),

cunoasterea acestuia de catre grupul tinta,

efecte de multiplicare (output total/ output proiect),

efecte de antrenare ( input total/ input proiect),

efecte de dislocare,

efecte secundare .

Dintre toate obiectele evaluarii expuse mai sus, cel mai dificil de realizat il constituie evaluarea de impact datorita costurilor foarte mari pe care il implica o astfel de evaluare si dificultatilor legate de metodologie . In practica se prefera combinarea obiectelor, in functie de ceea ce urmareste managerul proiectului sau finantatorii acestuia .

4 . Tipuri de evaluare

In functie de obiectul evaluat si de scopul evaluarii se intalnesc mai multe tipuri de evaluare . Cea mai importanta distinctie este cea referitoare la evaluarea formativa si cea sumativa .

Evaluarile formative imbunatatesc obiectul evaluat prin examinarea a ceea ce proiectul aduce nou, calitatii implementarii, contextului organizational, personalului, procedurilor, obiectivelor etc . Aceste evaluari furnizeaza informatii pentru imbunatatirea, modificarea, documentarea si managementul proiectelor . Scopul evaluarii formative este procurarea feedbackului, progresului si succesului proiectului . Informatiile utile sunt stranse la inceputul proiectului astfel incat schimbarile sa poata mari eficacitatea acestuia periodic . Acest tip de evaluare este folositoare tuturor proiectelor, dar mai ales celor care se intind pe o perioada mai mare de timp .

Evaluarile formative includ mai multe tipuri de evaluare :

a) Evaluarea nevoilor: determina cine are nevoie de proiect, cat de mare este nevoia si ce s-ar putea realiza pentru a elimina problemele .

b) Estimarea evaluabilitatii: stabileste daca o evaluare este posibila si care este utilitatea ei .

c) Conceptualizarea structurata: ii ajuta pe stakeholderi/ decidenti sa-si defineasca proiectul, populatia tinta si posibilele rezultate .

d) Evaluarea implementarii: monitorizeaza fidelitatea proiectului

e) Evaluarea procesului: investigheaza procesul implementarii proiectului, incluzand alternative la aceasta .

In contrast, evaluarea sumativa[10] cerceteaza efectele sau rezultatele obiectivelor prin rezumarea proiectului si descrierea a ceea ce se intampla dupa implementarea acestuia . De asemenea, estimeaza daca un anumit obiectiv produce un anumit rezultat , determina impactul total al factorului cauzal dincolo de rezultatele imediat scontate si prevede costurile relative ale obiectivelor . Asadar, evaluarea sumativa masoara succesul unui proiect, fiind folosita pentru luarea deciziilor privind viitorul proiectului . Intrebarile de care un evaluator trebuie sa tina seama in momentul in care realizeaza o astfel de evaluare sunt urmatoarele:

A avut proiectul succes? Care au fost punctele tari si punctele slabe ale acestuia?

In ce procent a reusit proiectul sa-si indeplineasca obiectivele?

Au beneficiat participantii de pe urma acestui proiect? In ce fel?

Care componente au fost cele mai eficiente?

Sunt justificate costurile?

Ai sa le impartasesti si altora cunostintele dobandite?

Evaluarea sumativa poate fi impartita in:

a)     Evaluarea rezultatelor: cerceteaza daca proiectul a cauzat un efect verificabil asupra beneficiarilor . Ea estimeaza impactul, beneficiile si schimbarile aparute in randul populatiei participante la acest proiect . (Matauan, 1999) Aceasta evaluare se poate desfasura pe mai multe nivele de complexitate . Nivelul elementar are in vedere situatia celor care au beneficiat de serviciile oferite, iar cel superior performantantele celor care au beneficiat de proiect comparativ cu cei care nu au avut acces la el . Un nivel mai crescut de dificultate a acestei evaluari va avea in vedere schimbarea pe care acest proiect a adus-o in randul beneficiarilor .

b)     Evaluarea impactului: estimeaza efectele intentionate si neintentionate ale proiectului . Ea presupune o comparatie intre ceea ce s-a intamplat dupa implementarea proiectului si ceea ce s-ar fi intamplat daca acesta nu ar fi fost implementat . Rezultatele pot fi vazute pe termen scurt sau pe termen lung . Acest tip de evaluare este foarte important pentru luarea unei decizii privind continuarea, extinderea sau reducerea fondurilor proiectului .

c)     Analiza cost eficacitate si cost beneficiu: adreseaza intrebari despre eficienta proiectului prin standardizarea veniturilor in functie de valoarea monedei .

d)     Analiza secundara: reexamineaza datele existente pentru adresarea de intrebari sau de metode nefolosite anterior .

e)     Meta-analiza: integreaza rezultatele estimate din multiple studii pentru a ajunge la un total sau la un rezumat al ideilor asupra unei intrebari evaluate .

5 . Metode de evaluare:

Metodele de evaluare si modalitatile prin care acestea pot fi alese au inceput sa constituie din ce in ce mai mult atentia teoreticienilor, in special datorita introducerii conceptului de evaluare participativa ca modalitate de implicare a comunitatilor in evaluarea proiectelor . Foarte multi ani procesul a implicat ideea de experti (de obicei externi), aceasta judecata fiind bazata pe dificultatea metodelor folosite . Agentiile internationale finantatoare s-au concentrat pe asigurarea evaluarilor independente si verificabile, pentru a justifica si imbunatati continuarea finantarii si a altor resurse . Profesia de evaluator s-a dezvoltat in timp, teoreticienii utilizand diverse metode de masurare ca baza pentru pregatirea rapoartelor academice . Aceste abordari au dus la imbunatatirea rapida a procesului si la descoperirea punctelor tari si slabe ale diferitelor metode . Totodata, limbajul tehnic si prezentarea multiplelor rapoarte a dus la dificultatea intelegerii de catre populatia cu studii medii a descoperirilor facute . Astfel, comunitatile pentru care sau care au realizat proiectele s-au gasit in incapacitatea de a intelege unde au gresit, fiind nevoite de multe ori sa reia procesul .

In ultimii ani, teoreticienii au incercat sa dezvolte noi abordari care sa usureze si sa impulsioneze implicarea populatiei direct interesate in practica evaluarii . Evaluarea

participativa este vazuta ca un mijloc de trecere la alte stadii ale dezvoltarii datorita implicarii unui numar cat mai mare de indivizi in procesul de invatare si reflectie . Daca evaluarea va deveni o activitate complicata sau tehnica va fi dificila latura sa participatorie . Daca numai acele persoane care au cunostinte speciale pot intelege procesul, din ce in ce mai putini oameni vor putea participa . Un principiu al evaluarii participative este asadar, pastreaza lucrurile cat mai simple cu putinta .

Evaluarea moderna utilizeaza metodele cantitative, calitative si economice metode imprumutate din stiintele sociale . Modalitatea de alegere dintre acestea doua ii revine evaluatorului, in functie de cerintele finantatorului si bugetul alocat .

Metodele cantitative masoara reactiile unui numar nelimitat de indivizi cu un set de intrebari limitate . Ele sunt succinte, standardizate, fiind impartite in:

metode neexperimentale

metode cvasiexperimentale

metode experimentale .

Metodele neexperimentale investigheaza un singur grup de subiecti, in mod normal cei care au beneficiat de interventia programului . Ea poate opera cu un grup sau doua grupuri de observari . Limita metodei care foloseste un singur grup de observare este dat de faptul ca evaluatorul nu isi poate da seama daca proiectul a realizat schimbari in starea participantilor . Utilizarea acestor metode este recomandata atunci cand este nevoie sa se estimeze nevoia pentru o evaluare mai riguroasa, cand este necesara identificarea unei variabile care a condus la succesul programului, prin corelarea schimbarii cu alta variabila sau cand se pregateste o evaluare viitoare . (Matauan, 1999, 191)

Metodele cvasiexperimentale au fost teoretizate de Campbell si Stanley (1993, apud Matauan, 1999, 193) . Activitatile desfasurate de evaluator in cadrul acestei metode se concentreaza pe observarea participantilor inainte si dupa terminarea proiectului, cercetarea unor grupuri care nu au beneficiat de proiect si utilizarea variabilelor .

Metodele experimentale selecteaza aleatoriu indivizii din interiorul proiectului si din componentii grupului de control cu scopul evaluarii rezultatelor proiectului . Etapele acestei metode au in vedere selectarea in prima faza a grupurilor, masurarea variabilelor, efectuarea inteventiei asupra unui singur grup si masurarea variabilelor .

Spre deosebire de metodele cantitative, metodele calitative necesita un efort mai mare din partea evaluatorului, permitand acestuia sa analizeze mult mai multe detalii pe un esantion relativ scazut . Metodele calitative necesita un subiectivism mai mare din partea cercetatorului, datorita implicarii directe a acestuia . Modalitatile de culegere a datelor se realizeaza prin intermediul examinarii semnelor proiectului, observarii directe, interviurilor, focus - grupurilor si forumului comunitar . Analiza si interpretarea datelor necesita un proces creativ, nesubordonandu-de nici unei reguli . In general, evaluatorii folosesc descrierile calitative, analizele de continut, inductive si logice, precum si studiile de caz . (Matauan, 1999, 219)

Metodele economice nu se centreaza pe rezultate sau proces cum e cazul celor cantitative si calitative, ci utilizeaza un alt instrument de masura mai exact, si anume banii . Acest tip de metode este utilizat in special in administratia publica, unde fondurile sunt de obicei insuficiente . Principiul care sta la baza lor este crearea de proiecte viabile, performante cu bani putini . Intrebarea la care incearca sa dea raspuns evaluatorul este: "merita cheltuite resursele pentru proiect comparativ cu alte resurse de interventie pentru care ar fi putut fi alocate?" (Matauan, 1999, 224) . Pentru a raspunde la aceasta intrebare, cercetatorul foloseste ca instrumente ale evaluarii analiza minimizarii costurilor, analiza cost - eficacitate, analiza cost - beneficiu si analiza cost - utilitate . Caracteristicile acestor patru tipuri de evaluare economica sunt rezumate de catre Drummond printr-un tabel .

Tabelul 3: Masurarea costurilor si consecintelor in evaluarea economica

Sursa: Matauan, 1999, 227

In ultimii ani, in evaluarea internationala au inceput sa se foloseasca din ce in ce mai mult metodele participative: PRA (Participatory Rural Appraisal) si PLA (Participatory Learning and Actions)[12] . Aceste analize creaza oportunitati pentru membrii comunitatilor sa exploreze si sa analizeze propria lor situatie, prioritatile si potentialul de dezvoltare . Metodele PRA opereaza cu focus grupuri, harti ale comunitatilor, diagrame . Acestea au posibilitatea sa faciliteze evaluarea participativa in randul comunitatilor .

O alta metoda recent folosita in evaluare o reprezinta Logical Framework Analyses . In ultimii ani aceasta nu a fost asociata cu participarea, fiind ceruta de multe ori de catre finantatori ca metoda de rezumare a planului unui proiect . Ea s-a dovedit o metoda foarte buna pentru imbunatatirea calitatii planurilor de dezvoltare . Ca si element de evaluare, daca a fost folosita ca plan de actiune la demararea proiectului, LFA faciliteaza evaluarea plecand de la ideea ca obiectivele, activitatile si rezultatele au fost identificate .

Analiza SWOT (Fig . 4) este un instrument de evaluare usor de folosit in proiectele care folosesec grupuri mici . Aceasta utilizeaza un proces care poate fi coordonat de o singura persoana, recunoscand slabiciunile si avantajele unei situatii sau proiectului, orientandu-de apoi pe identificarea oportunitatilor si constrangerilor . Desi aceasta analiza poate fi facuta de o singura persoana, ea este mai utila cand participa mai multe persoane la efectuarea ei .

Figura 4: Analiza SWOT

Sursa:[13]

Pe langa instrumentele prezentate mai sus metodele participative folosesc si studiile de caz, efectuarea de seminarii si analize ale proiectului .

Metodele de evaluare expuse mai sus sunt prezentate in mod succint . In pratica evaluatorii sunt incurajati sa decida singuri asupra metodelor cele mai relevante si sa experimenteze singuri, eventual cu instrumente cat mai potrivite pentru oportunitatile si constrangerile contextuale . Dupa cum se observa din prezentarea anterioara, evaluarea este o metoda de feedback folosita din ce in ce mai mult in proiectele sociale . Ea poate sa aiba obiective multiple si sa fie condusa in diferite feluri . Majoritatea stakeholderilor implicati in procesul evaluativ se asteapta ca aceasta sa fie utila atat lor cat si beneficiarilor proiectului . De aceea, efortul pregatirii si implementarii ei este unul extrem de dificil, bazandu-se pe experienta cercetatorului si pe capacitatea lui de a efectua o evaluare obiectiva .

Notiuni de evaluarea programelor sociale

Introducere

Incepand cu anii 60, odata cu aparitia programelor sociale ca instrument al politicilor sociale, s-a pus problema evaluarii sistematice a programelor sociale, care consta initial doar in descrieri ale modului de administrare a programelor (Manski&Garfinkel, 1992, Matauan, 1999) . In prezent se poate spune ca exista un consens asupra faptului ca evaluarea este necesara insa nu exista consens asupra modului in care ea ar trebui facuta .

Care sunt insa efectele directe si indirecte ale programelor la diferite niveluri (comunitar, regional, national) . Este importanta implicarea beneficiarilor? Implicarea creste sau reduce costurile de implementare? Care sunt costurile si beneficiile legate de diferitele tehnici de interventie? Prin ce difera efectele acestora intre ele? Acestea sunt cateva din intrebarile la care poate raspunde evaluarea, in functie de datele disponibile si de cum este ea proiectata .

Ce inseamna evaluare?

Exista mai multe tipuri de evaluare printre care si evaluarea programelor sociale .

Programele de dezvoltare nu sunt proiectate la intamplare sau in baza experientei nesistematizate sau a intuitiei specialistilor, ci in baza analizei modului in care programe anterioare au functionat si a efectelor pe care acestea le-au atras in urma lor precum si in functie de prognozele bazate pe o cunoastere cat mai buna a contextului socio-economic in care urmeaza sa fie desfasurate . In prezent, in proiectarea interventiilor sociale este inclus in mod uzual un capitol referitor la modul in care vor fi evaluate . Aici sunt specificate in general metodologia de culegere a datelor, sursele de date, indicatorii utilizati . Termenul de evaluare nu are o definitie unanim acceptata (vezi Matauan, 2002), iar definitiile diferite ce pot fi identificate sunt mai degraba descrieri ale diferitelor tipuri de evaluare . In general, a evalua un program sau un proiect insemna a-i descrie modul de desfasurare si/sau efectele .

"Evaluarea - evaluarea obiectiva si sistematica a unui proiect/program/politica in desfasurare sau finalizat(a), privind designul, implementarea si rezultatele . Evaluarea ar tb . sa furnizeze informatie credibila si utila, ce permite incorporarea lectiilor invatate in procesul de luare a deciziilor atat a donorilor cat si a beneficiarilor . Evaluarea se refera de asemenea la procesul de determinare a semnificatiei sau valorii unei activitati, politici, program . O evaluare, cat de sistematica si obiectiva este posibila, a unei interventii de dezvoltare in plan, in desfasurare sau completa . " (OECD, 2002: 21) "Evaluarea de program reprezinta colectarea cu grija a informatiilor despre un program sau despre anumite aspecte ale unui program pentru a lui deciziile necesare despre acel program . Evaluarea de program poate include o varietate de cel putin 35 de tipuri diferite de evaluare, cum ar fi evaluarea nevoilor, acreditarea, analiza cost/beneficiu, eficacitatea, eficienta, evaluarea formativa, sumativa, bazata pe scopuri, bazata pe proces, bazata pe rezultate, etc . . Tipul de evaluare pe care il desfasori pentru a imbunatati programul depinde de ceea ce vrei sa afli despre acel program . " Carter McNamara, PhD Evaluarea este procesul de agregare sistematica si sintetizare a diferitelor tipuri si forme de date pentru a arata valoarea unui anumit program" . Wilde Judith .

De ce se face evaluare?

Evaluarea nu este insa doar un demers descriptiv fara alte functii decat aceea de a cunoaste . Rezultatele ei sunt utilizate in luarea de decizii cu privire la initierea, continuarea, modificarea, imbunatatirea, sistarea sau extinderea programului . In plus, evaluari ale unor programe aplicate anterior pot da o imagine relevanta pentru un program aflat in faza de proiectare .

Evaluarea poate fi realizata ex ante, in scopul de a obtine o prognoza cu privire la modul in care un program va functiona si va produce efectele dorite, sau ex post, pentru a furniza informatii despre eficacitatea sau eficienta unui program care a fost deja implementat . Poate fi evaluat programul in intregime sau pot fi evaluate diferitele sale etape/componente . De fapt, evaluarea este utila in oricare dintre etapele prin care trece un program, de la definirea strategiei (identificarea problemei si pregatirea programului), in implementare si pana la identificarea unor noi proiecte (vezi Matauan, 1999)[15] .

In oricare dintre aceste cazuri, trebuie subliniat faptul ca, pentru a fi utila in elaborarea programelor sociale, evaluarea trebuie sa fie capabila sa raspunda la intrebarea contrafactuala: "Ce s-ar fi intamplat daca programul respectiv nu ar fi fost implementat sau daca ar fi fost diferit?" (Manski&Garfinkel, 1992:6) . Nu trebuie descrise doar schimbarile identificabile la nivelul grupului tinta sau al societatii mai largi, ci trebuie analizat in ce masura acele schimbari se datoreaza programului in cauza .

Interventia sociala este un tip de relatie "client-agent" in care clientul are foarte putin sau deloc control asupra agentului (Rughinis, 2004) . Daca in cazul relatiei "client-agent" din economie clientul ii da feed-back agentului prin cererea de produse si servicii, nu acelasi lucru este valabil si pentru programele sociale . Cererea mare pentru un program social nu insemna intotdeauna ca el functioneaza bine . Uneori poate insemna tocmai, dimpotriva, o proasta tintire a programului . In aceste conditii, evaluarea este cea care ofera feed-back-ul necesar .

Evaluarea de program poate: Intelege, verifica sau creste impactul produselor si serviciilor asupra cumparatorilor sau clientilor . Aceste evaluari de "rezultat" sunt cerute din ce in ce mai mult de finantatorii non-profit ca verificare ca aceste organizatii chiar ajuta beneficiarii . . Imbunatateste mecanismele de a fi mai eficient si mai putin costisitor . In timp, distribuirea serviciilor si a produselor sfarseste printr-o colectie de activitati ce sunt mai ineficiente si mai costisitoare decat ar tb . sa fie . Verifica ca faci ceea ce crezi ca faci . Evaluarile pot verifica ca programul merge asa cum a fost planificat . Faciliteaza gandirea managementului la ceea ce este programul de fapt, incluzand scopuri, mijloacele de a ajunge la ele si cum se va stii daca s-a ajuns la aceste scopuri . Produce date sau verifica rezultate care pot fi folosite pentru relatiile publice si promovarea serviciilor in comunitate . Produce comparatii valide intre programe pentru a decide care ar tb . pastrat, in cazul unor reduceri de puget . Examineaza si descrie programul pentru a putea fi duplicat in alta parte . " (McNamara Carter)

Cine face evaluare?

Acest feed-back nu vine insa de la clienti decat indirect . Manski&Garfinkel (1992) identifica 3 grupuri distincte care sunt implicate in evaluare si ale caror puncte de vedere si interese nu coincid intotdeauna: comunitatea stiintifica, reprezentantii institutiilor care elaboreaza si/sau implementeaza programe sociale si specialistii din firmele de consultanta care efectueaza activitati de evaluare . Evaluarea poate fi subiect de cercetare stiintifica, dar in acelasi timp ea are implicatii practice foarte importante, de rezultatele ei depinzand activitatea institutiilor care elaboreaza si/sau implementeaza politici si programe sociale .

Tipuri de evaluare

Exista mai multe tipologii ale evaluarii, in functie de criterii diferite . Un prim astfel de criteriu este continutul evaluarii . Daca urmarim consecintele unui program sau proiect, atunci facem evaluare de impact . Daca, dimpotriva, urmarim mai degraba modul de implementare si de administrare a programului, atunci inseamna ca facem o evaluare de proces . Prima abordare este specifica mai degraba economistilor cantitativisti, pe cand cea de-a doua este folosita in special de catre specialistii calitativisti din stiintele sociale (Manski&Garfinkel, 1992) .

In functie de scopul pe care il urmareste, evaluarea poate fi statica, atunci cand compara un set dat de optiuni de program, sau dinamica, atunci cand are ca finalitate imbunatatirea deciziilor in legatura cu noi programe ce urmeaza a fi dezvoltate . Practic, in cazul primului tip tinta evaluarii este programul evaluat, pe cand in cel de-al doilea caz, tinta este reprezentata de alte programe, inca neimplementate .

O alta tipologie este data de raspunsul la intrebarea "Ce trebuie sa intelegem despre modul in care functioneaza programele pentru a sti ce realizeaza ele?" (Manski&Garfinkel, 1992:10) . Este vorba despre un criteriu metodologic in functie de care se poate distinge intre evaluare structurala si evaluare a formei reduse ("reduced-form evaluation") . Prima presupune intelegerea proceselor sociale in scopul de a putea emite o prognoza asupra modului in care programul va influenta tinta sa intr-un anumit context si se bazeaza pe date referitoare la programe reale . In cea de-a doua abordare, programul este considerat un fel de cutie neagra si nu este analizata decat diferenta intre starea dinainte si de dupa implementarea programului . In aceasta abordare, este utilizata in general metoda experimentala .

Un criteriu de diferentiere aparut mai recent este cel al implicarii beneficiarului programului in evaluare . O abordare ceva mai noua a evaluarii este cea participativa, spre deosebire de cea non-participativa . Beneficiarii si alti actori relevanti sunt implicati in procesul de redactare a programului sau proiectului precum si in implementare si evaluare .

Una dintre cele mai importante distinctii e cea intre evaluare formativa si sumativa, prima propunandu-si sa creasca calitatea, sa imbunatateasca programul studiat pe cand cea de-a doua sa examineze efectele acestui program . Fiecare dintre aceste tipuri de evaluare poate include la randul ei alte cateva (Trochim, William):

Evaluarea formativa:

evaluarea nevoilor

conceptualizarea structurata

evaluarea implementarii

evaluarea de proces

Evaluarea sumativa:

evaluarea rezultatelor

evaluarea de impact

analiza cost-beneficiu sau cost eficacitate

analiza secundara

meta-analiza

Metode de evaluare

Desi o practica relativ noua, evaluarea si-a dezvoltat un set de metode si tehnici specifice, imprumutate si adaptate din stiintele sociale si din economie . Au fost imprumutate atat metode cantitative cat si calitative . Metoda este aleasa in functie de obiectivele evaluarii (vezi tipurile de evaluare descrise mai sus), dar si de specificul interventiei sociale pe care o evaluam . Astfel, intr-un fel vom evalua un program ce are ca obiectiv principal reducerea somajului, in alt fel vom evalua un program de sustinere a persoanelor ce traiesc in saracie extrema si iarasi in alt fel vom evalua un program de interventie comunitara . Nu numai ca obiectivele acestor programe sunt foarte diferite, dar si mecanismele si grupurile tinta sunt diferite . Tipul si metodele de evaluare for fi selectate in functie de ceea ce se considera ca este important pentru program . Intrebarile pe care si le pune specialistul inainte de a proiecta un demers evaluativ sunt de tipul: Ce este mai important, sa atingem o proportie cat mai mare a populatiei tinta la costuri cat mai reduse sau sa evidentiem mecanismele prin care o interventie in acest domeniu este cat mai eficienta? Sa putem distinge foarte clar care sunt efectele directe si indirecte datorate strict programului evaluat sau sa vedem in ce fel interventia este adaptata nevoilor beneficiarilor? Si lista ar putea continua .

A . Metode cantitative

In cazul unei optiuni pentru metode cantitative, evaluatorul urmareste de obicei sa evidentieze efectele programului, desfasurand o evaluare de impact . Pentru aceasta, el culege date despre un esantion de cazuri, prin care incearca sa evidentieze modificarile pe care programul le-a adus . Designul evaluarii bazate pe metode cantitative poate fi de trei feluri: experimental, cvasi-experimental sau ne-experimental (Johnson, 2003) .

In cazul designului experimental, sunt colectate date pentru doua grupuri: grupul experimental si grupul de control . Se colecteaza date inainte si dupa interventie, iar diferentele observate sunt considerate a fi efect al interventiei . Se pune insa problema eliminarii influentei unor factori necontrolabili atat asupra grupului experimental, cat si asupra grupului de control . Este posibil ca de la inceput sa existe anumite diferente intre cele doua grupuri . Pentru a exclude aceasta posibilitate, cazurile care intra intr-un grup sau altul sunt selectate prin esantionare aleatoare din populatia tinta a interventiei . Prin aceasta modalitate se poate porni de la presupozitia ca diferentele individuale dintre cazuri se compenseaza intre ele .

De multe ori insa, este imposibila o selectie aleatoare a cazurilor care intra in grupul de control si, respectiv, in grupul experimental . Designul cvasi-experimental difera de cel experimental tocmai prin aceasta caracteristica: cazurile nu sunt atribuite celor doua grupuri in mod aleatoriu . In consecinta, este necesara selectarea dupa alte criterii a cazurilor pentru care se colecteaza date . Un astfel de criteriu ar fi similaritatea . Avem un anumit numar de cazuri asupra carora se va interveni . Pentru grupul de control vom selecta cazuri pereche, similare cu cate unul din cazurile din grupul experimental . In cazul designului cvasi-experimental este de multe ori necesar sa facem mai multe observatii decat in cazul designului experimental, pentru a ne asigura ca diferentele aparute intre cele doua grupuri se datoreaza interventiei sociale .

In cazul designului ne-experimental nu avem grup de control . Din aceasta cauza, evaluarea de impact bazata pe design ne-experimental este mai putin relevanta decat celelalte doua, acest tip de design fiind mai degraba folosit pentru a raspunde la intrebari normative sau descriptive .

Tabel 1 Tipuri de design-uri folosind metode cantitative .

O simbolizeaza observatia, X - interventia

Designul experimental si cel cvasi-experimental sunt foarte dificil de aplicat in practica . In primul rand, selectia celor care participa si a celor care nu participa in program pune probleme de etica . Uneori, refuzarea interventiei pentru unele cazuri poate insemna pentru acestea scaderea sanselor de supravietuire sau de dezvoltare . O a doua dificultate este data de faptul ca traim intr-o societate in care infrastructura de comunicare s-a dezvoltat foarte mult si astfel apare riscul ca grupurile sa afle unele despre altele iar membrii lor sa isi dea seama ca fac parte dintr-un experiment . Implicatiile acestei posibilitati pentru rezultatele evaluarii nu pot fi estimate .

Un alt dezavantaj al designului experimental sau cvasi-experimental este ca de obicei se desfasoara la scara mica, in faza de pilotare a unui program, cu scopul de a decide daca si cum va fi implementat respectivul program la scara larga . Exista insa anumite efecte care nu pot fi estimate cu ajutorul evaluarilor de acest tip . Experimentele se desfasoara in conditii artificiale si la scara mica si in consecinta nu pot fi estimate efectele lor la nivelul societatii mai largi (Garfinkel et . al . , 1992) . Spre exemplu, daca implementam in faza pilot un program de instruire a somerilor de lunga durata si constatam ca acestia au apoi in mai mare masura succes pe piata fortei de munca, rezultatele obtinute nu ne indreptatesc sa credem ca daca vom implementa programul la scara larga va fi mult diminuat somajul de lung termen, fiindca in prima faza programul le oferea unora sanse mai bune decat celorlalti, pe cand in implementarea la scara larga toti somerii de lung termen pornesc din nou de la egalitate .

B . Metode calitative

Evaluarea calitativa nu presupune interventia in conditii artificiale, ci este mai degraba naturala . Spre deosebire de metodele cantitative, in cazul celor calitative evaluatorul intra in contact direct cu beneficiarii si alti actori relevanti (stakeholder) pentru interventie . Nu se mai pune problema selectiei aleatoare a cazurilor ce sunt incluse in evaluare, ci sunt folosite metode de esantionare nealeatoare (de exemplu: cazuri extreme, esantionarea in "bulgare de zapada", cazul critic, cazul tipic, esantionarea de oportunitate etc . ) . Tehnicile de culegere a datelor sunt cele specifice stiintelor sociale: focus-grupul, observatia, interviul in profunzime . La acestea se adauga o tehnica de culegere a datelor specifica evaluarii participative: forumul comunitar, un fel de focus-grup cu un grup autoselectat dintre membrii comunitatii .

Metodele calitative, chiar daca mai putin exacte si fara capacitatea de a fi generalizate, au avantajul accesibilitatii din punctul de vedere al costurilor si, in plus sunt foarte relevante pentru evaluarea procesului . Doar cu ajutorul metodelor cantitative pot fi identificate mecanismele prin care interventia sociala isi influenteaza tinta . De asemenea, metodele calitative sunt foarte importante in evaluarea participativa, caci doar prin intermediul lor pot beneficiarii sa participe la evaluare .

Intre cele doua tipuri de metode nu exista o relatie de opozitie, ci mai degraba una de complementaritate . Metodele calitative pot avea fie rol exploratoriu in vederea proiectarii unei evaluari cantitative, fie pot veni cu completari si explicatii la rezultatele obtinute cu ajutorul metodelor cantitative (Matauan, 1999) . De asemenea evaluarea prin metode calitative are relevanta si in afara combinatiei cu o evaluare bazata pe metode cantitative .

C . Metode economice

Prin metodele economice de evaluare sunt cuantificate atat elementele ce tin de proces, cat si cele ce tin de efecte, fiind masurate in unitati monetare . Acest tip de metode este foarte important in conditiile in care traim intr-o lume in care resursele sunt limitate iar nevoile nelimitate (Matauan, 1999) . Metodele economice sunt folosite pentru a compara diferite variante de program ce se adreseaza aceleiasi nevoi .

Analiza minimizarii costurilor este utila in alegerea dintre mai multe optiuni de interventie, atunci cand se estimeaza ca diferitele optiuni duc la efecte comparabile . Este singura dintre metodele economice in cadrul careia nu sunt cuantificate si analizate efectele interventiei, considerandu-se de la bun inceput ca ele sunt similare .

Analizele de tip cost-eficacitate, cost-beneficiu si cost-utilitate pun in balanta si efectele programului . Primul tip nu cuantifica efectele programelor in unitati monetare, ci foloseste unitati naturale . O asemenea metoda de evaluare poate fi aplicata doar daca diferentele intre efectele variantelor comparate sunt doar cantitative . Comparam astfel numarul de someri reintegrati pe piata muncii, numarul de familii care primesc o locuinta, numarul de gospodarii ce au acces la apa potabila sau numarul de locuinte electrificate, raportandu-le la costurile monetare .

Analiza cost-beneficiu este utilizata atunci cand efectele interventiilor sociale sunt diferite calitativ . In acest caz, sunt cuantificate in unitati monetare atat input-urile, cat si efectele, permitandu-se astfel comparatia intre diferitele optiuni . Cuantificarea efectelor in unitati monetare nu este intotdeauna relevanta, unele efecte, chiar daca in termeni monetari mai putin importante, au utilitate sociala mai importanta . Analiza cost-utilitate incearca sa surprinda acest aspect, cuantificand efectele interventiei in unitati de masura relevante . Aceasta metoda este utilizata mai frecvent in domeniul serviciilor medicale, utilitatea fiind convertita, spre exemplu, in "zile de viata sanatoasa" .

Atunci cand evaluam o anumita interventie sociala nu suntem obligati sa alegem una dintre metodele descrise mai sus, ci putem alege orice combinatie de metode potrivite tipului de interventie ce va fi evaluata si pe care ne-o putem permite din punctul de vedere al costurilor financiare si de timp . In orice situatie insa, triangulatia este foarte utila .

Overview of Methods to Collect Information (by Carter McNamara, PhD; last revision: Feb 16, 1998)

The following table provides an overview of the major methods used for collecting data during evaluations .

Evaluarea bazata pe teoriile schimbarii

Criticii evaluarii bazate pe metode experimentale si cvasi-experimentale propun o abordare a evaluarii din perspectiva teoriilor schimbarii . Termenul de teorie in acest caz trebuie inteles in acceptiunea populara de idei sau ipoteze despre ceva anume . Adeptii metodei considera ca orice proiect este bazat pe o teorie a schimbarii, adica pe ideile pe care oamenii le au despre cum le va schimba acel proiect viata si comunitatea . Este important sa se tina cont de aceste teorii pentru ca ele reflecta si contextul in care apare proiectul, ajutand astfel la identificarea factorilor externi interventiei comunitare . De asemenea, ea permite anticiparea efectelor pe termen lung ale interventiei (Saraceno, 1999) .

Evaluarea participativa

Evaluarea participativa nu este specifica doar interventiilor comunitare, insa importanta ei este mai mare in acest caz, avand in vedere ca interventiile comunitare vizeaza de cele mai multe ori si participarea membrilor comunitatii . In evaluarea participativa, beneficiarii interventiei sunt in acelasi timp si evaluatorii ei . Acest tip de evaluare se concentreaza mai mult pe proces si pe efecte indirecte si mai putin pe efecte indirecte (Lefevre, 2000) .

Cazurile de succes sau buna practica

Bunele practici sunt identificate de obicei ca rezultat al evaluarii efectuate de catre institutia implementatoare . Sunt stabilite anumite criterii de buna practica ce corespund unor principii ale programului derivate din strategie (de exemplu: caracterul inovativ al proiectului comunitar, implicarea comunitatii in luarea deciziilor, implicarea comunitatii in ducerea la bun sfarsit a proiectului, parteneriatul, un numar cat mai larg de beneficiari, sustenabilitate, contributia la dezvoltarea comunitatii etc . ) . Proiectele ce indeplinesc toate criteriile stabilite ca fiind importante sunt considerate cazuri de succes sau de buna practica si sunt de cele mai multe ori facute publice in scopul de a demonstra pe de o parte buna functionare a programului si, pe de alta parte, pentru a permite difuziunea bunelor practici .

Evaluare[16]

In definitia cea mai simpla, a evalua un program sau un proiect inseamna a analiza modul

de desfasurare, rezultatele si/sau impactul acestuia in lumina obiectivelor si avand in

vedere procesul de luare a deciziilor strategice . Prin urmare, evaluarea (eval . ) este un

mijloc de identificare a lectiilor invatate din actiunile intreprinse in trecut si in prezent,

in vederea gasirii deciziilor care sa imbunatateasca implementarea si managementul

activitatilor din viitor .

Incepand cu anii . 60, odata cu aparitia programelor sociale ca instrument al politicilor

sociale, au fost dezvoltate o multitudine de tipuri diferite de eval .

Din punctul de vedere al momentului realizarii, exista trei tipuri de eval . :

1 . Eval . ex ante, realizata inainte de implementarea programului/proiectului, in scopul

de a obtine o prognoza cu privire la modul in care un program va functiona si va

produce efectele dorite . Acest tip de eval . poate fi realizata pe baza unui studiu de

fezabilitate sau a unei diagnoze initiale .

2 . Eval . continua, realizata de-a lungul perioadei de viata a proiectului sau programului .

Pe de o parte, eval . poate avea in vedere dinamica interna a procesului de implementare

a programului/proiectului si rezultatele initiale ale acestuia (atingerea obiectivelor

strategice, a tintelor specifice sau a prioritatilor stabilite in cadrul procesului de

planificare strategica) . Pe de alta parte, eval . se poate concentra pe modul specific de

implementare si pe efectele acestuia (de exemplu, pe implementarea principiilor

precum parteneriatul, integrarea, participarea sau distribuirea efectelor in teritoriu) .

Acest tip de eval . este in principal bazat pe datele culese prin monitorizare si este

vital pentru corectia si revizuirea in timp real a planului de actiune si a activitatilor .

3 . Eval . ex post, realizata dupa finalizarea implementarii, in scopul de a furniza informatii

despre eficacitatea sau eficienta unui program/proiect care a fost deja implementat .

In fapt, eval . ex post se poate realiza in faza finala de implementare a programului/

proiectului (de exemplu, in ultimele sase luni), atunci cand rezultatele acestuia constituie

un input pentru procesul de planificare a unui alt program/proiect . Sau eval .

ex post se poate realiza la finalul implementarii, cand poate cuprinde toate componentele

programului/proiectului (procesul, relevanta, coerenta, eficienta, eficacitatea,

valoarea adaugata etc . ) . La modul ideal, eval . ex post ar trebui realizata la cateva luni

sau chiar ani dupa finalizarea implementarii, ceea ce este insa rareori posibil . Eval .

ex post este cruciala, caci estimeaza impactul programului/proiectului, atat structural,

cat si de-a lungul timpului (de exemplu, rezistenta/adaptarea la noile fenomene,

sustenabilitatea interventiei), asupra situatiei problematice initiale .

In functie de continut, exista doua tipuri principale de eval . Eval . de proces (numita

si formativa) este centrata in principal pe modul de implementare si de administrare a

programului/proiectului, are ca scop cresterea calitatii, imbunatatirea programului studiat

si este in general asociata cu metode calitative de culegere si analiza a datelor . Eval . de

impact (numita si sumativa) urmareste in principal consecintele (pozitive/negative,

intentionate/neintentionate, volatile/durabile) ale unui program/proiect, are ca scop

examinarea rezultatelor sau impactului programului si, cel mai frecvent, utilizeaza metode

cantitative de culegere si de analiza a datelor .

Eval . de impact are adesea in vedere si efectele de multiplicare de la nivelul partilor

interesate: contributia acestora la demararea proiectului (idei, negocieri etc . ), mobilizarea

resurselor (financiare, materiale, umane etc . ), efecte ale proiectului in afara

obiectivelor (schimbarea politicii unor institutii, lansarea unor noi initiative, stabilirea

unor noi retele de cooperare interinstitutionala etc . ), dar si eventualele obstacole induse

de accesul asimetric al partenerilor la informatie sau dinamica defectuoasa intre parteneri

(vezi analiza de impact) .

Eval . centrate pe efectele programului se diferentiaza in functie de raspunsul metodologic

pe care il dau la intrebarea: . Ce trebuie sa intelegem despre modul in care func-

tioneaza programele pentru a sti ce realizeaza ele? . . Eval . structurala este centrata pe

programe reale si urmareste intelegerea proceselor sociale, cu scopul de a putea emite o

prognoza asupra modului in care, intr-un context dat, programul va influenta tinta sa .

Eval . formei reduse (reduced-form evaluation) trateaza programul ca pe o . cutie neagra .

si, prin metode experimentale, urmareste doar diferenta dintre starea de dinainte si cea

de dupa implementarea programului .

Din punctul de vedere al scopului, eval . poate fi statica, deoarece compara un set dat

de optiuni de program, tinta eval . fiind programul/proiectul evaluat, sau dinamica,

intrucat are ca finalitate imbunatatirea deciziilor in legatura cu programe noi, ce urmeaza

a fi dezvoltate, tinta eval . fiind noile programe, inca neimplementate .

Un alt factor de diferentiere este evaluatorul sau evaluatorii . Din acest punct de vedere,

eval . poate fi externa sau interna, participativa sau non-participativa . Eval . externa este

realizata de unul sau mai multi experti din afara echipei programului/proiectului, in timp

ce eval . interna este realizata de structurile institutionale responsabile de implementare .

Desi eval . externa este de regula considerata . neutra . prin comparatie cu eval . interna,

ambele tipuri de eval . sunt supuse riscului de pseudoevaluare sau abuz evaluativ . Spre

exemplu, Stufflebeam si Webster (1981) aduc in discutie doua tipuri de pseudoevaluare,

si anume evaluarile . controlate politic . , care sunt initiate de clienti ce vor sa-si apere sau

sa-si mentina sfera de influenta, si cele . inspirate din relatii publice . , elaborate de

agentiile sau departamentele de relatii publice, cu scopul de a construi o imagine pozitiva

a programului . Inca din 1967, Suchman a identificat o serie de forme de abuz evaluativ

care sunt comune evaluatorilor externi si interni, cum sunt: . spalarea ochilor . . limitarea

atentiei la aspectele favorabile ale programului; . spalarea totala . . evitarea oricarei

eval . obiective; . submarina . . eval . are scopul de a elimina un program; . poza . .

adoptarea unei posturi aparent stiintifice si obiective, dar lipsite de orice substanta;

. amanarea . . intarzierea actiunii sub pretextul asteptarii unei eval . , de care insa nu este

nevoie; . substitutia . . acoperirea esecului unei activitati esentiale unui program, prin

devierea atentiei catre aspecte mai putin relevante, dar mai usor de justificat .

Pe de alta parte, eval . poate fi participativa sau non-participativa . In eval . non-participativ

a, beneficiarii nu participa la eval . , spre deosebire de evaluarile participative (vezi

evaluare participativa), in cadrul carora beneficiarii interventiei sunt in acelasi timp si

evaluatorii ei . Eval . participativa se concentreaza mai mult pe proces si pe efecte indirecte

si este mai importanta in cazul interventiilor comunitare, avand in vedere ca acestea

vizeaza de cele mai multe ori participarea membrilor comunitatii . Manualele recente de

monitorizare si eval . ale organizatiilor internationale (BM, DFID, ILO, PNUD, UNICEF,

USAID etc . ) atrag atentia asupra multiplelor beneficii ale implicarii beneficiarilor (ca si

asupra altor parti interesate) in elaborarea si implementarea programelor sociale, si nu

doar in eval . acestora .

Din punctul de vedere al datelor colectate si analizate, precum si al metodelor

utilizate, eval . are drept tinta echilibrul greu de realizat intre cantitativ si calitativ . Eval . ,

desi este o practica relativ noua, si-a dezvoltat un set de metode si tehnici specifice,

imprumutate si adaptate din stiintele sociale si din economie . A fost preluata o gama

larga de metode (vezi metode calitative utilizate in evaluare si metode de prognoza:

Delphi), atat cantitative (experimentale, cvasiexperimentale sau neexperimentale), cat si

calitative (consultarea partilor interesate, interviul, studiul de caz, studiu comunitar,

analiza Delphi, panelul de experti), precum si metode economice, cum sunt analiza

minimizarii costurilor, analiza cost-eficacitate, cost-beneficiu sau cost-utilitate . Metodele

de eval . sunt complementare si se nu afla in relatie de opozitie . Nici una dintre metodele

discutate anterior nu are un grad de acuratete aflat deasupra oricarei indoieli si nici nu

este unanim acceptata de teoreticienii si practicienii eval .

Metoda este aleasa in functie de obiectivele eval . , dar si de specificul interventiei

sociale evaluate . Astfel, intr-un fel vom evalua un program ce are ca obiectiv principal

reducerea somajului si in alt fel vom evalua un program de sustinere a persoanelor ce

traiesc in saracie extrema, si iarasi in alt fel vom evalua un program de interventie

comunitara . Nu numai ca obiectivele acestor programe sunt foarte diferite, dar si

mecanismele si grupurile-tinta sunt diferite . Tipul si metodele de eval . vor fi selectate in

functie de ceea ce se considera a fi important pentru program .

In realitate, eval . unei interventii sociale utilizeaza o combinatie specifica de metode

alese in functie de o serie de factori, dintre care cei mai importanti sunt: 1 . tipul de

interventie care este evaluata; si 2 . resursele financiare si de timp disponibile . O posibila

solutie este triangulatia (triangulation), definita ca metoda de stabilire a gradului de

acuratete a informatiilor in studiul unui fenomen sau construct, care consta in combinarea

de trei sau mai multe surse independente de date, evaluatori, teorii sau metode, pentru

a verifica daca duc la aceleasi concluzii . Asa cum arata Matauan (2002), sunt cunoscute

patru tipuri de triangulatie: a) triangulatia surselor de date, in scopul imbunatatirii

fiabilitatii si validitatii rezultatelor; b) triangulatia evaluatorilor, mai multe puncte de

vedere asupra aceleiasi probleme; c) triangulatia teoriilor, mai multe abordari cu privire

la aceeasi problema; d) triangulatia metodologica, in scopul minimizarii efectelor

metodelor singulare . Triangulatia totusi trebuie folosita cu precautie, caci se poate

transforma intr-o simpla alaturare a unor surse de date sau puncte de vedere, care nu

garanteaza prin ea insasi imbunatatirea calitatii datelor, in schimb necesita resurse

financiare considerabile . In plus, nu orice eval . are nevoie de triangulatie .

Eval . nu este doar un instrument de cunoastere, ci trebuie inteleasa ca instrument

managerial si de decizie, care furnizeaza feedback informational in mod sistematic .

Eval . reprezinta o estimare a eficientei globale a unei interventii, arata in ce masura

aceasta a solutionat problema sau a produs schimbarea urmarita . La nivelul unei institutii

(si nu doar al unui program/proiect), eval . constituie un instrument important de analiza

a ariei de responsabilitate (vezi arie de responsabilitate) asumat formal si practic, ce

pune in evidenta masura in care institutia respectiva se achita de responsabilitati . Eval .

impune deci identificarea factorilor responsabili de succes, respectiv de esec . De aceea,

este un instrument managerial esential pentru a evita risipa pe cai probate a fi ineficiente

si a orienta alocarea resurselor pe cai care duc la succes .

Asa cum am aratat mai sus, managerul are la dispozitie o gama larga de optiuni

posibile . Eval . se poate face in fiecare etapa a ciclului de viata al programului, dar si ca

etapa distincta dupa incheierea lui . Poate fi facuta atat de evaluatori interni, cat si de

evaluatori externi . Poate urmari elementele interne ale programului (structurile institu-

tionale, actorii implicati, practicile, activitatile, resursele, principiile strategice, dinamica

interna etc . ), dar si elementele externe precum relevanta programului in raport cu

problema sociala adresata, influentele mediului in care opereaza programul sau impactul

asupra societatii .

Inainte de a demara o eval . , managementul trebuie sa stabileasca un scop si obiective

clare pentru aceasta, pornind de la diagnoza problemei sociale adresate, strategia si

planul de actiune stabilite in cadrul procesului de planificare strategica . Astfel, eval .

poate avea (pentru o sinteza, vezi Matauan, 1999): 1 . scop strategic, de generare de

informatii pentru luarea de decizii privind o interventie in derulare (de exemplu,

continuarea, modificarea sau stoparea acesteia), identificarea de noi programe sau privind

alegerea intre mai multe alternative de interventie; 2 . scop praxiologic-formativ, de

imbunatatire a practicilor in interiorul programului privind managementul, functionarea

echipei sau modul de furnizare a serviciilor catre beneficiari . Insa eval . poate avea si un

al treilea scop, demonstrativ, de a demonstra anumite aspecte legate de program si de a

genera perceptii dezirabile asupra programului la nivelul diferitelor parti interesate

(comunitati, institutii, organizatii, grupuri sociale, persoane) sau un scop formal-birocratic,

de a consolida sau perpetua anumite structuri birocratice, fara nici un rol in luarea

vreunei decizii legate direct de program sau de politica in domeniul respectiv . Tocmai

pentru ca majoritatea programelor/proiectelor presupun participarea mai multor parti cu

interese divergente sau chiar conflictuale, bunele practici demonstreaza importanta

parteneriatului in stabilirea scopului si obiectivelor eval .

In al doilea rand, managementul trebuie sa determine nevoia de informatie la nivelul

fiecarei componente a programului/proiectului si in functie de aceasta eval . se va

concentra pe unul sau mai multe dintre criteriile clasice precum coerenta, eficienta,

eficacitatea, viabilitatea, relevanta, durabilitatea, sustenabilitatea, accesibilitatea, acoperirea

etc . Eval . va fi proiectata in functie de criteriul sau combinatia specifica de criterii

pentru care se opteaza, caci eval . viabilitatii utilizeaza surse de informatie, metode si

indicatori diferiti de eval . relevantei, spre exemplu .

In al treilea rand, eval . este proiectata in functie de momentul la care trebuie realizata,

resursele disponibile si institutia/organizatia care o comanda . Spre exemplu, eval .

continua care vizeaza procesul de implementare este organizata diferit fata de o evaluare

finala concentrata pe masurarea rezultatelor/efectelor . Institutia/organizatia care comanda

eval . (si, de obicei, o finanteaza) joaca un rol decisiv in stabilirea tipului de eval . ce

urmeaza a fi realizata, precum si in definirea scopului si obiectivelor acesteia .

Eval . trebuie planificata inca de la inceputul programului/proiectului . In concordanta

cu obiectivele eval . si in functie de tipul si criteriile de eval . pentru care se opteaza, sunt

stabiliti indicatorii de performanta (de preferat, in parteneriat) . Indicatorii folositi pentru

a masura progresul treptat si succesul global al unui program/proiect, fie calitativi, fie cantitativi

ar trebui sa fie: 1 . SMART . specifici, masurabili, realisti, relevanti si programati

in timp; 2 . valizi . sa masoare ceea ce s-a stabilit ca trebuie masurat; 3 . fideli . sa duca

la concluzii similare atunci cand sunt utilizati de catre persoane diferite; 4 . senzitivi .

sa masoare schimbarile importante ale situatiei masurate; 5 . senzitivi la aspecte de gen .

sa fie dezagregati pe sexe; 6 . cost-eficienti . informatia obtinuta sa merite costurile

financiare si de timp ale procesului de culegere; 7 . actuali . sa fie cat mai simplu de

cules si analizat suficient de repede; 8 . adecvati capabilitatilor si resurselor comunitatii/

institutiei; 9 . sa foloseasca seturi de date sau indicatori existenti pe plan local . Aranjamentele

institutionale dedicate eval . trebuie stabilite de la inceputul programului/proiectului,

in functie de oamenii, procesele, evenimentele, si tipurile de instrumente de eval .

necesare pentru masurarea progresului, atat la nivel global, cat si la nivelul fiecarei

componente . In plus, inca de la elaborarea unui program/proiect sunt prevazute modul si

procedurile prin care rezultatele eval . sunt incorporate in procesul de luare a deciziilor

in vederea revizuirii activitatilor din viitor . In acelasi timp, sunt prevazute mecanisme de

verificare si validare, cu rol de minimizare a riscurilor de manipulare a rezultatelor eval .

Eval . trebuie inteleasa ca parte integrata a ciclului oricarui program sau proiect, fiind

organic legata de toate celelalte faze ale unui astfel de ciclu, si anume identificarea

problemei, diagnoza problemei, elaborarea obiectivelor de dezvoltare, a strategiei, a

planului de actiune si implementarea . Modul in care este identificata si definita problema

orienteaza intreaga interventie si, implicit, eval . acesteia . Spre exemplu, daca un proiect

ar viza salvarea cladirilor inregistrate ca monumente istorice, eval . s-ar concentra pe

modul si masura in care actiunile intreprinse au atins acest obiectiv . In acelasi timp insa,

eval . ar putea scoate din timp la lumina efectele sociale ale actiunii, problema chiriasilor

saraci din aceste cladiri, care ar determina revizuirea in concordanta a strategiei si a

planului de actiune . Diagnoza problemei reprezinta punctul de referinta prin comparatie

cu care eval . stabileste impactul interventiei . Eval . produce informatii suplimentare, culese

in perioada de implementare a proiectului, care ar putea duce la revizuirea diagnozei

initiale sau chiar la refacerea acesteia . Relatia dintre eval . si procesul de planificare

strategica este de asemenea foarte puternica . Pe de o parte, tot ceea ce a fost planificat

(obiective strategice, activitati, durata, termene-limita, buget, metode) poate fi supus

eval . pe de alta parte, eval . (initiala, continua si finala) poate modifica prin concluziile

sale oricare dintre aspectele planificate . Teoretic, intre eval . si planificare exista o relatie

operationala conform careia o eval . trebuie realizata inainte de orice nou pas al

procesului de planificare . In fine, eval . procesului de implementare este vitala pentru a

asigura informatiile necesare luarii rapide sau urgente a deciziilor impuse de schimbarile

de la nivelul contextului, de diverse obstacole sau evenimente/factori neprevazuti, cu

consecinte la nivelul structurilor relevante .

Orice eval . provoaca o serie de oportunitati ce trebuie exploatate, dar si riscuri ce

trebuie evitate . Conform manualului BIM pentru promovarea incluziunii sociale, principalele

oportunitati asociate eval . sunt puse in principal in relatie cu procesul de invatare

institutionala si se refera la:

• . reflectie continua asupra deciziilor si actiunilor din trecut;
• . evitarea repetarii greselilor si risipirii resurselor;
• . integrarea cunoasterii cumulate in diverse domenii si sectoare de actiune;
• . imbunatatirea deciziilor;
• . identificarea efectelor intentionate si neintentionate, pozitive si negative de la nivelul
• diferitelor parti interesate, durabilitatea in timp si distribuirea lor teritoriala;
• . prevenirea unor distorsiuni sau deraieri majore de la obiectivele stabilite;
• . favorizarea proceselor de inovare;
• . crearea unor spatii de comunicare si negociere intre partile interesate;
• . cresterea transferabilitatii bunelor practici si a vizibilitatii institutiilor .

Riscurile asociate eval . includ:

• . utilizarea ca mijloc de control a oamenilor si activitatilor acestora, mai ales a
• grupurilor defavorizate sau social excluse;
• . pseudoevaluare sau forme de abuz evaluative;
• . transformarea eval . intr-un exercitiu administrativ sau contabil . pe hartie . , cu rol de
• justificare a modului in care au fost cheltuite fondurile;
• . aplicarea mecanica a eval . , fara a lua in considerare contextul general si cel local;
• . alocarea defectuoasa de resurse si timp necesare realizarii eval .

Eval . masoara rezultatele programelor, proiectelor sau politicilor . Dar eval . reprezinta

o interventie care produce, la randul ei, si rezultate neasteptate . Prin acumularea de

informatii de-a lungul timpului, eval . produce schimbari incrementale la nivelul institu-

tiilor si, mai larg, al societatii . Analizele de eval . duc la dezvoltarea bazei de cunostinte

a diferitelor discipline asociate dezvoltarii sociale, prin adaugarea de noi informatii,

idei, abordari, perspective si tehnici . Eval . favorizeaza diseminarea bunelor practici si

duce la imbunatatirea procesului de luare a deciziilor atat la nivelul programelor

particulare, cat si la nivelul politicilor de dezvoltare . La nivelul programului, eval . este

un instrument de imbunatatire a comunicarii si realizarii intelegerii intre partile interesate,

precum si de imbunatatire a performantelor echipei de program . La nivel general, eval .

duce la intarirea in timp a simtului de raspundere fata de societate al institutiilor chemate

sa decida asupra si sa implementeze programe sociale .

Evaluare centrata pe utilizare[17]

In ciuda evolutiilor din domeniul evaluarii si al dezvoltarii diferitelor metode de evaluare,

utilizarea limitata a rezultatelor evaluarilor este considerata a fi . calcaiul lui Ahile . al

evaluarii . Oricat de bine ar fi realizata o evaluare, din punctul de vedere al respectarii

cerintelor de robustete metodologica, riscul ca ea sa nu foloseasca nimanui ridica semne

de intrebare asupra insesi . calitatii . evaluarii . Procesul evaluativ presupune costuri

uneori semnificative iar utilizarea evaluarii poate fi considerata un criteriu important de

apreciere a acesteia .

Perspectiva evaluarii centrate pe utilizare (e . c . u . ) a fost dezvoltata plecand exact de

la aceasta problema a evaluarii si este conceputa in vederea cresterii gradului de utilizare

a evaluarii de catre potentialii utilizatori . In aceasta conceptie se pleaca de la premisa ca

evaluarea trebuie sa fie . centrata . in functie de nevoile decidentilor: . E . c . u . este un

proces colectiv de luare a deciziilor in colaborare cu un grup identificat de utilizatori .

(Patton, 2002, p . 20) .

Realizarea unei evaluari indeplineste in mod direct sau indirect anumite functii (vezi

evaluare) . Adesea, evaluarile sunt folosite pentru a justifica (ante- sau post-) anumite

decizii ori politici in fata opiniei publice, a finantatorilor sau a unui for ierarhic superior .

Atunci cand vorbim despre e . c . u . , vorbim despre o evaluare realizata cu scopul explicit

de a servi ca suport in procesul de luare a deciziilor privind soarta unui proiect de

dezvoltare, chiar daca aceasta indeplineste si alte functii colaterale (de invatare, de

imputernicire a participantilor etc . ) .

Pentru ca in aceasta perspectiva . utilizarea . evaluarii se refera in special la procesul

de luare a deciziei, vom incerca sa clarificam sensul in care termenii . decident . si

. utilizator . sunt folositi in aceasta perspectiva .

Decidentii sunt acele persoane care au puterea de a decide soarta unui program de

dezvoltare: durata, populatia-tinta, conditiile de implementare, bugetul . De regula,

aceste decizii sunt rezultatul unui proces de negociere intre institutia finantatoare si

organismul de implentare al programului . Desigur ca beneficiarii, opinia publica sau

specialisti ai domeniului vizat pot face presiuni sau contesta anumite decizii, in cazul in

care aceste decizii sunt cunoscute, insa ei nu fac parte din structura de decizie sau din

personalul permanent al proiectului . Gestionarii programului pot considera ca beneficiarii,

de exemplu, nu cunosc suficient de bine programul pentru a fi implicati in

formularea sugestiilor unei evaluari . In acest caz, rolul evaluatorului este acela de a

aminti celor care au puterea de decizie ca pentru a obtine raspunsuri pertinente la intrebarile lor consultarea beneficiarilor este necesara si utila .

In aceste conditii, utilizatori potentiali ai unei evaluari pot fi considerati toti cei care,

folosind rezultatele evaluarii, pot influenta in mod direct sau indirect luarea unei deciziei

privind conditiile de continuare ale unui program .

In principiu, orice evaluare are cel putin un utilizator potential: institutia care a

comandat evaluarea . In unele cazuri insa, evaluarea este realizata ca un simplu exercitiu

administrativ . Termenul . evaluare centrata pe utilizare . problematizeaza atitudinea

potentialilor utilizatori fata de rezultatele evaluarii . In practica, cu cat numarul actorilor

implicati in evaluare este mai mare, cu atat potentialii utilizatori sunt mai numerosi .

Utilizarea este diferita de raportare si diseminarea rezultatelor evaluarii . Acestea pot

facilita utilizarea rezultatelor, dar nu trebuie confundate cu utilizarea concreta a evaluarii

in luarea deciziei pentru imbunatatirea programelor .

Prin utilizarea acestui tip de evaluare, este mai probabil ca beneficiarii sa utilizeze

rezultatele evaluarii pentru ca inteleg si se simt responsabili de desfasurarea si rezultatele

evaluarii, tinand cont ca au participat in mod direct la realizarea acesteia . Prin implicarea

lor activa, evaluatorul pregateste beneficiarii pentru folosirea rezultatelor si conduce la

cresterea intentiei de a utiliza in mod real evaluarea . Implicarea celor interesati in

evaluare ajuta la intelegerea, acceptarea si utilizarea rezultatelor .

In aceasta perspectiva, intrebarile care devin relevante pentru evaluare sunt :

. Cum si de ce sunt initiate evaluarile ?

. Cum este realizat procesul de evaluare (din punctul de vedere al stabilirii scopului

evaluarii si al termenilor de referinta)?

. Cum sunt folosite rezultatele acestui proces?

Desfasurarea unei evaluari centrate pe utilizare

In ciuda unei productii abundente de studii si manuale care propun proceduri mai mult

sau mai putin standardizate, nu exista practic o metoda univoca de realizare a evaluarilor .

In functie de anumite criterii, o evaluare poate adopta strategii diferite . In primul rand

insa, pentru a fi pertinenta, o evaluare trebuie sa raspunda la o intrebare precisa .  Evaluarea

nu poate fi conceputa ca o analiza exhaustiva, care vrea sa spuna totul despre un

program .

In general, se considera ca orice program se preteaza a fi evaluat si ca aproape oricine

poate realiza o evaluare, . profesia . de evaluator fiind exercitata de catre persoane care

nu au urmat in mod necesar o pregatire specifica .

Evaluatorul pus in fata cererii de a . evalua un program . trebuie sa problematizeze de

la bun inceput daca este nevoie de realizarea unei evaluari si daca aceasta este posibila .

Cu alte cuvinte, trebuie analizata . evaluabilitatea . programului . Ea se refera la judecata

facuta asupra posibilitatii de a evalua un program din punctul de vedere al resurselor

existente, al disponibilitatii informatiilor necesare, al momentului ales in desfasurarea

programului .

Clarificarea faptului daca . programul este gata pentru a fi evaluat . se stabileste

impreuna cu cei care lucreaza efectiv la pregatirea sau implementarea programului .

Evaluarea nu trebuie sa reprezinte o activitate politieneasca de . spionaj . al celor care

implementeaza programul, ci mai degraba o activitate . colaborativa . , facuta in sprijinul

acestora, pentru a facilita reusita programului respectiv .

Specificitatea e . c . u . consta in fapul ca evaluarea este orientata spre nevoile de decizie

referitoare la un program . Realizarea acestui tip de evaluare nu presupune din start

utilizarea unei anumite metode, intrucat va rezulta in urma unui proces de negociere cu

beneficiarul, la fel ca si stabilirea continutului si modelului .

Elemente specifice evaluarii centrate pe utilizare

In terminologia specifica evaluarii, realizam o . evaluare sumativa .   atunci cand evaluam

rezultatele unui program, evaluarea fiind un fel de dare de seama globala la sfarsitul unui

program . Atunci cand un program este in curs de implementare, evaluarea este realizata

in scopul de a intelege procesul de implementare . Aceasta evaluare intermediara, numita

. evaluare formativa . ,  contribuie, in principiu, la ameliorarea desfasurarii unui program

prin identificarea elementelor care faciliteaza sau care blocheaza functionarea respectivului

program . In aceasta perspectiva, dezvoltata de autori ca Stake (1989), Stufflebeam

(1989) si Guba (1989), evaluarea devine un instrument pentru atingerea obiectivelor:

. Scopul principal al evaluarii programelor nu este acela de a verifica si pune la incercare,

ci de a ameliora . (Guba si Lincoln, 1989, p . 23) .

In plus fata de aspectul educativ al evaluarii formative, e . c . u . se preocupa in mod

explicit si de conditiile care pot asigura o cat mai mare utilizare a rezultatelor evaluarii .

De aceea, vom insista asupra a doua elemente, esentiale pentru realizarea unei e . c . u .

1 . Se pleaca de la identificarea utilizatorilor si a scopului evaluarii: . Cine are nevoie

sa utilizeze evaluarea si in ce scop? . .

Pentru a raspunde la aceasta intrebare, se realizeaza o reuniune cu toti cei care ar

putea fi interesati de realizarea si rezultatele evaluarii, pentru ca acestia sa-si poata

exprima propriile asteptari si nevoi legate de evaluare .

Folosirea termenului stakeholder (toti cei care sunt  interesati  de evaluare) poate crea

dificultati pentru ca acestia pot avea interese foarte diverse . O evaluare nu poate fi utila

pentru toti stakeholderii in aceeasi masura si, de regula, nu poate raspunde intrebarilor

tuturor . De unde necesitatea de a centra evaluarea asupra actorilor care au nevoie de

informatii si vor sa o foloseasca .

Interesul anumitor persoane de a folosi rezultatele evaluarii va stabili daca aceste

rezultate pot contribui la imbunatatirea programului . Patton numeste aceasta caracteristica

. factorul personal .  (the personal factor) si o descrie ca reprezentand . identificarea unui

individ sau a unui grup care, in mod personal, este interesat de realizarea si de rezultatele

evaluarii . (Patton, 2002, p . 44) . Cand acest . factor . este prezent, este foarte probabil ca

evaluarea va fi utilizata, iar cand el nu exista, se observa un impact minim al evaluarii

asupra procesului decizional .

In mod normal, persoanele interesate in mod direct de rezultatele evaluarii sunt actori

capabili sa produca (decida) o schimbare a interventiei . Acesti utilizatori vor determina

scopul evaluarii (care poate fi influentarea institutiei donatoare, cunoasterea proiectului,

imbunatatirea performantei proiectului, instrument de presiune politica) .

2 . Prin discutii cu participantii se va stabili tipul de evaluare ce va fi utilizat, in

functie de scopul evaluarii si de resursele disponibile .

In teorie au fost stabilite trei scopuri ale evaluarii :

. emiterea de judecati;

. facilitarea imbunatatirii practicilor;

. generarea de cunostinte (Patton, 1997, p . 65) .

In practica insa, este recomandabil ca o evaluare sa vizeze un scop prioritar . Evaluarea

centrata pe emiterea de judecati asupra programului necesita criterii foarte clare si valori

ca baza a judecatii . Evaluarea centrata pe imbunatatirea performantelor tinde sa fie mai

. deschisa . si are un caracter predominant informativ .

Stabilirea scopului evaluarii trebuie sa tina seama si de existenta . contextului decizional

. . Evaluatorul trebuie sa incerce sa inteleaga contextul in care va fi aplicata

evaluarea si sa adapteze procesul pentru a fi cat mai eficient .

Evaluarea si luarea deciziilor

Pentru ca evaluarea sa fie utilizata in mod efectiv in procesul de luare a deciziilor, trebuie

indeplinite anumite conditii, atat in ceea ce priveste realizarea in sine a evaluarii, cat si

in ceea ce priveste mediul decizional respectiv .

Chiar si atunci cand o evaluare este realizata cu scopul explicit de a contribui la

luarea unei decizii, exista numeroase bariere in utilizarea lor concreta in procesul decizional .

Carol Weiss (1998) sintetizeaza factorii care pot influenta utilizarea evaluarilor in

luarea deciziilor, numindu-i cei patru I : Interese, Ideologii, Institutii si Informatie .

. Interesele: decidentii au tendinta de a sustine propriile motive si interese . In situatiile

in care rezultatele evaluarii nu sunt in acord cu interesele decidentilor, exista tendinta

de a minimiza importanta acordata rezultatelor evaluarii in procesul decizional .

. Ideologiile: decidentii sunt influentati de ideologia promovata de organizatia (sau de

guvernul) din care acestia fac parte .

. Institutiile: deciziile sunt luate intotdeauna intr-un anumit context institutional ce

include istoria si cultura respectivei institutii, norme ce vor influenta cand si cum vor

fi luate deciziile .

. Informatiile: evaluarile reprezinta numai una dintre multiplele surse de informatii pe

care decidentii trebuie sa le ia in calcul . Expertii, colegii, grupurile de interese comune

reprezinta numai cateva dintre sursele care pot fi considerate . legitime . sau importante

in luarea unei decizii . Astfel, rezultatele unei evaluari pot ramane date secundare

in luarea unei decizii, in special atunci cand aceasta poate avea repercusiuni asupra

decidentilor sau asupra altor actori importanti .

Cum putem obtine cresterea utilizarii evaluarilor in luarea deciziilor?

Pentru a surmonta problemele legate de utilizarea evaluarilor in luare deciziilor, Patton

(2002) a enuntat cateva principii de baza care pot facilita utilizarea evaluarii:

1 . Sincronizarea realizarii evaluarii cu momentul de luare a deciziilor . Evaluarea trebuie

conceputa in asa fel incat sa corespunda cu momentul cand este necesara o decizie .

Ea trebuie sa raspunda intrebarilor si nevoilor concrete ale decidentilor . Multe evaluari

sunt realizate dupa terminarea proiectelor . Ceea ce in teorie poate parea foarte logic,

in practica nu este foarte util pentru ca organizatiile vor decide viitorul programelor

inainte de finalul si deci de evaluarea acestora .

2 . Evaluarea trebuie sa fie centrata pe utilizatori, plecand de la intrebarea: . Cine poate

fi interesat de rezultatele acestei evaluari? . . Ea trebuie sa vizeze interese si nevoi de

informatie specifice actorilor bine delimitati, si nu audiente largi si nedefinite . Va fi

considerata mai importanta calitatea (gradul de implicare), si nu cantitatea participarii

(vezi evaluare participativa) . Potentialii utilizatori trebuie sa fie identificati si implica

ti inca de la inceputul evaluarii in realizarea designului acesteia: in deciderea

temelor si intrebarilor care vor fi luate in considerare .

3 . Evaluarea trebuie adaptata la intrebarile decidentilor . Trebuie sa cunoastem intreb

arile pe care decidentii le pun cu privire la reusita unui proiect . De exemplu, trebuie

sa stim la ce se refera decizia care va urma evaluarii : se doreste extinderea proiectului

la o alta regiune, un alt sistem sau la un alt grup de persoane? Sau daca decidentii

stiu ca resursele disponibile pentru continuarea proiectului se vor diminua si atunci

sunt interesati sa stie daca se pot obtine aceleasi rezultate (sau rezultate mai bune)

folosind resurse mai putine . Cunoscand nevoile decidentilor, putem culege informatiile

pertinente pentru o anumita . intrebare . .

4 . Realizarea unei analize a contextului decizional impreuna cu participantii la evaluare

pentru a constientiza factori situationali (cei patru I) ce pot afecta utilizarea evaluarii .

5 . Recomandarile trebuie sa fie realiste si fezabile, ele trebuie . adaptate . resurselor si

capacitatilor de implementare ale actorilor . Este necesar ca evaluarea sa fie . disponibil

a . si . accesibila . celor interesati .

6 . Credibilitatea evaluatorului (a se vedea subcapitolul despre rolul evaluatorului) .

7 . Se verifica daca recomandarile evaluarii au fost sau nu urmate . Daca va fi realizata

o noua evaluare, aceasta trebuie sa analizeze ce recomandari ale evaluarii precedente

nu au fost luate in considerare si de ce .

Nu putem spune ca exista o ierarhie a importantei acestor premise si nici ca,

aplicandu-le, putem avea garantia utilizarii rezultatelor . Importanta lor tine de fiecare

caz in parte .

Unul dintre obiectivele e . c . u . este acela de a diminua decalajul dintre concluziile

evaluarii si folosirea acestor concluzii, de a ajuta responsabilii programelor in formularea

propriilor intrebari referitoare la proiect, intr-o maniera in care ei vor fi capabili sa

rezolve problemele practice si sa-si amelioreze programele .

Rolul evaluatorului

In procesul de design al evaluarii evaluatorul este responsabil pentru clarificarea intreb

arii: . Cum poate afecta alegerea unei anumite metode de evaluare rezultatul, dar si

utilizarea evaluarii ? . .

Practic intreg designul evaluarii, cu etapele specifice oricarei evaluari (specificarea

intrebarilor si a criteriilor de evaluare, identificarea metodelor de culegere a datelor), va

fi rezultatul unei . negocieri . continue pentru a stabili ce anume este important si cum se

poate obtine printr-o evaluare . Evaluatorul trebuie sa asigure stabilirea standardelor si a

criteriilor de interpretare a rezultatelor evaluarii, prin care toti participantii vor impartasi

un set de valori comune ce vor face greu de contestat concluziile evaluarii .

Sarcina evaluatorului este cu atat mai importanta, cu cat el trebuie sa familiarizeze

participantii cu metodele si logica evaluarii . Evaluatorul devine responsabil pentru

pregatirea si transmiterea tuturor informatiilor necesare participantilor . E . c . u . devine

foarte personala si situationala . Evaluatorul-facilitator dezvolta o relatie de lucru cu

beneficiarii, prin care ii va ajuta sa stabileasca ce tip de evaluare este necesara .

Rolul evaluatorului in desfasurarea acestui tip de evaluare este de a fi . activ-

-reactiv-adaptativ . . Evaluatorul trebuie sa fie activ in directia concentrarii evaluarii

asupra utilizarii acesteia, reactiv in luarea in calcul a intereselor utilizatorilor si adaptiv

in ceea ce priveste concilierea intereselor utilizatorilor cu interesul evaluatorului de a

asigura utilizarea, dar si calitatea evaluarii .

In desfasurarea e . c . u . , evaluatorul poate fi confruntat cu dileme de genul: . Daca

evaluarea va releva elemente importante pe care decidentii nu le-au considerat ca facand

obiectul evaluarii? . . . Cum va reusi evaluatorul sa introduca aceste elemente noi pe

agenda decidentilor? . De exemplu, un program social are atat . beneficiari directi . (cei

ce beneficiaza efectiv de program), cat si . beneficiari potentiali . (cei ce ar fi trebuit sa

beneficieze, dar nu au avut acces) sau chiar . victime . ale programului (cand in situatii

de restrictii bugetare programul a fost finantat cu fondurile destinate initial altui program) .

Chiar daca aceste categorii de persoane nu sunt considerate de catre decidenti importante

pentru desfasurarea programului, evaluatorul nu poate ignora acest gen de consecinte ale

programului .

In acelasi timp, evaluatorul este la randul lui un actor in desfasurarea evaluarii, si in

ciuda autonomiei relative de care dispune, munca sa este inscrisa intr-un cadru specific

de actiune politica . Evaluarea, ca rezultat al muncii sale, va avea o utilizare pe care nu

o poate ignora . Evaluatorul trebuie sa ia in considerare faptul ca designul si desfasurarea

evaluarii vor influenta in mod direct rezultatele si utilizarea evaluarii .

Concluzii

Prin centrarea evaluarii asupra utilizarii se contribuie la cresterea capacitatii actorilor de

a decide si actiona intr-un mod . evaluativ . . Aceasta construire de capacitati este important

a pentru justificarea costurilor evaluarii si poate incuraja actorii sa investeasca timp

si resurse in realizarea evaluarii .

Una dintre dificultatile acestei abordari este faptul ca evaluarea produce . date tari . ,

obtinute prin aplicarea unor metode stiintifice de culegere a datelor, iar decizia poate

avea o dimensiune importanta ce tine de subiectivitate si intuitie, de elemente ce nu pot

fi luate in calcul in designul evaluarii .

Similar cu evaluarea participativa, e . c . u . sustine ideea participarii actorilor in practica

evaluarii, insa daca in evaluarea participativa tindem spre includerea cat mai multor

actori, in e . c . u . , gradul de participare al celor interesati va fi . ponderat . , cu scopul de

a obtine un grad de utilizare a evaluarii cat mai crescut . Daca e . c . u . nu presupune

imputernicirea actorilor care nu au putere de decizie, atunci aceasta ramane un model

. top-down . , in care participarea propriu-zisa este foarte restransa .

O asemenea forma de evaluare analizeaza, printre altele, modul cum functioneaza

evaluarile, daca si cum acestea sunt folosite in formularea politicilor, in administratie sau

organizatii . Ea atrage atentia asupra unei oarecare banalizari a practicii evaluative si a

necesitatii ca evaluarea sa includa o dimensiune autocritica ce ar ridica intrebari asupra:

dimensiunii ideologice a evaluarii, functiilor pe care aceasta le are si pe care ar putea sa

le aiba in societatea democratica, tipului de cunostinte produse si modului prin care ele

sunt produse prin evaluare .

Evaluare participativa[18]

Aparitia abordarilor participative in domeniul dezvoltarii si al evaluarii

Intr-o acceptiune larga, evaluarea participativa (e . p . ) a unui program social desemneaza

implicarea in procesul de evaluare a actorilor care au un interes sau sunt afectati de desf

asurarea unui program: implementatori, parteneri, beneficiari sau alte parti interesate .

Evaluarea ca subiect de reflectie in stiintele sociale are o istorie relativ scurta,

aparand la sfarsitul anilor . 60 (Patton, 1982, p . 12) si dezvoltandu-se cu rapiditate prin

asimilarea unor termeni din stiintele sociale: actiune sociala, schimbare sociala, actor,

participare . Evolutia termenului . evaluare . a fost in mod direct influentata de schimbarea

practicilor in domeniul dezvoltarii, in general, de la abordari dominant economiciste la

abordari mai . democratice . , in care participarea devine unul dintre elementele-cheie in

definirea obiectivelor programelor de dezvoltare, dar si a actiunilor pentru atingerea

acestor obiective .

Aceasta schimbare de paradigma in domeniul dezvoltarii sociale (vezi dezvoltare

comunitara participativa) s-a produs ca urmare a incapacitatii modelelor tehniciste de a

explica nereusita programelor de dezvoltare si in principal a faptului ca deseori beneficiarii

programelor nu aveau reactiile dorite de catre institutiile care promoveaza un

program de interventie sociala .

Termenul . participare . este folosit in domeniul programelor sociale pentru a desemna

procesul specific prin care principalii actori iau parte activa in planificarea si luarea deciziei,

in implementare si evaluare : . Participarea desemneaza procesul prin care un individ (sau

grup) ia parte intr-un proces de decizie si/sau actiune si datorita caruia poate avea un anumit

control asupra procesului respectiv . (Enciclopedia Wikipedia . www . wikipedia . org) .

Participarea a fost asociata teoriilor dezvoltarii si, implicit, evaluarii in anii . 70- . 80,

odata cu popularizarea paradigmei dezvoltarii participative si a discursului asupra virtu

tilor capitalului social (vezi capital social) in implementarea programelor de dezvoltare .

Participarea este considerata ca fiind dovada exercitarii unui act democratic ce conduce

la impartirea controlului asupra resurselor implicate si responsabilitatii pentru folosirea

lor viitoare, ceea ce poate avea efecte pozitive atat asupra succesului unui program, cat

si asupra durabilitatii rezultatelor .

Directia de evolutie a termenului . evaluare . a fost dinspre o conceptie centrata pe

. verificarea obtinerii rezultatelor dorite . spre o viziune mult mai complexa, ce incearca

identificarea . impactului . si stabilirea de conexiuni intre procesul de implementare a

unui proiect si rezultatele obtinute . Astfel, evaluarea a devenit nu numai etapa finala a

unui proiect (masurarea rezultatelor si a impactului proiectului), ci si parte integranta a

acestuia, rezultatele evaluarii fiind utilizate ca input-uri pentru imbunatatirea si continuarea

proiectelor . In aceasta perspectiva, evaluarea este centrata pe procesul de implementare

a proiectului si pe mecanismele de schimbare antrenate .

Adaptandu-se practic obiectivelor proiectelor de dezvoltare, evaluarea a devenit ea

insasi parte activa in atingerea acestor obiective: invatare institutionala, construire/

transfer de capacitati, diminuarea excluziunii sociale . Evaluarea, ca etapa componenta a

unui program de dezvoltare, a capatat o importanta crescanda, iar intrebarile referitoare

la evaluare au progresat de la . Cum trebuie facuta o evaluare ? . la . Cum poate contribui

evaluarea la construirea capacitatii locale si la obtinerea sustenabilitatii dezvoltarii ? .

(UNDP, 1997, p . 1) .

E . p . a aparut practic ca o alternativa politically correct la evaluarea tehnicist-obiectivist

a utilizata pana atunci, care nu lua in calcul relatiile de putere existente in desfa-

surarea procesului de evaluare . In prezent, e . p . si participarea in general sunt considerate

ca mijloace prin care grupurile marginalizate isi pot exprima propriile puncte de vedere,

ceea ce poate contribui la o oarecare echilibrare a relatiilor de putere .

Desi participarea a devenit . punctul comun al metodologiilor alternative in domeniul

dezvoltarii . (Rist, 2001, p . 127), aceasta este o . notiune problematica . , ce ramane in

fapt paternalista (Pieterse, 2002, p . 35) . Pieterse considera ca participarea va reprezenta

o schimbare fundamentala in teoriile dezvoltarii numai atunci cand organizatiile interna

tionale, guvernele si ONG-urile vor fi considerate ca . participand in programele

de dezvoltare initiate de catre comunitatile locale . , si nu in sens invers, cum se intampla

in prezent .

In acest context, e . p . poate fi considerata: . un proces de autoevaluare, producere

colectiva de informatii si actiune cooperativa, prin care actorii contribuie la identificarea

subiectului evaluarii, a etapelor evaluarii, la culegerea si analiza datelor . (Jackson si

Kassamm, 2006, p . 3) .

De ce . evaluare participativa . , si nu evaluare pur si simplu ?

Am incercat sa sintetizam in multitudinea de sensuri si utilizari asociate evaluarii

participative cateva caracteristici centrale care nu au pretentia de a descrie complet

conceptul, dar pot oferi o imagine asupra specificitatii acestui tip de evaluare .

Caracteristici definitorii ale evaluarii participative:

. contribuie la diseminarea metodelor participative in practica dezvoltarii in general;

. contribuie la implicarea comunitatilor locale, a organizatiilor si a cetatenilor in

analizarea si solutionarea propriilor probleme;

. valorizeaza cunostintele, experienta si capacitatile locale in analiza realitatii sociale;

. produce reflectii critice asupra realitatii;

. sustine drepturile beneficiarilor asupra rezultatelor evaluarii;

. foloseste metode participative de culegere a datelor;

. presupune un proces colectiv de negociere (a selectarii obiectivelor si metodelor si a

interpretarii rezultatelor) .

E . p . se distinge de evaluarea clasica prin cateva elemente specifice: