6 preguntes que cal fer-se abans d'iniciar una avaluació

Tipus d'avaluacions (ivalua)

Són moltes les entitats i les administracions públiques que es plantegen iniciar una avaluació. Què volem aconseguir amb aquesta avaluació? Qui destinarà temps a implementar l'avaluació? Quina és la metodologia que més ens convè? A continuació us proposo 6 preguntes bàsiques que vaig publicar originalment a xarxanet.org, i que espero que us siguin útils!

1. Qui implementa l’avaluació?

Una avaluació es pot desenvolupar de manera interna amb el mateix personal de l’entitat o de manera externa, contractant per exemple una consultora. En els estadis inicials, quan comencem a incorporar la cultura de l’avaluació, l’entitat serà més capaç de fer aquest procés de manera interna. El més important és començar a incorporar l’avaluació i no tenir por de començar de manera modesta.

2. Quina és la finalitat de l’avaluació? Aprendre o rendir comptes. 

Els experts sempre parlen de dues finalitats: Aprendre i Rendició de comptes. Si volem que l’avaluació ens serveixi per aprendre el que farem utilitzar el procés per identificar punts febles i possibles millores en els processos. És a dir, estarem millorant la gestió.

Si volem que l’avaluació ens serveixi per a rendir comptes utilitzarem el procés per a millorar la nostra transparència, i demostrar a finançadors, socis i a la ciutadania que allò que estem fent és exactament allò a que ens hem compromès.

Cal tenir en compte si l’avaluació que fem pot abordar les dues finalitats a la vegada o si només podem abordar una de les dues finalitats.

3. En què es pot focalitzar l’avaluació?

L’avaluació implica que hem de disposar d’unes dades referents a la nostra activitat i que utilitzem aquestes dades per a analitzar l’estat o evolució del nostre projecte o entitat. Però quin tipus de dades recollim i quin tipus d’anàlisi podem fer?

4. Quin tipus de dades que podem recollir?

Podem recollir dades sobre el problema al que volem donar resposta (per exemple, el grau d’exclusió d’un determinat col·lectiu), els recursos de que disposem (econòmics i de personal), els nostres processos (quines són les activitats que fem?), els nostres resultats en productes o serveis (outputs) o el nostre impacte final (outcomes). Podeu veure gràficament el tipus de dades a recollir i el tipus d'analitzi que es pot realitzar a la imatge que trobareu a la part superior de l'article.

Per aprofundir en aquest tema podeu consultar la "Guia pràctica: Com iniciar una avaluació" d'Ivàlua (Institut Català d'Avaluació de Polítiques Públiques).

5. Quin tipus d’anàlisi podem fer?

En funció de com combinem aquest tipus de dades que recollim, podrem fer diferents tipus d’anàlisi:
Anàlisi d’eficiència: Si volem saber fins a quin punt som eficients haurem de fer servir metodologies d’anàlisi que combinin dades de recursos disponibles amb dades de resultats en productes o bé d’impacte.

Anàlisi de d’implementació: En aquest cas compararem els processos o els resultats més immediats amb els recursos de què disposem. Podrem veure com s’han distribuït els recursos en els diferents processos i en els diferents productes o serveis prestats.

Avaluació de l’impacte: Per a fer una avaluació de l’impacte caldrà connectar els recursos inicials o bé els serveis que hem prestat amb l’impacte final aconseguit. En el cas de l’SROI (Social Return on Investment) la dada final fa referència a la comparació entre els recursos econòmics inicials i l’impacte final generat.

6. I què és això de la teoria del canvi?

Quan es parla d’avaluació sovint apareix la “Teoria del Canvi”. Es tracta d’un esquema que cada entitat o projecte hauria d’elaborar per a saber exactament quin és el canvi que vol produir amb la seva activitat. Cal identificar molt bé el problema que vol arribar a canviar l’entitat i definir exactament com s’ho farà: amb quins recursos, processos, activitats, serveis, i quin impacte final pretén generar. Es tracta de disposar d’un disseny “ideal” del que vol fer la nostra entitat. Quan recollim les dades de la nostra activitat podrem veure fins a quin punt estem a prop o lluny d’aquest ideal.

Si voleu saber més sobre la teoria del canvi podeu consultar el manual "Teoría de Cambio. Un enfoque de pensamiento-acción para navegar en la complejidad de los procesos de cambio social".