Parte IV – dove si parla della differenza fra effetto e impatto, fra esperimento randomizzato e teoria del cambiamento
La valutazione d’impatto
Perché è importante e in che modo è connessa con la programmazione sociale
Riflettere sul tema della valutazione d’impatto sociale consente di scoprire le forti connessioni con i temi del cambiamento, dell’innovazione sociale e, di conseguenza, con il tema della progettazione e della programmazione.
Credo, pertanto, che sia un compito importante, in questo momento storico, confrontarsi sui compiti, le potenzialità e le prospettive di impegno in questa direzione, fra quegli operatori sociali che si trovano nella posizione di poter (e voler) produrre pensiero circa il proprio agire.
Comincio citando un’intervista recente di Gino Mazzoli
“Sulla valutazione d’impatto c’è una quantità immensa di indicatori, modelli e definizioni molto raffinati che spesso però a mio avviso si attardano su aspetti non decisivi, moltiplicano gli item rendendo impraticabili i modelli, o al contrario esitano in definizione genericissime in cui sta dentro tutto e il suo contrario, perdendo di vista il peso strategico che ha la scelta di questo anziché di quell’altro indicatore. Più in generale è tutto un dibattito sulla valutazione che non viene mai portato a livello delle scelte strategiche lasciandolo nel limbo degli addetti ai lavori: cosa significa in termini politici utilizzare un metodo, un criterio, un item rispetto a un altro? E poi, al fondo di tutto bisogna porsi il seguente quesito: se i prodotti del lavoro sociale, educativo e psicologico sono talmente complessi che la loro valutazione accurata richiederebbe un investimento di tempo e denaro maggiore di quello necessario per realizzarli, o accettiamo di investire somme adeguate, oppure prendiamo atto che se i sistemi valutativi che abitualmente utilizziamo si arrestano a valutare la periferia del prodotto, li assumiamo con tutte le cautele del caso e iniziamo finalmente a pensare che i problemi sociali si possono comprendere, gestire e valutare solo socialmente, vale a dire attraverso processi sociali di persuasione reciproca e progressiva tra attori.”
Concordo con gran parte dell’analisi. Ritengo però che “comprendere, gestire e valutare socialmente i problemi sociali” non significhi affatto rinunciare alla ricerca di possibili modelli interpretativi, o almeno descrittivi, anche provvisori e parziali, ma che consentano (certamente all’interno di un processo sociale) un confronto produttivo e un avanzamento nella direzione della comprensione e della conseguente possibilità di interventi intenzionalmente orientati ai cambiamenti auspicati[1].
Ritengo quindi che riflettere sul tema della valutazione d’impatto sia oggi un esercizio irrinunciabile, a patto di rivolgersi a paradigmi interpretativi in grado di costruire modelli e mappe utili.
Una definizione istituzionalmente riconosciuta
Per approcciare il tema della valutazione d’impatto sociale, possiamo partire dalla definizione contenuta nei testi di legge approvati nella recente Riforma del Terzo Settore:
Per valutazione dell’impatto sociale si intende la valutazione qualitativa e quantitativa, sul breve, medio e lungo periodo, degli effetti delle attività svolte sulla comunità di riferimento rispetto all’obiettivo individuato.
Questa definizione è, necessariamente, per chi opera nel Terzo Settore, la base di partenza, ed è, in ogni modo, una definizione abbastanza condivisibile.
Va sottolineato innanzitutto che, fortunatamente, non si parla di impatto dell’azione complessiva di un ETS (il che presenterebbe difficoltà insormontabili), ma degli effetti di alcune attività svolte dagli ETS sulle comunità di riferimento, rispetto a un obiettivo individuato. Si circoscrive, quindi, l’azione valutativa a quelle attività che hanno un obiettivo di cambiamento ben definito e che, realisticamente, sono in grado di produrre un impatto misurabile.
La riforma del Terzo settore propone quindi che gli ETS debbano mettere in campo, a fianco delle attività volte a determinare un cambiamento auspicato, percorsi di ricerca valutativa in grado di rilevare e valutare gli effetti[2] delle attività stesse.
Il fatto che si parli di valutazione quantitativa e qualitativa, lascia aperte diverse possibilità metodologiche.
Smontiamo il puzzle:
Ma proviamo a smontare, pezzo dopo pezzo, la definizione, al fine di approfondire e comprendere cosa significa davvero addentrarsi in un percorso di valutazione d’impatto.
Sottolineiamo subito che, già nel dettato della legge, si richiama una sostanziale corrispondenza fra effetti e impatto: “per valutazione dell’impatto sociale si intende ….. la valutazione degli effetti delle attività ….”
Precisiamo meglio questa corrispondenza, applicando le seguenti definizioni distintive[3]:
- Valutazione quantitativa e qualitativa: cambiamenti rilevabili sia sotto forma di indici numerici, sia nel senso di un cambiamento direzionale orientato verso l’obiettivo individuato.
- Effetto: “quella parte del cambiamento rilevato che si può attribuire con certezza all’intervento fatto”. Quindi la differenza fra il cambiamento rilevato e ciò che sarebbe comunque successo, senza l’intervento (il c.d. “controfattuale”).
- Impatto: effetto stabile: cambiamento significativo (rilevabile), attribuibile con certezza all’intervento, e che contribuisce a cambiare realmente la situazione di una comunità, senza che si ricada rapidamente nella situazione pre-intervento (evidente la connessione con il termine sostenibilità).
- Obiettivo individuato: quindi intenzionalità verso un cambiamento auspicato. Questo rende necessario, a priori, un processo di esplicitazione dei valori di riferimento, della vision e della mission, che guidano il processo progettuale e di valutazione.
- sul breve, medio e lungo periodo. È l’unica parte della definizione difficilmente condivisibile: il termine impatto non è compatibile con il breve periodo. Trascureremo quindi ogni considerazione relativa a progetti di corto respiro, che comunque non richiedono impianti valutativi complessi.
Tutto ciò premesso, come si fa?
È del tutto evidente, che quando si vuole realizzare una valutazione d’impatto per un’attività complessa, occorre impostare la progettazione dell’attività in questa prospettiva, perché decidere che su un’attività andrà applicata una valutazione d’impatto (o d’effetto) influirà in modo determinante sulla progettazione dell’attività stessa.
Si tratterà quindi di definire primariamente chi progetta (o co-progetta) l’attività e, in fase di progettazione, esplicitare e condividere il cambiamento atteso ed auspicato.
Ovviamente, esplicitare il perché si auspica quel cambiamento, comporta l’esplicitazione e il confronto sui valori di riferimento, la visione e la missione di ciascun partner della co-progettazione: perché concordiamo sul fatto che quel cambiamento sia “buono”?[4].
Una volta raggiunto l’accordo sul cambiamento auspicato, si tratta di impostare il percorso di valutazione, all’interno della progettazione. Le domande su cui basare il processo di valutazione, a questo punto, sono due:
“come facciamo ad andare a vedere se il cambiamento atteso è effettivamente avvenuto?”
“come facciamo ad attribuire con certezza il cambiamento alle attività realizzate?”
Ma ancor prima, in sede di progettazione, occorre saper rispondere ad una domanda cruciale, di fondamentale importanza, se vogliamo che qualcuno sostenga economicamente il nostro progetto:
“come facciamo a spiegare perché e come le attività previste dovrebbero produrre il cambiamento atteso?”
Qui si arriva al tema della “Teoria del cambiamento”, di cui parleremo ampiamente nella seconda parte di questo testo.
Va sottolineato che, in letteratura, si rintraccia spesso uno scontro fra l’approccio sperimentale randomizzato, con controfattuale e l’approccio della “Theory of change”. Fra chi dice: “non mi importa capire come funziona, mi importa capire se funziona” e chi invece sostiene che “se non capisci come, non puoi prevedere il risultato e, soprattutto, renderlo sostenibile e riproducibile”.
Restando rigorosamente al di fuori dalla disputa, mi pare di poter affermare solo che qualunque sperimentazione, in fondo, si basa su una teoria (o almeno su un’ipotesi), anche quando non chiaramente esplicitata.
Quindi, la Teoria del cambiamento mi sembra un elemento cruciale, anche perché, se si vuole impostare un esperimento randomizzato controllato, con controfattuale, solido, abbiamo bisogno di campioni ampi e omogenei, e di tempi adeguati, cosa che normalmente, in campo sociale, è molto difficile ottenere.
D’altra parte, una verifica sperimentale del cambiamento effettivamente realizzato è altrettanto cruciale.
A me sembra che la disputa metodologica sia
infruttuosa, in quanto entrambi gli approcci sono necessari allo sviluppo e al
consolidamento di progetti e iniziative che si prefiggono di produrre
cambiamenti sociali significativi e sostenibili.
[1] O, come scrive recentemente nel suo blog “complessità”, Pierluigi Fagan “Interpretare un mondo sempre più complesso semplificando, aumenta sensibilmente il rischio di fallimento adattivo e le molteplici sfide che abbiamo davanti mettono in gioco la qualità intrinseca del nostro modo di stare al mondo ed il suo stesso futuro. Di contro, non serve a nulla collassare nella olistica “mistica della complessità”, una qualche forma di ragionevole riduzione va fatta per articolare il pensiero umano che ha limiti di procedura piuttosto rigidi. Si tratta quindi di semplificare gli oggetti del mondo nel pensiero, sì, ma contemporaneamente migliorare le qualità di rappresentazione e analisi di quel pensiero. Mappa e territorio rimangono distanti quanto a risoluzione ma la loro distanza va accorciata, la risoluzione delle nostre mappe va migliorata.
[2] Parlando di progetti sviluppati da ETS è meglio parlare di effetti che di impatto; l’impatto riguarda politiche o programmi di ampio respiro e una valutazione di impatto non compete solitamente al terzo settore.
[3] C’è una certa confusione terminologica nel mondo della valutazione: senza pretendere di possedere la definizione più corretta, presento qui i significati che (non da solo) attribuisco ai termini presentati.
[4] Può sembrare banale questo confronto, ma in realtà partire in questo modo facilita molto l’apprendimento progettuale e la definizione di obiettivi realistici