La valutazione degli interventi di politica sociale: una introduzione
A.Vergani
Milano, 2010
La valutazione degli interventi di politica sociale: una introduzione
A.Vergani
Milano, 2010
La valutazione: che cosa è?
“C’è valutazione ogni qualvolta qualcuno chiede (a se stesso o ad un esterno) di giudicare un’azione intenzionale (progettata, in corso di realizzazione o realizzata) a fronte di qualche criterio e sulla base di informazioni pertinenti”
(Palumbo, 2001)
LA QUESTIONE DEL VALORE
RICERCA VALUTATIVA
Monitoraggio e valutazione (Stame, 1998 con modif.)
“Giudica” in base a criteri espliciti e fornisce spiegazioni/interpretazioni a supporto dei giudizi espressi Misura lo scostamento da uno standard Può essere fatta in diversi momenti o in uno solo Viene realizzato con rilevazione regolari, come un flusso Per una selezione di casi o a campione (mirata) Per ogni intervento/servizio Riguarda una selezione di aspetti dell’azione (mirata) Riguarda tendenzialmente tutti gli aspetti (misurabili) dell’azione Attività svolta per un committente interno o esterno (“domanda”) Attività di supporto diretto al management Giudizio eccetera Informazione Valutazione Monitoraggio
In generale
Perché si valuta
Quando si valuta
Che cosa si valuta (le specificità dei servizi alla persona)
Chi fa la valutazione
Il disegno della ricerca valutativa
Le “tecniche come protesi”
La restituzione e l’uso della valutazione
Caso 1: la valutazione dell’assistenza domiciliare di anziani (Bezzi, 2004)
Il contesto
I problemi del valutatore
Il primo approccio: la “doppia committenza”
Il disegno della valutazione
Il processo di valutazione (brainstorming, SPO)
Il prodotto del pdv: la mappa delle “priorità del servizio” (uno strumento di valutazione ma anche di programmazione)
Caso 2: la valutazione del funzionamento di una rete di soggetti che interviene sulle fasce deboli della popolazione
Il contesto
Definizione della domanda di valutazione
Individuazione di “oggetti” specifici di indagine valutativa (“specifiche”, temi)
Il disegno della valutazione (impostazione di metodo e definizione delle tecniche e degli strumenti; organizzazione della valutazione; output attesi)
Realizzazione del processo di valutazione (visite, analisi di documenti, interviste, osservazione)
Elaborazione di un documento di valutazione, presentazione alla Committenza e validazione
Caso 3: la valutazione in itinere dei piani territoriali per l’infanzia e l’adolescenza ex l.285/1997 (De Ambrogio, 2004)
“Raccolta” della domanda di valutazione
Costruzione partecipata dello strumento
Somministrazione dello strumento
Elaborazione dei risultati
Restituzione dei risultati agli attori
Valutazione partecipata e identificazione di iniziative di miglioramento
Caso 4: un possibile percorso di valutazione dei risultati di un intervento sociale
Identificazione degli obiettivi (di ricaduta) dell'intervento (base-minima di partenza)
Individuazione degli ambiti di valutazione (con la guida di approcci e disegni/modelli)
Adozione di uno specifico disegno di valutazione (dal "classico disegno sperimentale" a disegni di altro tipo)
Ricostruzione del cambiamento (a livello individuale, organizzativo, eccetera) attribuibile all'intervento – attraverso l'applicazione del disegno di valutazione scelto -
Calcolo del beneficio economico (in termini di confronto tra costi e benefici) riconducibile alla realizzazione dell'intervento
Adatt. da Quinones e Toninandel, 2005
La caratteristiche del valutare
Comparazione (valore “in relazione a….”, incontro tra “domanda” e “offerta” valutativa, connessione con i “processi decisionali” e in generale di “cambiamento” (Lippi, 2007)
Ricostruire, comparare, “spiegare”
“Disciplina” empirica (variabili empiricamente osservabili: ricerca sociale applicata; paradigma lazarsfeldiano)
Contesto economico-sociale che esprime dei bisogni Contesto economico-sociale che esprime dei bisogni Contesto politico-istituzionale che esprime delle finalità Contesto politico-istituzionale che esprime delle finalità Obiettivi/Risultati attesi Attori implicati Procedure Strumenti Attori implicati Procedure Strumenti Esiti Realizzazioni Impatti Efficacia esterna Efficacia interna Efficienza manageriale Efficienza istituzionale Decisione/ Programmazione Implementazione Valutazione Effetti Risultati Vincoli/Risorse Vincoli/Risorse Rilevanza Coerenza Efficacia ed efficienza in valutazione Basato su una figura di Mauro Palumbo, Il processo di valutazione, Franco Angeli, Milano 2001.
Programma o intervento programmato Programma o intervento programmato Conclusione, o t 0 Conclusione, o t 0 della valutazione intermedia esiti realizzazioni effetti risultati impatti Effetti attesi e desiderati Effetti auspicati e desiderati esiti, effetti, impatti realizzazioni, risultati, impatti Fattori Fattori intervenienti Effetti inattesi Valutazione orientata agli obiettivi Valutazione orientata agli obiettivi Valutazione svincolata dagli obiettivi Valutazione svincolata dagli obiettivi Tipi di effetti di programmi e interventi
Effetti (risultati e impatti)
EFFETTO RILEVATO =
EFFETTI DELL’INTERVENTO
(EFFETTO NETTO)
+
EFFETTI DI ALTRI PROCESSI/FATTORI
(ESTERNI ALL’INTERVENTO: MODALITA’ DI SELEZIONE, MUTAMENTI NATURALI NEI GRUPPI-OBIETTIVO, MUTAMENTO DI CONDIZIONI DI CONTESTO)
+
EFFETTI DEL PROCESSO VALUTATIVO
(ERRORI DI MISURAZIONE O DI RILEVAZIONE, AFFIDABILITA’ DELLE METODOLOGIE E DEGLI STRUMENTI, VALIDITA’ DEGLI STRUMENTI, ERRORI NELLA SCELTA DELLE MISURE DI RISULTATO)
Il processo di valutazione Le nove tappe (Bezzi, 2001 con modifiche mie)
Definizione del mandato
Analisi dell’evaluando e formulazione delle domande valutative
Accertamento delle risorse
Individuazione di un possibile ‘modello valutativo’ di riferimento
‘Esplorazione’ dettagliata dell’evaluando e delle sue ‘componenti’ oggetto di valutazione specifica
Stipulazione dei ‘valori valutativi’ (criteri)
Individuazione dell’apparato metodologico da impiegare e dei relativi strumenti di supporto
Raccolta e analisi dei dati ed informazioni
Restituzione e utilizzo dei risultati della valutazione
Definizione del mandato Mandato Mandato = Perché me lo chiedi?
Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)?
Chi altro è coinvolto (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)?
Quali gli obiettivi della valutazione (apprendere, negoziare, rendicontare, …)? Problemi etici e deontologici Orientamento epistemologico Contesto Metodo
Analisi dell’evaluando e domande valutative Decisore Domande valutative = Cosa è importante analizzare?
Quale valutazione (ex ante, in itinere, …; di processo, di esito…; di efficacia di efficienza…)?
Quali obiettivi ha l’evaluando?
Quale ruolo ha la valutazione nel sostegno al management? Cosa serve al gestore dell’intervento? Fonti informative Impianto metodologico Evaluando Metodo
Accertamento delle risorse Risorse Risorse = Cosa posso veramente fare?
Quali risorse economiche, di tempo, di risorse umane?
Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)?
Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Reale disegno della ricerca Conferimento autorità Risorse Metodo
Esplorazione dell’evaluando Attori sociali Spazio semantico = Cosa valutiamo, esattamente?
Cosa intendiamo quando parliamo di…?
Cosa intendono loro quando voi dite…?
Quali sono gli elementi strategici, costitutivi, di… (indicatori valutativi)? Condivisione concetti Attenzione epistemologica Comprensione Metodo
Stipulazione dei valori valutativi Decisore Attori sociali Valori valutativi = Da quale punto di vista valutare (= giudicare)?
Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore?
Cosa ‘vale’ di più? Da quale punto di vista?
Quale ordine, quale logica, quali “regole”? Esplicitazione valori Negoziazione di ‘una’ logica Valori Metodo
Dati Raccolta e analisi dei dati Bisogni, interessi,
valori Raccolta e analisi dati = Dove cerchiamo, come lo raccogliamo, cosa ne facciamo?
In quale ‘formato’ raccolgo le informazioni?
Come le tratto (matrice dei dati, analisi ermeneutica)?
Cosa ci faccio poi (restituzione ‘tecnica’; interpretazione negoziale; suggerimenti; …)? Definizioni operative Face
validity Metodo Utilizzo
Comments