L'analisi dell'impatto di una politica pubblica costituisce un problema multidimensionale. Lo studio degli effetti presenta, infatti, almeno due aspetti rilevanti: da un lato il tema della loro misurazione, dall'altro quello della loro spiegazione. Una valutazione d'impatto può dirsi esaustiva solo quando è capace di informare rispetto ad entrambe le questioni. Per poter assumere decisioni su una specifica politica, migliorandola o preservandone le qualità, è importante sapere se la stessa produce o meno gli effetti attesi, e in che misura lo fa, ma una volta che l'effetto è quantificato, diventa altrettanto importante comprendere quando e perché esso si produce. In altri termini il policy maker consapevole è interessato non soltanto alla dimensione degli effetti generati dal programma/intervento oggetto d'analisi ma anche alla comprensione dei meccanismi sociali e dei contesti nei quali questi ultimi si attivano. Se nella misura degli effetti le tecniche quantitative svolgono un ruolo fondamentale, nella spiegazione del loro prodursi, le tecniche qualitative svolgono risultano altrettanto rilevanti. Per il successo di una valutazione d'impatto è necessario quindi integrare le prime con le seconde, combinandole in un armonico disegno di ricerca. L'utilizzo di metodi misti, in tale direzione, consente di ovviare ad alcune criticità tanto dell'approccio quantitativo, quanto dell'approccio qualitativo. Per l'analisi quantitativa ci riferiamo al rischio di decontestualizzazione che essa corre, non attribuendo il giusto peso alle caratteristiche economiche, socio-culturali, politiche dei singoli attori sociali ed ignorando l'influenza delle stesse nella riuscita degli interventi. Per l'analisi qualitativa sottolineiamo invece il rischio di puntare il focus sui singoli soggetti, rendendo difficile il processo di generalizzazione dei risultati, [Tashakkori & Teddlie, 2003]. Il superamento della dicotomia classica tra gli approcci di analisi propone due vantaggi. In prima battuta l'utilizzo di metodi misti consente di utilizzare la triangolazione [Campbell, Donald, Fiske, 1959] per la valutazione degli effetti: la comparazione dei risultati ottenuti con metodi diversi, infatti, permette di accrescere la validità degli stessi. In seconda battuta l'applicazione dei metodi misti agevola la riformulazione e i cambi di prospettiva che occorrono durante l'analisi, grazie all'impiego di tecniche di rilevazione differenti, che inducono alla riconciliazione dei punti di vista e all'ottenimento di risultati validati da più metodi. Ma come si può raggiungere un'efficace integrazione dei metodi? Quali accorgimenti è necessario attivare? Quali sequenze di analisi si rivelano più produttive? Il nostro paper tenta di dare risposta a tali interrogativi. Dopo un breve excursus teorico sull'utilizzo dei metodi misti nella ricerca valutativa, con la presentazione delle tre diverse opzioni teoriche di impiego degli stessi, sequenziale, concorrente e trasformativa, [Creswell J. W., 2007], il paper descrive un'esperienza specifica di integrazione tra metodi qualitativi e quantitativi nell'analisi di impatto sull'occupazione della formazione professionale, realizzata in Italia, nell'ambito della valutazione indipendente del Programma Operativo FSE della Regione Piemonte. Nell'esperienza in oggetto, svolta su più annualità, è emerso un interessante disegno di ricerca sequenziale e ciclico di misurazione-esplorazione-spiegazione. L'iniziale domanda della committenza di quantificare l'effetto netto della FP sull'occupazione dei formati è stata indagata tramite approccio controfattuale, raccogliendo informazioni sulla condizione occupazionale dei formati a distanza di alcuni mesi dalla fine dei corsi di formazione, per un gruppo di trattati ed un gruppo di controllo (tramite CATI). I risultati dell'indagine quantitativa hanno tuttavia innescato una serie di quesiti valutativi emergenti ed aggiuntivi, in particolare sul fenomeno delle transizioni al lavoro. Per soddisfare tali quesiti si è provveduto a strutturare un'indagine qualitativa sul passaggio dalla formazione al lavoro. Tale indagine, realizzata attraverso interviste biografiche, ha consentito di individuare i possibili meccanismi che condizionano il passaggio al lavoro, fornendo contestualmente una nuova serie di ipotesi da sottoporre a test (ruolo delle reti sociali nella ricerca del lavoro). L'impiego dei metodi misti è quindi avvenuto secondo un disegno sequenziale esplicativo [Ivankova e Stick, 2007]. La struttura del disegno di ricerca ha assunto la forma quantitativo-qualitativo-quantitativo, nella quale l'impiego delle tecniche qualitative è finalizzato sia alla spiegazione e comprensione dei risultati emergenti dall'analisi quantitativa, sia alla ridefinizione del disegno di quest'ultima, per l'ottenimento di una migliore comprensione del fenomeno in oggetto. L'impiego congiunto dei due approcci ha permesso sia di esaminare i diversi fattori che possono contribuire all'implementazione e alla riuscita di un intervento, sia di tener conto del contesto in cui viene attuato e delle ripercussioni sulla sua riuscita (relazione utenti-contesto-meccanismi). Infine, in riferimento al "mescolamento" dei metodi si è scelto di procedere rendendo predominante l'approccio quantitativo: la raccolta e l'analisi dei dati sono state condotte in modo sequenziale, la costruzione del disegno di ricerca qualitativo, infatti, è avvenuta a seguito dell'analisi dei risultati emergenti dall'indagine quantitativa. Questo modo di procedere ha permesso l'approfondimento e la migliore comprensione dei risultati ottenuti dalla prima analisi.
Studiare l'impatto di una politica pubblica con metodi misti . Un'esperienza di integrazione tra analisi quantitativa e qualitativa
Igor Benati;
2014
Abstract
L'analisi dell'impatto di una politica pubblica costituisce un problema multidimensionale. Lo studio degli effetti presenta, infatti, almeno due aspetti rilevanti: da un lato il tema della loro misurazione, dall'altro quello della loro spiegazione. Una valutazione d'impatto può dirsi esaustiva solo quando è capace di informare rispetto ad entrambe le questioni. Per poter assumere decisioni su una specifica politica, migliorandola o preservandone le qualità, è importante sapere se la stessa produce o meno gli effetti attesi, e in che misura lo fa, ma una volta che l'effetto è quantificato, diventa altrettanto importante comprendere quando e perché esso si produce. In altri termini il policy maker consapevole è interessato non soltanto alla dimensione degli effetti generati dal programma/intervento oggetto d'analisi ma anche alla comprensione dei meccanismi sociali e dei contesti nei quali questi ultimi si attivano. Se nella misura degli effetti le tecniche quantitative svolgono un ruolo fondamentale, nella spiegazione del loro prodursi, le tecniche qualitative svolgono risultano altrettanto rilevanti. Per il successo di una valutazione d'impatto è necessario quindi integrare le prime con le seconde, combinandole in un armonico disegno di ricerca. L'utilizzo di metodi misti, in tale direzione, consente di ovviare ad alcune criticità tanto dell'approccio quantitativo, quanto dell'approccio qualitativo. Per l'analisi quantitativa ci riferiamo al rischio di decontestualizzazione che essa corre, non attribuendo il giusto peso alle caratteristiche economiche, socio-culturali, politiche dei singoli attori sociali ed ignorando l'influenza delle stesse nella riuscita degli interventi. Per l'analisi qualitativa sottolineiamo invece il rischio di puntare il focus sui singoli soggetti, rendendo difficile il processo di generalizzazione dei risultati, [Tashakkori & Teddlie, 2003]. Il superamento della dicotomia classica tra gli approcci di analisi propone due vantaggi. In prima battuta l'utilizzo di metodi misti consente di utilizzare la triangolazione [Campbell, Donald, Fiske, 1959] per la valutazione degli effetti: la comparazione dei risultati ottenuti con metodi diversi, infatti, permette di accrescere la validità degli stessi. In seconda battuta l'applicazione dei metodi misti agevola la riformulazione e i cambi di prospettiva che occorrono durante l'analisi, grazie all'impiego di tecniche di rilevazione differenti, che inducono alla riconciliazione dei punti di vista e all'ottenimento di risultati validati da più metodi. Ma come si può raggiungere un'efficace integrazione dei metodi? Quali accorgimenti è necessario attivare? Quali sequenze di analisi si rivelano più produttive? Il nostro paper tenta di dare risposta a tali interrogativi. Dopo un breve excursus teorico sull'utilizzo dei metodi misti nella ricerca valutativa, con la presentazione delle tre diverse opzioni teoriche di impiego degli stessi, sequenziale, concorrente e trasformativa, [Creswell J. W., 2007], il paper descrive un'esperienza specifica di integrazione tra metodi qualitativi e quantitativi nell'analisi di impatto sull'occupazione della formazione professionale, realizzata in Italia, nell'ambito della valutazione indipendente del Programma Operativo FSE della Regione Piemonte. Nell'esperienza in oggetto, svolta su più annualità, è emerso un interessante disegno di ricerca sequenziale e ciclico di misurazione-esplorazione-spiegazione. L'iniziale domanda della committenza di quantificare l'effetto netto della FP sull'occupazione dei formati è stata indagata tramite approccio controfattuale, raccogliendo informazioni sulla condizione occupazionale dei formati a distanza di alcuni mesi dalla fine dei corsi di formazione, per un gruppo di trattati ed un gruppo di controllo (tramite CATI). I risultati dell'indagine quantitativa hanno tuttavia innescato una serie di quesiti valutativi emergenti ed aggiuntivi, in particolare sul fenomeno delle transizioni al lavoro. Per soddisfare tali quesiti si è provveduto a strutturare un'indagine qualitativa sul passaggio dalla formazione al lavoro. Tale indagine, realizzata attraverso interviste biografiche, ha consentito di individuare i possibili meccanismi che condizionano il passaggio al lavoro, fornendo contestualmente una nuova serie di ipotesi da sottoporre a test (ruolo delle reti sociali nella ricerca del lavoro). L'impiego dei metodi misti è quindi avvenuto secondo un disegno sequenziale esplicativo [Ivankova e Stick, 2007]. La struttura del disegno di ricerca ha assunto la forma quantitativo-qualitativo-quantitativo, nella quale l'impiego delle tecniche qualitative è finalizzato sia alla spiegazione e comprensione dei risultati emergenti dall'analisi quantitativa, sia alla ridefinizione del disegno di quest'ultima, per l'ottenimento di una migliore comprensione del fenomeno in oggetto. L'impiego congiunto dei due approcci ha permesso sia di esaminare i diversi fattori che possono contribuire all'implementazione e alla riuscita di un intervento, sia di tener conto del contesto in cui viene attuato e delle ripercussioni sulla sua riuscita (relazione utenti-contesto-meccanismi). Infine, in riferimento al "mescolamento" dei metodi si è scelto di procedere rendendo predominante l'approccio quantitativo: la raccolta e l'analisi dei dati sono state condotte in modo sequenziale, la costruzione del disegno di ricerca qualitativo, infatti, è avvenuta a seguito dell'analisi dei risultati emergenti dall'indagine quantitativa. Questo modo di procedere ha permesso l'approfondimento e la migliore comprensione dei risultati ottenuti dalla prima analisi.I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
