Impact evaluation plays a major role in determining the effectiveness of public policies. In fact, information about the program net effect is a crucial element in policy planning. Accordingly, as advocated by the Barca Report, impact evaluation spreading and its use in programming on European Funds is even more urgent in the current socio-economic context, characterized by scarce financial resources, which claim for increasing effectiveness and efficiency. In particular, evaluation is useful for investment programs in human capital and vocational training policies. The latter, mostly financed through the ESF resources, play a crucial role in fighting against unemployment and social exclusion. Italian public administration must start thinking in terms of impact assessment and ex-ante evaluation, in order to build policies boosting the territorial development and cohesion, while simultaneously redeeming the quality of the public action. In this context, the paper presents an impact assessment carried out on vocational training courses, which the Piedmont Region co-financed by the ESF, discussing the methodological feasibility and proposing a quasi-experimental evaluation strategy on the job placement of vocational training students. The authors illustrate the design operational choices and the implementation of the assessment, stating the advantages and disadvantages. To this extent, the sampling strategy is explained, with particular attention to the identification of a proper control sample, finally identified on the basis of the course drop-outs. The paper proposes an accurate description of gross and net impact evaluation strategies. Gross impact evaluation is carried out through an analysis of the employment outcomes in the mid-term and it represents just a crude measure of training effects. Net impact evaluation is estimated through net employment differentials between the main and the control sample, as well as through multivariate probit analysis, which investigates the effects of individual characteristics on the probability of being employed a year later the end of the course. The selection bias problem is discussed, illustrating the strategy adopted to measure and counteract its effects. In conclusion, the authors distill this research experience through a series of lectures about both the methods and the process of evaluating training effectiveness.

La valutazione di impatto ricopre un ruolo di primaria importanza nello stabilire il successo delle politiche pubbliche. Disporre di informazioni relative alla reale capacità dei programmi d'intervento di produrre gli effetti attesi, infatti, si rivela un elemento cruciale nella programmazione delle politiche. La sua diffusione ed il suo utilizzo nelle scelte programmatorie sui Fondi Europei, come auspicato dal Rapporto Barca, risulta ancor più urgente nell'attuale contesto socio-economico, nel quale risorse finanziarie scarse devono essere impiegate con sempre maggiore efficacia ed efficienza. A tale regola non sfugge la programmazione degli investimenti sul capitale umano e, nello specifico, la programmazione delle politiche della formazione professionale. Queste ultime, perlopiù finanziate tramite le risorse FSE, svolgono un ruolo cruciale nel contrasto all'inoccupazione e al disagio sociale, soprattutto per le fasce più deboli della popolazione. Risulta pertanto, auspicabile che in questo come in altri ambiti, le pubbliche amministrazioni italiane si abituino a ragionare in termini di valutazione di impatto e di valutazione ex-ante, affinché sia possibile (ri)programmare le politiche rilanciando lo sviluppo e la coesione territoriale e, contemporaneamente, riscattando la qualità dell'azione pubblica. In quest'ottica, l'articolo presenta un'esperienza di valutazione di impatto realizzata su interventi di formazione professionale della Regione Piemonte, finanziati dal FSE, discutendone la fattibilità e proponendo una strategia quasi-sperimentale di valutazione dell'inserimento lavorativo. Nello sviluppo dell'articolo, gli autori illustrano le scelte operative effettuate nel disegno e nell'attuazione della valutazione, esponendone vantaggi e svantaggi. In tal direzione, ampio spazio, viene dedicato all'analisi della strategia campionaria adottata, con particolare attenzione all'identificazione del campione di controllo, individuato sulla base dei soggetti ritirati dai corsi. L'articolo propone, inoltre, una accurata descrizione delle modalità di effettuazione dell'analisi di impatto lordo e netto. La prima, realizzata attraverso un'analisi degli esiti occupazionali dei formati a circa 12 mesi dalla conclusione dei corsi, costituisce una misura grezza dell'effetto della formazione. La seconda, invece, realizzata, attraverso i differenziali occupazionali netti, rilevati tra campione principale e campioni di controllo, nonché attraverso un'analisi probit multivariata, costruita prendendo in esame gli effetti che le caratteristiche individuali hanno sulla probabilità di essere occupati a distanza di un anno dalla fine dei corsi, affina la stima dell'effetto netto prodotto dai corsi di formazione. L'articolo discute, altresì, il problema del selection bias, illustrando la strategia adottata per misurarlo e contrastarne gli effetti. In conclusione, gli autori distillano gli apprendimenti effettuati nel corso della ricerca, attraverso una serie di lezioni relative tanto al metodo quanto al processo di valutazione dell'efficacia degli interventi formativi.

Valutare l'impatto della formazione professionale sull'inserimento lavorativo: lezioni da una ricerca in Regione Piemonte

Benati I;Ragazzi E;Sella L
2013

Abstract

Impact evaluation plays a major role in determining the effectiveness of public policies. In fact, information about the program net effect is a crucial element in policy planning. Accordingly, as advocated by the Barca Report, impact evaluation spreading and its use in programming on European Funds is even more urgent in the current socio-economic context, characterized by scarce financial resources, which claim for increasing effectiveness and efficiency. In particular, evaluation is useful for investment programs in human capital and vocational training policies. The latter, mostly financed through the ESF resources, play a crucial role in fighting against unemployment and social exclusion. Italian public administration must start thinking in terms of impact assessment and ex-ante evaluation, in order to build policies boosting the territorial development and cohesion, while simultaneously redeeming the quality of the public action. In this context, the paper presents an impact assessment carried out on vocational training courses, which the Piedmont Region co-financed by the ESF, discussing the methodological feasibility and proposing a quasi-experimental evaluation strategy on the job placement of vocational training students. The authors illustrate the design operational choices and the implementation of the assessment, stating the advantages and disadvantages. To this extent, the sampling strategy is explained, with particular attention to the identification of a proper control sample, finally identified on the basis of the course drop-outs. The paper proposes an accurate description of gross and net impact evaluation strategies. Gross impact evaluation is carried out through an analysis of the employment outcomes in the mid-term and it represents just a crude measure of training effects. Net impact evaluation is estimated through net employment differentials between the main and the control sample, as well as through multivariate probit analysis, which investigates the effects of individual characteristics on the probability of being employed a year later the end of the course. The selection bias problem is discussed, illustrating the strategy adopted to measure and counteract its effects. In conclusion, the authors distill this research experience through a series of lectures about both the methods and the process of evaluating training effectiveness.
2013
Istituto di Ricerca sulla Crescita Economica Sostenibile - IRCrES
La valutazione di impatto ricopre un ruolo di primaria importanza nello stabilire il successo delle politiche pubbliche. Disporre di informazioni relative alla reale capacità dei programmi d'intervento di produrre gli effetti attesi, infatti, si rivela un elemento cruciale nella programmazione delle politiche. La sua diffusione ed il suo utilizzo nelle scelte programmatorie sui Fondi Europei, come auspicato dal Rapporto Barca, risulta ancor più urgente nell'attuale contesto socio-economico, nel quale risorse finanziarie scarse devono essere impiegate con sempre maggiore efficacia ed efficienza. A tale regola non sfugge la programmazione degli investimenti sul capitale umano e, nello specifico, la programmazione delle politiche della formazione professionale. Queste ultime, perlopiù finanziate tramite le risorse FSE, svolgono un ruolo cruciale nel contrasto all'inoccupazione e al disagio sociale, soprattutto per le fasce più deboli della popolazione. Risulta pertanto, auspicabile che in questo come in altri ambiti, le pubbliche amministrazioni italiane si abituino a ragionare in termini di valutazione di impatto e di valutazione ex-ante, affinché sia possibile (ri)programmare le politiche rilanciando lo sviluppo e la coesione territoriale e, contemporaneamente, riscattando la qualità dell'azione pubblica. In quest'ottica, l'articolo presenta un'esperienza di valutazione di impatto realizzata su interventi di formazione professionale della Regione Piemonte, finanziati dal FSE, discutendone la fattibilità e proponendo una strategia quasi-sperimentale di valutazione dell'inserimento lavorativo. Nello sviluppo dell'articolo, gli autori illustrano le scelte operative effettuate nel disegno e nell'attuazione della valutazione, esponendone vantaggi e svantaggi. In tal direzione, ampio spazio, viene dedicato all'analisi della strategia campionaria adottata, con particolare attenzione all'identificazione del campione di controllo, individuato sulla base dei soggetti ritirati dai corsi. L'articolo propone, inoltre, una accurata descrizione delle modalità di effettuazione dell'analisi di impatto lordo e netto. La prima, realizzata attraverso un'analisi degli esiti occupazionali dei formati a circa 12 mesi dalla conclusione dei corsi, costituisce una misura grezza dell'effetto della formazione. La seconda, invece, realizzata, attraverso i differenziali occupazionali netti, rilevati tra campione principale e campioni di controllo, nonché attraverso un'analisi probit multivariata, costruita prendendo in esame gli effetti che le caratteristiche individuali hanno sulla probabilità di essere occupati a distanza di un anno dalla fine dei corsi, affina la stima dell'effetto netto prodotto dai corsi di formazione. L'articolo discute, altresì, il problema del selection bias, illustrando la strategia adottata per misurarlo e contrastarne gli effetti. In conclusione, gli autori distillano gli apprendimenti effettuati nel corso della ricerca, attraverso una serie di lezioni relative tanto al metodo quanto al processo di valutazione dell'efficacia degli interventi formativi.
formazione professionale
valutazione d'impatto
gruppo di controllo
campionamento
analisi multivariata
distorsione da selezione
File in questo prodotto:
Non ci sono file associati a questo prodotto.

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14243/255768
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact