Evaluation of policies on Occupational Safety and Health: methodological approaches and critical issues

The European Agency for Health and Safety at Work (2013) underlines that the development and implementation of OSH interventions, including policies, programs and their effects, are not evaluated by means of rigorous and scientific evidence-based research, denoting a general lack of quality in OSH intervention. In this panorama, the Italian case is particularly interesting. In 2008, a system of economic incentives has been introduced (d.lgs. 81/2008, art. 11), which assigns to various public entities the provision of grants addressed to small, medium and micro enterprises (SMEs) that realize investment projects in the field of health and safety at work. The most important intervention, in terms of both the number of beneficiaries and the provided amounts, has been realized by Inail. Since 2010, Inail has financed OSH projects for about 2 billion euros, which go under the name of "ISI calls". Up to now, the evaluation analyses performed by Inail on the ISI calls mainly concerned implementation processes and performance monitoring, reporting, and accounting. Recently, the need for an ex-post evaluation of the effects emerged, in order to improve the policy effectiveness. Therefore, Inail intends to plan a research aimed at identifying the appropriate models to assess the impact of the incentives and to highlight their strengths and criticalities as an economic support to SMEs. This paper overviewes the main theoretical and methodological aspects in the counterfactual evaluation of OSH policies. This overview is fundamental because the topic is not sufficiently addressed by both national and international literature, while studies on this topic are not so widespread. In particular, we reflect on: the possible evaluation questions that emerge when studying the impacts of OSH policies and their implications; the most appropriate evaluation designs that could answer the evaluation questions; and the consequent methodological issues (e.g., internal and external validity, feasibility of an evaluation based on administrative data, etc.).

L'Agenzia europea per la sicurezza e la salute sul lavoro (Eu-Osha) "Priorities for OSH research in Europe: 2013 - 2020" sottolinea come lo sviluppo, l'implementazione degli interventi di salute e sicurezza sul lavoro (SSL) a tutti i livelli, compresi i programmi, le politiche in materia di SSL e gli effetti conseguenti prodotti, non vengono valutati usando rigorosi criteri di ricerca basati sull'evidenza scientifica, riscontrando una mancanza di una ricerca-intervento di qualità in materia di SSL. Tra i programmi rientrano gli incentivi economici la cui erogazione è normata dal d.lgs. 81/2008, articolo 11 "Attività promozionali", che demanda a diversi soggetti pubblici l'erogazione di finanziamenti in favore di piccole, medie e micro imprese (PMI) per la realizzazione di progetti d'investimento in materia di salute e sicurezza sul lavoro. Il più importate intervento, per estensione dei beneficiari e per importi erogati, è quello dell'Inail che dal 2010 ad oggi ha finanziato progetti per circa 2 miliardi di euro e che va sotto il nome di "Bandi Isi". Fino a oggi gli aspetti valutativi messi in atto da Inail, relativi ai finanziamenti, hanno prevalentemente riguardato i processi gestionali, il controllo delle prestazioni e la rendicontazione delle azioni intraprese e solo più recentemente è emersa la necessità, al fine di migliorarne l'efficacia, di valutare ex-post quali effetti gli interventi medesimi abbiano prodotto. L'Inail, pertanto, ha inteso programmare nel proprio Piano di attività della ricerca uno specifico studio che ha come obiettivi l'identificazione di modelli appropriati per la valutazione dell'impatto degli incentivi e, attraverso l'analisi degli esiti, l'evidenziazione dei punti di forza e di criticità degli interventi di sostegno economico alla PMI. Con il presente contributo, dopo un inquadramento dello strumento degli incentivi alle imprese nell'ambito complessivo delle politiche per la sicurezza e la salute sui luoghi di lavoro, si intende dunque presentare una panoramica ragionata dei principali aspetti teorici e metodologici da considerare nella valutazione delle politiche per la sicurezza sul lavoro. Tale inquadramento è fondamentale perché l'argomento è poco affrontato dalla letteratura, sia nazionale sia internazionale, e sono altresì poco diffusi gli studi su questo tema. In particolare, si rifletterà sui disegni valutativi più adeguati per rispondere alle domande valutative e sulle problematiche metodologiche che ne conseguono (es. validità interna ed esterna della valutazione, fattibilità di una valutazione basata solo su dati amministrativi), apportando anche alcuni primi riscontri concreti derivanti dall'indagine sulla valutazione dei Bandi Isi realizzata attraverso indagine sul campo e attualmente in corso.