Fra teori til praksis - om evaluering af arbejdsmiljøindsatser i en ustyrlig virkelighed: Baggrundsnotat til workshop 3 om metoder til måling og evaluering af arbejdsmiljøindsatser

Dette notat fokuserer på, hvordan evaluering af arbejdsmiljøindsatser i praksis kan designes og anvendes til forbedring af fremtidige indsatser. Evaluering er en stærk, generel tendens på samfundsplan, hvilket naturligvis også gør sig gældende på arbejdsmiljøområdet. Som redegjort for i det første notat, er arbejdsmiljøområdet imidlertid præget af såkaldte ’vilde problemer’ med komplekse årsagssammenhænge, hvilket kan gøre det vanskeligt at gennemføre gode evalueringer af arbejdsmiljøindsatser. Desuden er det meget omkostningsfuldt at gennemføre evalueringer. Ofte ender evalueringer derfor i, hvad man kan kalde ’pragmatisk evaluering’, der kan være en kombination af et eller flere af de evalueringsparadigmer – responsiv evaluering, monitorering, effektevaluering og realistisk evaluering – som blev præsenteret i det første notat. Valget af evalueringsdesign vil altid være begrundet i de tilgængelige ressourcer og den politiske virkelighed, desuden vil valget være meget afhængig af hvilken type arbejdsmiljøindsats, der er tale om – en begrænset indsats med et relativt lille budget, en omfattende indsats, en tværgående indsats eller et større program med flere koordinerede aktiviteter. I notatet gennemgås evalueringsscenarier for disse fire typer indsatser. Det er i stigende grad et krav, at alle beslutninger om fremtidige arbejdsmiljøindsatser skal baseres på evidens for således at sikre, at indsatsen fører til det ønskede resultat. Evidens kan defineres som information, der giver en stærk begrundelse for noget. Men derudover er evidens også generelt blevet en institutionaliseret praksis for, hvordan viden og evaluering bruges til at udvikle politiker og indsatser. Evidens anskues ofte ud fra to parametre – validitet og effekt. Validitet – eller gyldighed – deles traditionelt op i ekstern og intern validitet, hvor den interne validitet handler om den anvendte metodes gyldighed, fokuserer den eksterne validitet på mulighederne for at generalisere resultatet til en anden sammenhæng. Effekt kan opdeles i output, outcome og impact. Output er det umiddelbare, synlige produkt af en indsats, outcome er de umiddelbare virkninger indsatsen har over for målgruppen, mens impact er den mere langsigtede virkning. Af pragmatiske grunde evalueres ofte på outputs af indsatser, fx antal downloads af en given BAR-vejledning. Disse outputs må dog ikke forveksles med opnåelse af det ønskede resultat af BAR-vejledningen som fx nedbringelse af en specifik form for arbejdsulykke. I notatet beskrives fire eksempler på, hvordan et evalueringsdesign mest fornuftigt kan tilpasses de tilgængelige ressourcer. Det drejer sig om: Den begrænsede indsats, hvor udfordringen er at finde den simplest mulige evalueringstilgang, der kan bidrage med afgørende viden. Den omfattende indsats, der kræver klare programteorier, for at kunne prioritere evalueringer. Den tværgående evaluering, der særligt kræver en afklaring af målgrupper og relevante evalueringstyper for de enkelte målgrupper. Endelig er der programmet, hvor evalueringen må bygges op således, at det bliver muligt at gennemføre tværgående analyser, hvilket igen kræver refleksioner over programteori.