Så kan metoden intern replikation användas i utvärderingsstudier

Det finns problem med att mäta effekter av en åtgärd

I statistiska utvärderingsstudier försöker man (ofta) undersöka på vilket sätt en åtgärd påverkar vad som händer med deltagarna efteråt, man talar om att skatta den kausala effekten av att delta i ett program. I allmänhet baseras dessa studier på registerdata insamlade efter det att individer deltagit. I sådana studier stöter man på två typer av problem. För det första har man inte full kontroll på vad som ligger till grund för att någon antas till en åtgärd (selektionen), vilket kan snedvrida effektskattningen. För det andra är det inte alltid klart exakt vad det var i åtgärden som driver effekten.

Intern replikation är en metod för att komma till rätta med problemen

”Intern replikation” är ett sätt att mildra båda dessa problem och därmed öka trovärdigheten i utvärderingen. Idén är att man använder alternativa data som innehåller mer detaljerad information relaterad till en specifik hypotes om vad åtgärdsdeltagande innebär för individen.

En jämförelse av två arbetsmarknadsutbildningar används som exempel

I rapporten beskrivs metoden med hjälp av två IT-utbildningar under 1990-talet: Swit-yrkesutbildning och ordinarie arbetsmarknadsutbildning med IT-inriktning inom AMV. En tidigare studie har visat att deltagarna i Swit lyckades bättre på arbetsmarknaden än AMV-deltagarna. Är detta en effekt av att delta i Swit? Vad var det i så fall som gjorde att Swit fungerade bättre? Eller var deltagare i Swit annorlunda än deltagarna i AMV (selektion)? En möjlig hypotes är att Swit-deltagarnas arbetsgivarkontakter ledde till att fler fick arbete. För att testa denna hypotes har vi samlat in ny data med information om kurserna var nära knutna till arbetsplatser. Med dessa nya data undersöks om kontakter med arbetsgivare var relaterat till att deltagarna fick arbete på ett likartat sätt i båda grupperna. Om svaret på denna fråga är ja har vi funnit indirekt evidens, via intern replikation, som stöder ovanstående hypotes. Det visar sig att svaret på frågan är ja, vilket  alltså stärker resultatet i den ursprungliga studien. Det är med andra ord mer troligt att Swit-deltagande har en positiv effekt på sannolikheten att få jobb och att denna effekt drivs av en större tillgång till arbetsgivarkontakter.