Sociala experiment utan omedelbara effekter ställer stora krav på utvärderingsmetoder

Om det sociala experimentet liknar ett idealt experiment

I rapporten görs teoretiska analyser av olika utvärderingssituationer. Den första handlar om ett fall som ligger nära ett idealt experiment. Följande villkor antas vara uppfyllda: 

1. Med hjälp av lottning delas behöriga individer upp i två grupper: en grupp som får erbjudande om att delta i programmet och en kontrollgrupp som inte får erbjudande.
2. Alla som har blivit erbjudna plats tackar ja.
3. Programmet startar direkt efter att utlottningen har ägt rum.

Den enda skillnaden jämfört med en ideal experimentsituation är att man inte vet när den eftersträvade effekten – övergång till arbete – inträffar. Det kan ske under och efter programmet eller inte alls under den studerade perioden. Övergång till arbete kan naturligtvis även ske bland dem som inte har deltagit i programmet. Skillnaden i andelarna som får arbete i behandlings- och kontrollgruppen beror inte bara på det arbetsmarknadspolitiska programmet. Vartefter deltagare och icke-deltagare får arbete ändras sammansättningen av de kvarvarande arbetslösa på ett systematiskt sätt. Det är inte längre någon slumpmässig fördelning. För att de som övergår till arbete ändå ska kunna ge information om effekten av programmet krävs att båda gruppernas egenskaper påverkar sannolikheten för att övergå till arbete på samma sätt, oavsett om de har deltagit i programmet eller inte. Detta ska gälla både observerade egenskaper (t ex utbildning och arbetsmarknadshistoria) och egenskaper som inte kan observeras (t ex ambitioner och medfödd begåvning).

Om alla som blivit erbjudna en plats inte tackar ja

I det andra typfallet analyseras vad som händer om de som blir erbjudna att delta i programmet har möjlighet att tacka nej (punkt två). Den slumpmässiga uppdelningen på behandlings- och kontrollgrupp rubbas då redan innan programmet startar. Programeffekten kan bestämmas med hjälp av regressionsanalys om i) övergången till arbete varierar med observerbara individegenskaper; ii) de som inte erbjudits plats i programmet inte tas in i programmet i efterhand.

Om programmet dessutom inte startar direkt efter utlottning

I det sista typfallet är varken antagande två eller tre uppfyllda. Arbetsmarknadspolitiska program påbörjas ofta först en tid efter det att deltagarna har fastställts. Under mellanperioden påverkas sannolikheten för att programdeltagarna får arbete. Man får också effekter på benägenheten att tacka ja till en erbjuden plats. Dessa två effekter kan skattas med hjälp av regressionsanalys om individernas icke-observerade egenskaper är oberoende av deras observerade egenskaper. Detta är ett starkt antagande och betyder t ex att en persons utbildning och motivation inte hänger ihop. Själva programeffekten kan nu bara skattas i förhållande till effekten på en given grupp före programstart, t ex individerna som inte blev erbjudna en plats i programmet. Återigen krävs regressionsanalys vid genomförandet av skattningarna.

Metod

Resultaten baseras på teoretiska analyser av s k durationsmodeller. Dessa modeller beskriver förlopp över tiden, där individer kan övergå från en situation – t ex arbetslöshet – till en annan – som deltagande i ett arbetsmarknadspolitiskt program eller till arbete. Modellerna förklarar såväl hur länge man befinner sig i en viss situation som varför man övergår till en annan situation.

Bakgrund

Experiment förespråkas ofta med argumentet att de gör det lätt att utvärdera de arbetsmarknadspolitiska programmens effekter. I idealfallet kan programeffekten beräknas genom att man helt enkelt jämför hur många som fått arbete bland programdeltagarna och bland dem som inte deltog. Detta idealfall förutsätter dock bland annat att effekten uppstår direkt efter att behandlingen  (programmet) har satts in. Verkligheten ser nästan alltid annorlunda ut, eventuella effekter uppstår först efter en tid. Sammansättningen av individer i behandlings- och kontrollgruppen förändras då successivt så att uppdelningen på dessa grupper efter en tid inte längre är slumpmässig, trots att den var det när behandlingen startade. Detta måste man ta hänsyn till när man utvärderar programmets effekt.

Att behandlingseffekten ofta är fördröjd gäller både sociala och medicinska experiment. Studiens resultat har därför betydelse även för utvärderingen av ”traditionella” experiment inom t ex farmakologi.