Hur ska man skatta åtgärdseffekter med icke-experimentella data?

En ny metodrapport från IFAU beskriver hur man skattar effekten av en behandling på sannolikheten att lämna ett tillstånd (t ex arbetslöshet eller sjukdom) med hjälp av icke-experimentella data.

Publicerades: 16 juni 2010

Författare: Xavier de Luna, Och Per Johansson, Och

Problem med att mäta effekter av en åtgärd

I utvärderingsstudier försöker man ofta undersöka på vilket sätt en åtgärd påverkar vistelsetiden eller sannolikheten att lämna tillståndet. Ett typexempel är frågan om deltagande i ett arbetsmarknadspolitiskt program ökar eller minskar sannolikheten att hitta ett jobb och därmed lämna arbetslösheten. Ett annat exempel är om ett medicinskt ingrepp förkortar eller förlänger sjukdomsperioden. I allmänhet baseras dessa studier på registerdata som innehåller information om individer som deltagit respektive inte deltagit i en åtgärd. I sådana observationsstudier möter man i allmänhet två typer av problem. Ett problem är att man inte har full kontroll på varför individer får del av en åtgärd, vilket i sig kan snedvrida effektskattningen. Ett annat problem är att en behandling inte observeras om individen lämnat tillståndet. Detta problem komplicerar utvärderingar av arbetsmarknadspolitiska program. Komplikationen har att göra med att för individer som hittar ett jobb tidigt observerar vi i många fall inte programdeltagandet. Detta skapar en systematisk relation mellan utfallet (arbetslöshetstiden) och programdeltagandet som försvårar skattningen av den sanna effekten av programmet.

Överlevnadsanalys och matchning en metod för att komma till rätta med problemen

I rapporten studeras hur man utan statistiska modellantaganden kan skatta behandlingseffekter i observationsstudier av ovanstående typ. Den grundläggande insikten är att bara individer som fortfarande befinner sig i tillståndet kan komma ifråga för behandlingen. Endast i denna grupp kan man hitta jämförbara individer som ännu inte är behandlade och har samma observerade egenskaper som dem som behandlas vid en specifik tidpunkt. De två grupperna – jämförelsegruppen och behandlingsgruppen – matchas med andra ord på tidigare vistelsetid och övriga observerade egenskaper. Vi visar på de antaganden som krävs för att: (i) (väntevärdesriktigt) skatta effekten på sannolikheten att lämna tillståndet; (ii) statistiskt säkerställa en effekt för den undersökta populationen; (iii) kunna generalisera resultaten till en vidare population. Estimatorns egenskaper i små stickprov studeras också genom en Monte Carlo-simulering.

Två empiriska exempel på metoden

Vi ger två empiriska exempel för att illustrera metodens användbarhet. Det första exemplet berör effekten på dödlighet av att få en hjärttransplantation. Dessa data – som samlades in i Stanford, USA, under 1970-talet – har ofta använts i överlevnadsanalys. Av naturliga skäl är antalet observationer begränsat, vilket medför att metoden är mindre lämpad för just denna situation. Det andra exemplet handlar om hur anställningsstödet påverkar sannolikheten att hitta ett reguljärt jobb. Exemplet är baserat på svenska data från början av 2000-talet. Här är stickprovstorleken och antalet variabler stort, vilket gör att förutsättningarna för att skapa jämförbarhet mellan behandlade och obehandlade individer är mycket goda. Det är i situationer som liknar denna som metoden verkligen är användbar och ger en god skattning av den sanna effekten av att delta i en åtgärd.

Kontakt

Om du vill veta mer kontakta Per Johansson på tel: 018-471 70 86 eller via e-post: per.johansson@ifau.uu.se.

Forskningsområden