Om IFAU:s effektutvärdering av Rusta och matcha

Svenskt näringsliv har publicerat en rapport som replikerar delar av IFAU:s effektutvärdering av Arbetsförmedlingens matchningstjänst Rusta och matcha. Svenskt Näringsliv har återskapat IFAU:s resultat utan betydande avvikelser. Det har också framförts invändningar. Oenigheten gäller, som vi ser det, vilken metod eller effektmått som ska användas, vilka utfallsdata som är mest relevanta och hur resultaten ska tolkas, inte felaktigheter.

IFAU välkomnar en saklig diskussion om metodval och tolkning av resultat. Vår rapport bygger på ett randomiserat upplägg och följer etablerad vetenskaplig praxis. Vi är trygga i våra resultat och vår samlade bedömning kvarstår:

• De stödinsatser som gavs till arbetssökande som randomiserades till Rusta och matcha var dyrare än de insatser jämförelsegrupperna fick ta del av.
• En anvisning till Rusta och matcha ledde i huvudsak inte till bättre utbildnings- eller arbetsmarknadsutfall. Vi finner inga betydande effekter på vare sig löneinkomster eller varaktig sysselsättning.

Svenskt näringsliv menar att IFAU:s utvärdering lider av metodologiska brister och att det inte går att utesluta betydande positiva effekter av de fristående leverantörernas matchningsinsatser. Kritiken rör särskilt (i) följsamhet, (ii) valet mellan ITT och LATE samt (iii) val av data från Skatteverket istället för från Arbetsförmedlingen. I korthet blir våra svar:

• Följsamheten är inte fullständig, men skillnaderna mellan grupper är tydliga och tillräckliga
• Valet mellan ITT och LATE har begränsad betydelse i detta sammanhang
• Utfallsdata från Skatteverket är mest tillförlitliga

Nedan bemöter vi dessa invändningar mer ingående.  

Följsamheten är inte fullständig, men skillnaderna mellan grupper är tydliga

En central utgångspunkt i Svenskt Näringslivs rapport är att följsamheten i experimentet är så låg att s.k. ITT-effekter blir missvisande. Vår bedömning är att detta inte stämmer.

Vi studerar skillnader mellan samtliga arbetssökande som randomiserades till att delta i Rusta och matcha och samtliga som randomiserades till jämförelsegruppen. Det fångar effekten av att ha randomiserats till Rusta och matcha i jämförelse med att ha randomiserats till jämförelsegruppen. På utvärderingsspråk kallas det en intention-to-treat-effekt (ITT-effekt). Det är ett vedertaget mått i randomiserade utvärderingar och särskilt relevant när man vill förstå vad som händer när en insats erbjuds i praktiken.

Figur 1 visar hur deltagandet i Rusta och matcha utvecklas under 12 månader för dem som randomiserats till Rusta och Matcha (behandlingsgrupp) respektive jämförelsegruppen. Precis som i IFAU:s utvärdering delar vi upp urvalet i två olika grupper: arbetssökande som stod närmare (zon Z1) respektive längre från (zon Z4) arbetsmarknaden.  

Figur 1: Deltagande i Rusta och matcha över tid

Tre observationer är särskilt viktiga:

• Tydliga skillnader mellan grupperna: Redan tidigt efter randomisering uppstår en tydlig skillnad mellan grupperna. Många i behandlingsgrupperna deltar i Rusta och matcha relativt snabbt. Det ger en tydlig skillnad i andelen som deltar i Rusta och matcha mellan behandlings- och kontrollgruppen, både i zon 1 och zon 4. Detta visar att randomiseringen påverkar sannolikheten att delta i Rusta och matcha på ett substantiellt sätt.
• Bestående skillnader över tid: Skillnaderna kvarstår under hela uppföljningsperioden (12 månader). Även om en del arbetssökande i jämförelsegrupperna över tid kommer att delta i Rusta och matcha, är andelen deltagare betydligt högre i behandlingsgrupperna.
• Mönstret över tid är i linje med programmets design: I zon 1 för arbetssökande närmare arbetsmarknaden ser vi att fler i jämförelsegruppen deltar i Rusta och matcha, men att det sker först efter en tid i arbetslöshet. Att en del av de som bedömts stå närmare arbetsmarknaden och inte randomiserades till Rusta och matcha ändå tog del av tjänsten är naturligt eftersom det under inskrivningstiden då och då åter gjordes bedömningar om Rusta och matcha var en lämplig insats. Då jobbchansen i regel minskar med ökad inskrivningstid, och nivågränserna vidgas, ökade också chansen för att dessa arbetssökande skulle få beslut om deltagande.  Mönstret vi ser för jämförelsegruppen är med andra ord i huvudsak en direkt följd av den institutionella utformningen, snarare än ett uttryck för bristande följsamhet i experimentet.

Sammantaget visar figuren att följsamheten är tillräcklig för att möjliggöra informativa effektskattningar. Perfekt följsamhet uppnås sällan i policyrelevanta fältexperiment, och ITT är ett vedertaget mått i denna litteratur.

De betydande skillnaderna i deltagandet innebär också att kostnaderna för insatserna som gavs till de som randomiserats till Rusta och matcha var betydligt högre än de insatser som jämförelsegrupperna tog del av

Valet mellan ITT och LATE har begränsad betydelse i detta sammanhang

Svenskt näringsliv menar att LATE är ett mer relevant effektmått än ITT, givet att inte alla individer följer sin randomisering eller tilldelning. Vår bedömning är att det inte förändrar huvudbilden av resultaten. Låt oss klargöra hur dessa mått relaterar till varandra och vilken roll de spelar i just denna studie.

Fyra punkter är centrala:

• Rådata visar inga stora skillnader i utfall. När vi i rådata rent deskriptivt studerar de som randomiserats till behandlings- eller kontrollgrupp ser vi inga skillnader mellan grupperna. Figur 2 visar utvecklingen av inkomster och sysselsättning för individer som randomiserats till Rusta och matcha (behandlingsgruppen) respektive jämförelsegruppen för de två randomiseringszonerna närmre arbetsmarknaden (Z1) och längre ifrån (Z4). Utfallen utvecklas mycket likartat över tid mellan grupperna, utan tydliga tecken på betydande skillnader. Detta gäller både inkomster och olika sysselsättningsmått. Den bilden är i linje med ITT-resultat i vår rapport.

Figur 2: Utfall för arbetssökande randomiserade till Rusta och matcha och jämförelsegrupp

• LATE är i grunden en ”skalning” av ITT. LATE är ett mått som syftar till att uppskatta effekten av deltagande för den grupp vars deltagande faktiskt påverkas av randomiseringen. I ett sådant mått räknas ITT-effekten i praktiken om utifrån skillnaden i deltagande mellan grupperna. Under standardantaganden kan LATE uttryckas som ITT dividerat med skillnaden i deltagande mellan behandlings- och jämförelsegrupp. Det kan ge större punktskattningar men LATE förändrar inte den kvalitativa bilden av resultaten, utan innebär i huvudsak en omräkning av ITT-effekten. Om ITT-effekterna är små eller nära noll som i det här fallet, kommer även LATE-effekterna att vara små. Om det finns en substantiell effekt av deltagande bör den synas även i ITT-resultaten.
• Skillnader i kostnader. De kostnadsberäkningar som återfinns i vår utvärdering bygger också på ITT-jämförelser. Om resultaten i stället uttrycks som en LATE måste även kostnaderna skalas på motsvarande sätt, vilket skulle leda till ännu större skillnader i kostnader mellan Rusta och matcha och annat stöd via Arbetsförmedlingen. Man kan inte räkna om utfall till LATE men lämna kostnaderna kvar på ITT-nivå.
• ITT är mer policyrelevant. ITT mäter effekten av att erbjudas en insats. Det är det mått som ligger närmast den policyrelevanta frågan om vad som händer när ett program införs och en arbetssökande anvisas. Det kräver färre antaganden och används ofta i randomiserade utvärderingar av arbetsmarknadspolitik.

Valet mellan ITT och LATE är alltså inte avgörande för slutsatserna. LATE skulle i detta sammanhang i huvudsak innebära en omräkning av ITT till en mer svårtolkad parameter, utan att förändra den övergripande bilden av resultaten. IFAU:s slutsats kvarstår: de stödinsatser som gavs till arbetssökande som randomiserades till Rusta och matcha var dyrare, utan att ha några betydande effekter på vare sig löneinkomster eller varaktig sysselsättning.

Utfallsdata från Skatteverket är mest tillförlitliga för huvudfrågan

IFAU:s utvärdering använder i första hand utfall som är baserade på inkomstuppgifter (AGI) från Skatteverket. Anledningen till detta är att Skatteverkets uppgifter ger en mer tillförlitlig bild av om individen har arbetat och i vilken omfattning. Detta eftersom alla arbetsgivare i Sverige varje månad redovisar uppgifter om månatlig inkomst till Skatteverket. Arbetsgivarnas uppgifter om den utbetalda lönen ger med andra ord en god uppfattning om omfattningen på arbetet.

Arbetsförmedlingens register är värdefulla för flera ändamål, men de har begränsningar som är särskilt viktiga just i denna utvärdering. Det är osäkert om uppgifter från Arbetsförmedlingens register ger en lika rättvisande bild över arbetsmarknadsutfall. Avregistreringar från Arbetsförmedlingen på grund av arbete ger till exempel inte någon information om hur mycket och hur länge individen arbetar. Registeruppgifternas tillförlitlighet bygger också på att Arbetsförmedlingen får information om när och varför den arbetssökande avregistrerats. För vår utvärdering är dessa brister centrala, eftersom det finns en risk att Arbetsförmedlingens register uppdateras oftare för deltagarna i Rusta och matcha än för arbetssökande som blir kvar vid Arbetsförmedlingen. Det finns flera tänkbara förklaringar till detta, exempelvis kopplat till hur godkänd resultatersättning verifieras av Arbetsförmedlingen. De fristående leverantörerna har också tätare kontakt med sina arbetssökande, vilket ger dem större möjligheter att påminna den arbetssökande om att höra av sig till Arbetsförmedlingen för avregistrering.

Av dessa skäl bedömer vi att data från Arbetsförmedlingen är minde tillförlitliga än uppgifter från Skatteverket. Vår slutsats att Rusta och matcha inte har några betydande effekter på vare sig löneinkomster eller varaktig sysselsättning baseras därför på uppgifter från Skatteverket.

Svenskt Näringslivs rapport lägger däremot stor vikt vid utfall baserat på data från Arbetsförmedlingen. Eftersom dessa mindre tillförlitliga data ger mer positiva effekter av Rusta och matcha är detta den enskilt viktigaste anledningen till att Svenskt Näringslivs rapport drar andra slutsatser än IFAU:s rapport.

Sammanfattande bedömning

Vår bedömning kvarstår

• Följsamheten i experimentet är tillräcklig för att möjliggöra informativa skattningar; de skillnader i deltagande som observeras mellan behandlings- och kontrollgrupp är tydliga, bestående och i linje med utformningen av Rusta och matcha.
• Rådata visar inga betydande skillnader i utfall mellan arbetssökande som randomiserats till Rusta och matcha respektive jämförelsegruppen.
• Skillnaden mellan ITT och LATE är i detta sammanhang huvudsakligen en fråga om skalning och tolkning, inte om kvalitativt olika slutsatser.
• ITT är ett robust och policyrelevant mått.
• Vår utvärdering använder i första hand utfall som är baserade på inkomstuppgifter från Skatteverket eftersom dessa uppgifter är mer tillförlitliga än data från Arbetsförmedlingen.

Mot denna bakgrund är vi trygga i våra resultat och ser inte att den framförda kritiken ger anledning att ompröva våra metodval eller våra slutsatser. Läs mer i rapport 2024:17.