Förstärkt uppföljning och utvärdering av folkhälsopolitiken

IFAU har granskat utredningen med utgångspunkt i vårt uppdrag att följa upp och utvärdera arbetsmarknads- och utbildningspolitik samt arbetsmarknadseffekter av socialförsäkringen.

Sammanfattning

• IFAU tillstyrker förslaget att Folkhälsomyndigheten ska stödja pilotverksamheter genom att bidra till att insatser utformas och genomförs så att de kan utvärderas i efterhand (s. 273 och 276–277), men anser att utredningen inte tillräckligt tydligt anger hur utvärderingsbarheten ska säkerställas. När nya reformer utformas bör randomisering vara utgångspunkten.
• IFAU instämmer i utredningens samlade bedömning att tillgången till rikstäckande individdata behöver stärkas (s. 292) och vill särskilt understryka behovet av att bevara detaljerade uppgifter i ursprunglig form.
• IFAU tillstyrker förslaget att Folkhälsomyndigheten får ett utökat forskningsuppdrag avseende ekonomiska analyser och effektutvärderingar (s. 282–284), men understryker att myndighetens utvärderingar inte bör ersätta oberoende utvärdering av större insatser.
• IFAU tar inte ställning till utredningens övriga förslag och bedömningar.

Randomisering bör vara utgångspunkten när nya reformer utformas

IFAU tillstyrker förslaget att Folkhälsomyndigheten ska stödja pilotverksamheter genom att bidra till att insatser utformas och genomförs så att de kan utvärderas i efterhand (s. 273 och 276–277), men anser att utredningen inte tillräckligt tydligt anger hur utvärderingsbarheten ska säkerställas. När nya reformer utformas bör randomisering vara utgångspunkten.

En beräkning av en insats kostnadseffektivitet förutsätter en trovärdig skattning av insatsens effekt. För att skatta effekten måste den observerade utvecklingen jämföras med det kontrafaktiska förloppet – vad som skulle ha hänt utan insatsen. Skillnaden mellan dessa förlopp är den kausala effekten. Beskrivande uppföljningar och simuleringar kan vara värdefulla, men kan inte ensamma fastställa denna effekt.

För att mäta en kausal effekt kan randomiserade kontrollstudier (RCT) eller kvasiexperimentella metoder användas. Utredningens kapitel 10 ger en väl underbyggd och användbar översikt över metoderna. När deras styrkor och svagheter jämförs görs emellertid inte tillräcklig åtskillnad mellan utvärdering av redan genomförda reformer och hur nya reformer kan göras utvärderingsbara.

Både RCT och kvasiexperimentella ansatser kräver variation som kan behandlas som slumpmässig. I en RCT skapas och kontrolleras slumpen av den som utformar försöket. Det gör det möjligt att bestämma vilken insats, population och effekt som ska studeras och gör behandlings- och jämförelsegruppen jämförbara genom själva försöksdesignen. I en kvasiexperimentell studie måste forskaren i stället visa att variation som uppkommit genom exempelvis regler eller institutionella förändringar kan betraktas som slumpmässig. Studiens trovärdighet blir därmed beroende av att detta antagande håller.

Det är mycket svårt att i befintliga data hitta variation som med trovärdighet kan betraktas som slumpmässig. För många reformer saknas sådan variation helt. Detaljerade registerdata är nödvändiga för att mäta och utnyttja kvasiexperimentell variation. Själva slumpmässigheten är dock en egenskap hos genomförandet, inte hos datamaterialet. Om reformen inte genomfördes på ett sätt som skapade sådan variation kan den inte återskapas i efterhand, oavsett hur detaljerade data som finns tillgängliga eller hur avancerade statistiska metoder som används. Det går därför inte att förlita sig på att framtida reformer kommer att kunna utvärderas i efterhand om de inte redan från början utformas för att generera experimentell eller kvasiexperimentell variation.

Om en redan implementerad reform ska studeras, och införandet av någon anledning genererat slumpmässig variation är ofta en kvasiexperimentell utvärdering som utnyttjar denna variation ofta fullt tillräcklig för att generera trovärdiga effektskattningar, och argumentet för att då genomföra en RCT (givet att en RCT ens går att genomföra) är litet.

När en ny reform ska implementeras är avvägningen en annan. Utredningens jämförelse mellan metoderna förefaller ställa valet att planera en RCT mot kvasiexperimentell analys av en redan genomförd reform. De fördelar som tillskrivs kvasiexperimentella metoder – att befintliga registerdata kan användas, att samarbete med den genomförande aktören inte krävs och att tilldelningen inte aktualiserar några nya etiska frågor – gäller om reformen redan genomförts (och den råkat generera kvasi-slumpmässig variation). Men när en ny reform planeras är den relevanta jämförelsen i stället mellan en planerad RCT och ett planerat icke-randomiserat införande avsett för kvasiexperimentell utvärdering. Båda kräver samarbete med den genomförande aktören, en regel för vilka som får insatsen och när samt insamling av de data som utvärderingen behöver. Skillnaderna i praktiska, etiska och ekonomiska förutsättningar är därför mindre än vad utredningens jämförelse ger intryck av. När effekten är okänd kan båda tilldelningsreglerna innebära att vissa får en skadlig insats eller går miste om en verksam insats. RCT har samtidigt fördelen att den nödvändiga variationen skapas genom försöksdesignen. IFAU anser därför att randomisering bör vara utgångspunkten när nya reformer på folkhälsoområdet utformas.

Om en ny reform inte randomiseras bör en uttrycklig identifikationsstrategi fastställas före genomförandet, och implementeringen uttryckligen säkerställa att rätt uppgifter genereras. Det bör framgå vilken variation som ska användas, varför den kan betraktas som slumpmässig, vilka grupper som ska jämföras, vilken effekt som ska skattas, när den ska mätas och vilka uppgifter som behöver samlas in. Att en reform allmänt beskrivs som utvärderingsbar är inte tillräckligt. Utan en sådan plan kan det efter genomförandet saknas en trovärdig jämförelse även om datamaterialet i övrigt är omfattande.

IFAU vill också understryka att beteckningen kvasiexperimentell inte i sig garanterar en trovärdig effektskattning. En regressionsdiskontinuitetsdesign (RDD) förutsätter att den studerade insatsen är den enda relevanta förändringen vid brytpunkten. Utredningens exempel med avgiftsfri influensavaccination från 65 års ålder är därför mindre väl valt, eftersom bland annat pensionering, inkomster och beteenden förändras kring samma ålder. En difference-in-differences-analys DiD förutsätter att behandlings- och jämförelsegruppen skulle ha utvecklats på samma sätt över tid om insatsen inte hade genomförts. En avbruten tidsserie (ITS) förutsätter att inget annat samtidigt orsakar det observerade trendbrottet. Matchning kräver att alla faktorer som påverkar både deltagande och utfall är observerade och korrekt mätta. Det antagandet är särskilt svårt att motivera på folkhälsoområdet, där både deltagande och hälsa samvarierar med en mängd socioekonomiska förhållanden. En korrekt genomförd randomisering behöver däremot inte något av dessa antaganden för att identifiera den kausala effekten.

Detaljerade data behövs för att utnyttja slumpmässig variation

Slumpmässig variation, inte bättre data i sig, är förutsättningen för kausal identifikation. Dataförsörjningen avgör emellertid ofta om variationen går att utnyttja. En RDD kräver exempelvis att den exakta tilldelningsvariabeln, gränsvärdet och den faktiska tilldelningen kan rekonstrueras.

IFAU vill därför understryka betydelsen av utredningens samlade bedömning att tillgången till rikstäckande individdata behöver stärkas (s. 292). Det är ofta svårt att förutse vilka uppgifter och vilken detaljnivå framtida utvärderingar kommer att kräva. Uppgifter bör därför så långt som möjligt bevaras i sin ursprungliga form. Aggregering kan göras i efterhand, medan förlorad detaljinformation inte kan återskapas.

Att detaljer kan vara avgörande illustreras av flera befintliga register. I SCB:s universitets- och högskoleregister finns meritvärdet i urvalsgruppen endast för antagna, vilket gör det omöjligt att använda RDD för att studera effekter av universitetsutbildning med enbart dessa data. För nationella prov samlas i huvudsak provbetyg och vissa delprovsresultat in, men inte svaren på enskilda frågor, trots att sådana uppgifter skulle möjliggöra långt mer rättvisande analyser av elevers kunskaper och skolors eller lärares bidrag (Bruhn m.fl. 2025). Under pandemin styrde en tidsregel i SmiNet – som dessutom ändrades över tid – om ett positivt prov skulle registreras som ett nytt fall eller kopplas till ett tidigare fall. Om endast det härledda fallmåttet bevaras går det därför inte att identifiera upprepade positiva prov inom tidsperioden. Exemplen visar hur registeruppgifter ofta saknar den detaljrikedom som framtida analyser kräver.

Likt utredningen pekade Coronakommissionen ut primärvård, kommunal hälso- och sjukvård och kort sjukfrånvaro som kritiska dataluckor (SOU 2022:10, s. 579–582). Behovet av bättre uppgifter om arbetade timmar har också uppmärksammats återkommande. IFAU bedömer därför att behovsbilden är väl belagd och vill betona vikten av att det fortsatta arbetet leder till att dessa uppgifter faktiskt börjar samlas in och görs tillgängliga.

Ett utökat forskningsuppdrag bör inte ersätta oberoende utvärdering

IFAU tillstyrker förslaget att Folkhälsomyndigheten får ett utökat forskningsuppdrag avseende ekonomiska analyser och effektutvärderingar (s.  282–284). Myndigheten behöver egen forskningskompetens för att utveckla data, stödja utvärderingsbara genomföranden och samarbeta med fristående forskare. Den interna kompetensen kompletterar, men ersätter inte behovet av oberoende utvärdering.

Det föreslagna hälsoekonomiska sekretariatet kan stärka utvärderingarnas kvalitet, transparens och jämförbarhet genom gemensamma metodriktlinjer. Sekretariatet löser dock inte frågan om vem som genomför utvärderingen. Större insatser bör fortfarande utvärderas av organisatoriskt fristående aktörer med självständig dataåtkomst och publiceringsrätt, exempelvis universitetsanställda forskare.

I detta ärende har generaldirektören Martin Söderström beslutat. Adam Altmejd har varit föredragande.

Martin Söderström

Referenser

Bruhn, J., Gilraine, M., Ludwig, J. & Mullainathan, S. (2025), ”Do Test Scores Misrepresent Test Results? An Item-by-Item Analysis”, NBER Working Paper 34484. https://doi.org/10.3386/w34484.

SOU 2022:10. Sverige under pandemin. Volym 2: Förutsättningar, vägval och utvärdering. Slutbetänkande av Coronakommissionen. Stockholm: Regeringskansliet.