Analyser och utvärderingar för effektiv styrning

Även om det är positivt att utredningen lyfter fram betydelsen av analys och utvärdering ser IFAU stora brister i betänkandet, vilket vi tidigare framfört (kommentarer Analys och- utvärderingsutredning 2018-10-31, Dnr 142/2017, bifogas). Bristerna gäller både nulägesanalysen och konsekvensanalysen. Vi bedömer att betänkandet inte kan anses vara ett ändamålsenligt beslutsunderlag för regeringen.

Utöver de redan lämnade synpunkterna fokuserar vi i detta remissvar främst på tre områden:

• Betänkandet svarar inte på direktivets mest centrala fråga, dvs. om organisationen och styrningen av analys- och utvärderingsresurserna är ändamålsenlig och effektiv utifrån regeringens samlade behov. Utredningen har vare sig studerat om resurserna för analys och utvärdering används effektivt, eller tillämpat ett helhetsperspektiv. Det går således inte att avgöra om förslagen bidrar till en mer ändamåls­enlig, effektiv eller kostnadseffektiv användning av statens resurser.
• Utredningen föreslår att utvärderingsmyndigheterna inte ska bedriva forskning. Vi menar att detta förslag bygger på en bristfällig analys, och vill betona att forskning är en central och nödvändig förutsättning för IFAU:s verksamhet. Detta gäller särskilt för kompetensförsörjning och datatillgång.
• Förslagen om ny myndighetsstruktur ska inte anses vara aktuella i och med att regeringen undanber sig synpunkter på dessa. Det är dock oklart om remissen omfattar de analyser som leder fram till förslagen. IFAU vill påpeka att det är anmärkningsvärt att det saknas en seriös konsekvensanalys av den föreslagna organisationsförändringen. Det är inte rimligt att lägga förslag baserat på enkla omflyttningar mellan anslagsposter och utgiftsområden, utan att analysera vilka effekter förändringarna har på befintliga verksamheter.

Betänkandet svarar inte på direktivets mest centrala fråga

Enligt direktiven ska utredningen analysera om organisationen och styrningen av analys- och utvärderingsresurserna är ändamålsenlig och effektiv utifrån regeringens samlade behov.

För regeringen är frågan om en effektiv användning av statens resurser central och har använts som motiv för en utredning (se t.ex. prop. 2014/15:1). Regeringens utgångspunkt för utredningen har vidare varit att sektorsanknutna analysmyndigheter ska bedömas utifrån vilket mervärde de skapar, vilket också är en av Statskontorets tidigare slutsatser (se t.ex. prop. 2014/15:1 och Statskontoret 2014:7). En bärande tanke även med regeringens verksamhetsöversyner av statlig förvaltning (spending reviews), är att analysera vilket värde olika verksamheter genererar och om de kan styras eller organiseras på ett mer (kostnads-)effektivt sätt (se prop. 2014/15:1). IFAU bedömer således att regeringen har efterfrågat en analys av hur värdet av analysmyndigheternas verksamhet förhåller sig till de resurser som används, och om en annan styrning och organisation kan innebära en mer effektiv användning av resurserna.

Utredningen har dock valt att inte studera om resurserna för analys och utvärdering används effektivt. Betänkandet analyserar inte på ett närmare sätt omfattning, innehåll eller kvalitet i de berörda analysmyndigheternas arbete. Utredningen har heller inte analyserat eller bedömt om, och i så fall hur, föreslagna förändringar påverkar myndigheternas verksamhet. Om man inte har en uppfattning om vilket värde som skapas av dagens verksamheter, och inte gör en analys av hur förslagen påverkar dessa, saknas enligt IFAU möjlighet att avgöra om förslagen bidrar till en mer ändamålsenlig, effektiv eller kostnadseffektiv användning av statens resurser.

Utredningen behandlar vidare endast ett begränsat antal verksamheter, medan den övergripande frågan om ”regeringens samlade behov av analys- och utvärderingsresurser” inkluderar många andra myndigheter och avdelningar inom större organisationer. För IFAU:s del är t.ex. förhållandet till analysavdelningar på Arbetsförmedlingen, Försäkringskassan och Skolverket högst relevanta att diskutera inom ramen för en samlad översyn. Att endast fokusera på 12–14 procent (utredningens bedömning) av regeringens resurser för analys och utvärdering kan inte vara rimligt i relation till regeringens samlade behov.

Utredningens huvudsakliga slutsats att regeringen ska får mer kvalificerade kunskapsunderlag till följd av de lagda förslagen är att betrakta som ogrundad. Det finns ingen analys i betänkandet som motiverar en sådan slutsats. Snarare skulle det motsatta inträffa om utredningens förslag på ny inriktning av verksamheten verkställs.

Forskning en nödvändighet för en myndighet som IFAU

Utredningen föreslår att utvärderingsmyndigheterna inte ska forska.[1] Någon närmare motivering till detta ställningstagande finns inte, annat än att forskning förväntas bidra till verksamhet som har annan målgrupp än regeringen. Detta medför, påstås det, en ineffektiv användning av statens resurser.

Det förefaller vara utredningens bedömning att genom att ta bort forskning från myndigheternas uppdrag kommer verksamheterna inte att påverkas alls, annat än att mer produkter kommer att göras som svarar mot regeringens behov. Betänkandet redovisar dock inget material som ger grund för ett sådant påstående.

Forskning är en nödvändig förutsättning för IFAU:s verksamhet. Forskningsuppdraget är särskilt centralt för myndighetens kompetensförsörjning och datatillgång. Tas möjligheterna till forskning bort kommer möjligheterna att bedriva verksamheten att påverkas kraftigt negativt.

Tillgången till data

IFAU bedömer att betänkandets förslag riskerar att omöjliggöra tillgången till den typ av registerdata som är en helt grundläggande förutsättning för kvalificerad uppföljning och analys. Utredningen antyder att ordet ”forskning” kan inkluderas i instruktionen för att säkra datatillgång, trots att organisationen inte ska bedriva forskning. Det är självklart fullständigt orimligt och skulle med all sannolikhet inte heller accepteras av utlämnande och granskande myndigheter.

För IFAU är tillgången till data för forskning och analys en central verksamhetsförutsättning sedan mer än 20 år. Den lag som idag reglerar myndighetens tillgång till registerdata och instruktionens anvisningar om att bedriva forskning är resultat av ett stort och många gånger komplicerat arbete. Även med starkt stöd av regelverk och tydliga ställningstaganden från regering och riksdag är vägen många gånger lång till en praktisk lösning. Många aktörers handläggning och beslut påverkar processerna (SCB och andra utlämnande organisationer, Datainspektionen). GDPR har ökat komplexiteten. En slutsats är därför att man bör vara mycket försiktig med att riva upp fungerande dataförsörjningskanaler.

Kopplingen till forskning är central. Genom att följa de regelverk som gäller för forskning finns etablerade system för etikprövning och krav på hantering av data, men också riktlinjer och praxis för t.ex. transparens och kvalitetssäkring. Flera ambitiösa försök att lösa datafrågorna för andra myndigheter har ännu inte resulterat i några lösningar. Det gäller t.ex. Inspektionen för socialförsäkringen (SOU 2014:67) och Myndigheten för vård- och omsorgsanalys (SOU 2018:52).

Kompetensförsörjning

IFAU menar att den forskning vi bedriver är en nödvändig förutsättning för att kunna rekrytera och behålla unik spetskompetens. De analyser, utvärderingar, forskningsöversikter, och inte minst den metodutveckling som utredningen bedömer att myndigheterna ska göra, kommer sannolikt inte heller att kunna utföras med samma kvalitet om myndigheterna inte kan erbjuda möjligheter till forskning.

Forskningen är också en central förutsättning för de samarbeten vi har. IFAU är en integrerad del av svensk och internationell arbetsmarknads- och utbildningsforskning. Det bidrar till högkvalificerade policyrelevanta produkter och skulle avsevärt försvåras om det inte bedrivs forskning vid IFAU.

Policyrelevans och politikutformning

IFAU är av den bestämda uppfattningen att den forskning som bedrivs vid myndigheten är relevant för regeringen och bidrar till policyanalys. Med utgångspunkt i enskilda forskningsresultat kan framåtblickande slutsatser dras, och den kunskapsuppbyggnad som kommer till stånd är långsiktigt värdefull för politiken. De positiva aspekter av den forskning som genereras, och som uteblir i och med förslaget, diskuteras dock inte närmare i betänkandet. IFAU vill också tydliggöra att det inte alltid är självklart vad som är forskning, utvärdering eller analys. Många av de projekt vi genomför och som specifikt efterfrågas av uppdragsgivaren är till mycket stor del att betrakta som forskning.

Det är också värt att påpeka att andra (nordiska) länder under senare år gått mot att fördjupa användningen av forskning i politikutformningen, t.ex. genom olika försöksverksamheter där implementeringen skapar förutsättningar för effektutvärdering. IFAU uppfattar att utredningens förslag riskerar att föra Sverige i motsatt riktning genom att verksamheterna blir mindre långsiktiga och forskningsnära, och mer styrda av kortsiktig efterfrågan.

Ny myndighetsstruktur utan konsekvensanalys

Enligt missivet ska remissinstanserna inte kommentera förslaget på ny myndighetsstruktur (avsnitt 7.4). Däremot är det oklart om remissinstanserna förväntas kommentera den analys som ligger bakom förslaget (avsnitt 6).

IFAU noterar att besparingsmöjligheter förefaller vara utredningens viktigaste argument, men att analysen är svagt underbyggd. Det går att ifrågasätta om utredningens förslag överhuvudtaget skulle innebära sänkta kostnader. Istället för att analysera de faktiska förhållandena utgår utredningen från schablonmässiga uppfattningar om samordningsvinster och stordriftsfördelar (vilka enligt SOU 2007:17 är begränsade).

Det går naturligtvis också att diskutera hur stor en eventuell besparing överhuvudtaget kan bli, och hur denna förhåller sig till kostnaderna inom de studerade politikområdena. Även vid mycket små verksamhetsmässiga försämringar blir kostnadsbesparingen sannolikt långt mindre än de övergripande effektivitetsförlusterna i statliga (och andra offentliga) verksamheter (för utförligare resonemang, se ESO 2017:1, s. 205 ff.).

IFAU vill betona att det är anmärkningsvärt att det saknas en seriös konsekvensanalys av en så omfattande organisationsförändring. Det kan inte vara rimligt att lägga förslag baserat på enkla omflyttningar mellan anslagsposter och utgiftsområden, utan att analysera vilka effekter förändringarna har på befintliga verksamheter.

Synpunkter på övriga förslag

Nedan följer kortfattade kommentarer till övriga förslag i betänkandet, se också bilaga med tidigare skrivelse.

Strategi om att utvärdera större reformer

Utredningen föreslår att regeringen ska ta ett beslut om att alla större reformer ska utvärderas. Som underlag för framtida politik kan dock även mindre reformer, t.ex. på områden där kunskapsunderlaget är litet, vara väl så viktiga. Ett principbeslut om att utvärderingar ska göras behöver också åtföljas av beslut om implementering som möjliggör utvärdering.

Enhetligt uppdrag/enhetlig instruktion

Regeringen har ett behov av analys och utvärderingar inom alla sektorer, men behovets omfattning och karaktär varierar mellan områden (och över tid). Det borde rimligen innebära att uppdrag och instruktion bör kunna variera mellan myndigheter.

Kostnadseffektivitet

Många gånger saknas uppgifter om kostnader för olika insatser. Kostnadseffektivitet låter sig således inte beräknas. Det är inte meningsfullt att efterfråga fler beräkningar av kostnadseffektivitet om man inte först säkerställer att uppgifter om kostnader samlas in, vilket sannolikt bör vara en uppgift för genomförandemyndigheterna.

Policyanalys/rekommendationer

IFAU menar att all analys som kan användas för att bidra till en effektivare utformning av politiken är värdefull för regeringen, även om den inte följs av en policyrekommendation.

IFAU delar inte utredningens bedömning att policyrekommendationer i princip är oproblematiska. Det finns alltid en risk att man blir eller uppfattas vara partisk i förhållande till förslag som man tidigare har lagt oavsett om regeringen har beslutat att följa dessa rekommendationer eller inte. Svaret på vad som bör göras innehåller också nästan alltid en ideologisk/politisk avvägning. Forskning och utvärdering ger i regel ingen tydlig vägledning i hur sådana avvägningar ska göras. Analysmyndigheternas verksamhet bör därför syfta till att skapa en så god bild som möjligt av förutsättningar för och konsekvenser av olika handlingsalternativ.

Följa upp läget i sektorerna vart fjärde år

Förslaget innebär att myndigheterna ska ha i uppgift att vart fjärde år (efter ett riksdagsval) leverera en lägesbeskrivning till Regeringskansliet. IFAU förstår behovet av en produkt av denna typ, men ser nackdelar med att låsa arbetet tids- och innehållsmässigt. IFAU:s erfarenhet är att efterfrågan på denna typ av underlag varierar snabbt och oregelbundet.

Det är heller inte självklart att det är analysmyndigheterna som borde göra nulägesbeskrivningar av status i en sektor.

Tillgängliggöra forskning/omvärldsanalys/utveckla metoder

IFAU noterar att uppgiften att vara en länk mellan akademi och politik, tillgängliggöra forskning, skriva forskningsöversikter samt stå för omvärldsbevakning redan idag utförs av IFAU och andra myndigheter. Vi menar också att detta arbete underlättas påtagligt av att vi bedriver egen forskning. På liknande sätt bedömer IFAU att den metodutveckling som utredningen menar ska ske på myndigheterna rimligen bör definieras som forskning, och definitivt förutsätter forskningskompetens.

 

 

I detta ärende har generaldirektören Olof Åslund beslutat. Martin Söderström har varit föredragande. I den slutliga handläggningen har också Anders Forslund deltagit.

 

[1] Man kan notera att det inte nämns i direktiven eller regeringens bakgrundsbeskrivningar att frågan om forskning ska behandlas. Snarare kan man tolka följande skrivning i direktiven som att frågan inte ska tas upp: ”Utredaren bör vidare beakta att myndigheterna kan ha andra uppgifter än analys och utvärdering, och att även dessa uppgifter ska kunna utföras med likvärdig kvalitet vid en eventuellt förändrad myndighetsstruktur”.