Betänkandet Folkbildningens samhällsvärden (SOU 2012:72)

Betänkandet diskuterar behov av och lämnar förslag till modeller för statlig utvärdering av folkbildningen.[1] IFAU:s huvudsakliga kommentarer är:

• IFAU ser positivt på ambitionen att följa upp och utvärdera verksamheten vid folkhögskolor och studieförbund på ett mer långsiktigt och kontinuerligt sätt.
• IFAU är negativt till den föreslagna organisationen med två myndigheter som ansvariga relativt en interdepartemental kommitté. För att få en kritisk massa i arbetet bör ansvaret och resurserna samlas hos en myndighet som sedan har frihet att organisera arbetet internt och beställa externa underlagsrapporter. Det framstår som rimligt att regeringens styrning av detta uppdrag sköts på samma sätt som andra uppdrag för myndigheten.
• IFAU är negativt till att ha ett ansvar för utvärdering av folkbildningsområdet. Målsättningarna för och innehållet i verksamheten faller bara delvis inom IFAU:s primära kompetensområde. De förslag kring organisation och styrning som ges är inte i linje med de arbetssätt och styrningsformer som etablerats vid IFAU.
• Betänkandet för i många delar rimliga resonemang kring balansgången mellan olika intressen. Däremot saknar texten en förtrogenhet med förutsättningar och krav för att kunna genomföra trovärdiga kvantitativa effektutvärderingar. De metodproblem som alltid finns vid utvärdering av arbetsmarknads- och utbildningsfrågor är särskilt tydliga när det gäller folkbildningsinsatserna. 

Organisering av utvärderingen – erfarenheter från IFAU

IFAU bedriver huvudsakligen långsiktiga studier av arbetsmarknads- och utbildningsområdena. Den styrningsmodell som etablerats innebär att myndigheten själv initierar huvuddelen av sina projekt. Dialogen med Regeringskansliet är en viktig källa till prioriteringar, men antalet direkta uppdrag är litet. IFAU:s största styrka är förmågan att göra kvalificerade effektutvärderingar.

I diskussionen kring utvärderingen av folkbildningsarbetet är det relevant att lyfta vissa generella erfarenheter från de femton år som IFAU har verkat. Den första är att se utvärderingen som en långsiktig kunskapsuppbyggnad, med målet att lära om hur olika alternativ för insatser och verksamheter fungerar och når olika mål. Det är inte självklart att detta uppfylls bäst av att övergripande utvärderingar levereras med jämna intervall, snarare än genom ett löpande flöde av studier.

En andra erfarenhet är att den flexibilitet som ges av en stor frihet och en löpande dialog som styrform har uppfattats som positivt både av IFAU och RK. Vid utvärderingar visar det sig ibland först efter en tid att frågeställningar kan behöva läggas till, lyftas bort eller modifieras. Denna möjlighet är mindre ju mer styrningen sker genom direkta uppdrag.

En tredje faktor är att verksamheten kräver en kritisk massa av inte alltför diversifierade resurser. Att kunna ventilera metoder, datamaterial och manus med kollegor i arbetsgrupper och på seminarier, är en mycket viktig del av kvalitetssäkringen som är svår att ersätta. För att kunna följa upp och utvärdera ett område så brett och mångfacetterat som folkbildningen krävs också betydande institutionell kunskap. Att bygga upp denna vid flera myndigheter framstår som mindre effektivt.

Synpunkter på betänkandets specifika förslag

Baserat på ovanstående erfarenheter och resonemang följer nedan kortfattade synpunkter på konkreta förslag i betänkandet.

• En beställar- och utförarmodell med en interdepartemental arbetsgrupp framstår som mindre lämplig än att i myndighetsinstruktionen ge ett övergripande uppdrag som sedan konkretiseras via löpande dialog.
• Det är troligen rimligt att i många sammanhang utvärdera studieförbund och folkhögskolor separat. Samtidigt kan det, t.ex. vid prioritering av anslagsfördelningar, finnas behov av att hitta möjligheter att jämföra de olika verksamheterna.
• IFAU förordar en modell där en myndighet ges det övergripande ansvaret för utvärdering av folkbildningsområdet. Detta ger fördelar i form av kritisk massa och en enklare dialog relativt uppdragsgivaren. Denna myndighet bör sedan kunna välja att använda delar av resurserna för att finansiera underlagsrapporter från andra myndigheter, organisationer och forskargrupper.
• IFAU är negativt till att ansvara för utvärderingen av folkbildningen. Möjligheterna att på området genomföra den typ av effektutvärderingar som är IFAU:s huvudsakliga styrka är begränsade. IFAU:s sedan 2012 utvidgade uppdrag på utbildningsområdet är redan i nuläget mycket brett och kräver prioriteringar av frågeställningar. Att lägga till folkbildningsfrågorna, enligt förslaget också med en markant annorlunda styrmodell än den etablerade, riskerar att negativt påverka det arbete som sker inom ramen för nuvarande uppdrag på arbetsmarknads-, utbildnings- och socialförsäkringsområdena. Detta ska dock inte tolkas som en allmänt negativ inställning till att i avgränsade projekt studera t.ex. folkhögskolor. Detta kan sägas falla tematiskt under nuvarande uppdrag, och IFAU skulle rimligen vara en möjlig uppdragstagare för den typ av externa underlagsrapporter som nämnts ovan.
• En tänkbar lösning är att Myndigheten för Kulturanalys ges det övergripande uppdraget, men IFAU har inte möjlighet att närmare avgöra lämpligheten i detta.
• De föreslagna resurserna för utvärderingen (7 Mkr) utgör 2,1 promille av det statliga anslaget på området (3,3 Mdr kr). Detta är i jämförelse med de (mycket varierande) värden för andra utvärderingsmyndigheter som ges av Statskontoret (2011) i alla fall ingen anmärkningsvärt låg siffra. Å andra sidan är det enkelt att se att utvärderingarna bara behöver ha små positiva effekter på hur väl de statliga medlen används, för att utvärderingsmedlen ska vara direkt motiverade utifrån ett kostnadsperspektiv.

Förutsättningar för utvärdering och uppföljning

Effektutvärdering förutsätter tillgång till data och tillgång till en trovärdig strategi för att kunna skatta effekterna. Betänkandet betonar värdet av longitudinella individdata i sammanhanget. IFAU instämmer att detta har ett stort värde, men vill också påpeka att det inte automatiskt följer en möjlighet att fastställa effekter av olika insatser av att man kan följa individer över tiden.

Vid utvärderingar av individeffekter är det alltid centralt att ställa sig frågan om de som deltar kan jämföras med dem som inte deltar. Det finns anledning att tro att de så kallade selektionsproblem som kan uppstå kan vara särskilt stora när det gäller t.ex. mindre utbildningar med specialiserat innehåll som man väljer att genomföra under en avgränsad period. Det kan därför vara svårt att fastställa trovärdiga orsakssamband mellan folkhögskolan och olika utfall. För studieförbunden är det sannolikt ännu svårare att förstå de processer som styr deltagandet, och därmed att kunna hitta personer som är helt jämförbara i alla avseenden utom just deltagandet i den studerade verksamheten.

Goda data ger dock möjligheter till kvalificerad uppföljning, vilket också kan ha ett stort värde genom att t.ex. beskriva vad som karaktäriserar de personer som väljer att påbörja en utbildning eller ta del av en verksamhet och hur dessas situation ser ut ett antal år senare. Om man sedan har ambitionen att faktiskt mäta effekter av verksamheten finns det finns en mängd olika sätt att fördela platser till deltagare så att effekterna av insatsen kan utvärderas. IFAU bidrar gärna med synpunkter och förslag ifall intresse finns att utforma t.ex. försöksverksamheter eller regelverk som möjliggör utvärdering.

I detta ärende har generaldirektören Olof Åslund beslutat. I den slutliga handläggningen har också Kristina Sibbmark och Björn Öckert deltagit.

[1] IFAU har på förfrågan av Folkbildningsutredningen tidigare (2012-10-03) besvarat en snabbremiss från utredningen. Delar av de argument som då framfördes upprepas här.