Utvärdera för utveckling

SOU 2014:12

IFAU har under utredningens arbete bidragit med muntliga och skriftliga synpunkter. Delar av dessa upprepas nedan, men för mer utförliga redogörelser kring vissa frågeställningar hänvisas till tidigare underlag (dnr 138/2014-3 och 138/2014-4).

• IFAU är positivt till utredningens grundläggande målsättning att öka ambitionerna och förbättra förutsättningarna för utvärdering på skolans område.
• IFAU menar att ett bättre kunskapsunderlag för att utforma skolans verksamhet är beroende av en gradvis kunskapsuppbyggnad. Därför är löpande studier av arbetssätt och mindre insatser minst lika viktigt som att utvärdera stora reformer.
• IFAU menar att behovet av fler effektstudier är stort och att utredningens uppdrag hade motiverat en tydligare inriktning på att förbättra förutsättningarna för dessa.
• IFAU vill betona värdet av att samla in uppgifter rörande kopplingen mellan lärare och elever. Detta är viktigt dels för att kunna utvärdera reformer och insatser riktade till lärare, dels för att kunna studera en mängd allmänna frågor kring hur olika faktorer påverkar elevers studieresultat.

Förutsättningar för och inriktningen på utvärdering

IFAU stöder många av de grundläggande resonemang som förs i betänkandet. Det är angeläget att förbättra kunskapsunderlaget på skolområdet, och en central del i detta handlar om att förbättra förutsättningarna för uppföljning och utvärdering. Insamling av statistik, planering av reformer och genomförande av försöksverksamheter är viktiga delar i detta.

Utifrån betänkandet (och direktiven) finns dock en risk att alltför mycket fokus hamnar på stora reformer. Det centrala bör vara att förbättra kunskapen kring hur olika faktorer på olika nivåer (system, organisationer, individer) påverkar hur skolan fungerar och vilka resultat eleverna når. Det finns idag stora kunskapsluckor kring t.ex. effekterna av olika arbetssätt, betydelsen av olika typer av resurser, och hur klassammansättningen påverkar lärares arbete och elevers resultat.  För att gradvis bygga upp kunskapen är olika typer av studier av löpande verksamhet och mindre insatser och förändringar lika viktig som att studera stora reformers effekter. Därför är det angeläget att t.ex. statistikinsamling genomförs i syfte att möjliggöra även detta.

IFAU menar också att den distinktion som görs mellan forskning och utvärdering (s. 48) inte är självklar (vilket bland annat framgår av utredningens utförliga diskussion kring definitioner, traditioner och gränsdragningar), och inte heller nödvändig. Det viktiga är vilka studier som kan genomföras och genomförs, och vilken kunskap som kommer ur dessa – inte huruvida dessa ska klassas som forskning eller utvärdering.

IFAU menar att kvantitativa effektstudier på skolområdet idag är ett underdimensionerat och nedprioriterat område relativt andra inriktningar. Detta framgår t.ex. av Vetenskapsrådets sammanställning som visar att av de omkring 200 miljoner som årligen delas ut på det utbildningsvetenskapliga området, tillfaller endast 6-9 procent utvärderingar/kvant (Broady et al 2011).

Även om betänkandet redovisar en del av de styrkor som kvantitativa effektstudier har och den kompetens som finns i Sverige, är intrycket att hållningen är relativt skeptisk. Det är t.ex. noterbart att det finns en ganska detaljerad diskussion kring begränsningarna med effektutvärdering (s. 51–52), medan motsvarande kritik inte redovisas för andra ansatser. IFAU menar också att delar av kritiken är missvisande. Till exempel är det faktum att sammanhangen är komplexa och orsakskedjorna långa, rimligen inte ett skäl att avstå från att effektutvärdera. Det understryker snarare vikten av att på förhand utforma insatser så att de kan utvärderas samt att samla in detaljerad data. Det är också viktigt att påpeka att även studier som enbart avser vissa moment och steg i ett större sammanhang är värdefulla. Sådana partiella studier kan dels ge kunskapsbidrag för en övergripande utvärdering av en större reform, dels öka förståelsen för andra reformer/förslag med liknande innehåll.

IFAU:s uppfattning är att olika ansatser bidrar med olika typer av kunskap. När det gäller möjligheten att fastställa trovärdiga orsakssamband på ett vetenskapligt transparent sätt är dock kvantitativa effektutvärderingar helt nödvändiga.

När det gäller de mer konkreta förslagen vill IFAU (delvis utifrån ovanstående resonemang) lämna följande synpunkter:

• Det råd som föreslås bildas måste ha en tillräcklig representation av personer med kompetens och inriktning på kvantitativa utvärderingar. Genom att kvalitativa och processorienterade ansatser dominerat historiskt på utbildningsområdet (inom både forskning och förvaltning), finns en risk att kvantitativa och effektinriktade perspektiv fortsatt kommer i bakgrunden.
• Det verkar i grunden vara en bra idé att ta fram ett ramverk för utvärderingar av reformer, men som framförts ovan är det viktigt att inte missa behovet av löpande effektstudier.
• IFAU är mycket positivt till att genomföra utvärderingsbara försöksverksamheter, men vill också påpeka att det finns goda möjligheter att skapa förutsättningar för utvärdering också på annat sätt (t.ex. genom tydliga och transparenta regler för resurstilldelning).

Angående insamling av statistik – kopplingen lärare och elev

IFAU har som angivits ovan under utredningens arbete framfört synpunkter kring behoven av att samla in statistik för att möjliggöra studier av skolan. Här fokuserar vi på ett särskilt angeläget område – uppgifter som möjliggör koppling mellan lärare och elever.

Dessa uppgifter är av central betydelse för att kunna utvärdera de reformer och satsningar som riktas mot lärare, såsom karriärtjänster, lärarlegitimation, matematiklyftet, fortbildningsinsatser, etc. Sådana reformer påverkar inte alla lärare på en skola (i lika stor utsträckning), och det är därför nödvändigt att veta vilka elever som undervisats av lärare som omfattas av olika reformer – och vilka som inte gjort det – för att kunna utvärdera deras effekter.

Uppgifterna möjliggör (som delvis diskuteras i betänkandet) undersökningar av vilka läraregenskaper som är viktiga för elevernas resultat, t.ex. utbildning, lärarnas erfarenhet i yrket, typ av tjänst, lönenivå, etc. Dessutom kan informationen användas för att utreda vilken betydelse lärare har för elevers resultat överhuvudtaget.

Slutligen bör noteras att en insamling av kopplingen mellan lärare och elever dessutom oftast medför att kopplingen mellan elev och undervisningsgrupp också samlas in, eftersom det går att identifiera vilken grupp av elever som undervisas av samma (grupp av) lärare. Därmed kan en insamling av uppgifter om ansvarig/betygssättande lärare tillgodose två databehov samtidigt.

IFAU menar att värdet av dessa uppgifter är så stort att det bör motivera de kostnader det medför. Genomförda projekt har visat att det mycket väl går att samla in uppgifterna utan oöverstigliga kostnader (se t.ex. Grönqvist och Vlachos 2008). Vissa argument förefaller också (precis som när det gäller kritiken mot effektstudier) vara av karaktären ”det bästa blir det godas fiende”. Men även om det inte går att få ett perfekt mått på vilka elever som möter vilken personal i vilka årskurser och sammanhang, är vissa uppgifter i regel bättre än inga. 

I detta ärende har generaldirektören Olof Åslund beslutat. I den slutliga handläggningen har också docent Björn Öckert deltagit.