17 oktober 2022

En modell för att mäta och belöna progression inom sfi (SOU 2022:17)

Diarienummer: DNR 121/2022
Remisställare:

u.remissvar@regeringskansliet.se 

IFAU har läst utredningen med utgångspunkt i vårt uppdrag att följa upp och utvärdera arbetsmarknads- och utbildningspolitik samt arbetsmarknadseffekter av socialförsäkringen.

Utredningen lägger en lång rad detaljerade förslag. Vi konstaterar att ett eventuellt genomförande av ett försök för att mäta och belöna progression inom sfi ändå kommer kräva mer förberedelser. IFAU har en positiv grundhållning, men vi väljer att inte kommentera alla förslag, exempelvis dem som är av mer teknisk natur eller rör rent administrativa lösningar.

Sammanfattning

  • IFAU är i grunden positivt till utredningens förslag att införa ett obligatoriskt och delvis automatiserat system för att mäta sfi-elevers lärande (s. 110).
  • IFAU är positivt till att försöksverksamheten för progressionstestet ska utvärderas ur flera perspektiv (s. 137).
  • IFAU är positivt till att kunskaper inom sfi kopplas till en modell för prestationsbaserad ersättning till utbildningsanordnaren och tycker att även den prestationsbaserade ersättningen behöver följas upp och utvärderas i det första skedet (s. 176ff).
  • IFAU håller med om att förslaget att rektor ska kunna undanta elev från att genomföra hela eller delar av testet kan skapa incitament att agera på ett sätt som motverkar systemets syfte. Tydliga kriterier och kontrollfunktioner är nödvändiga (s. 176).
  • IFAU är positivt till att tillsammans med SCB ta fram exakt specifikation för mervärdesmodell (s. 211), samt att ta fram en exakt utvärderingsdesign och planera försöksverksamhet (s. 218).
  • IFAU kan inte vara den organisation som praktisk ansvarar för att implementera försöket och hantera de problem som kan uppstå.
  • För att förbereda och genomföra föreslagna utvärderingar behöver IFAU resurstillskott åtminstone motsvarande vad som anges i betänkandet. I annat fall kommer ett sådant uppdrag tränga undan annan viktig verksamhet. (s. 125, s. 232)

Nedan följer mer detaljerade kommentarer.

Bakgrund – vikten av språkundervisning

IFAU är i grunden positivt till utredningens förslag. Välfungerande språkundervisning är viktig för att underlätta etablering och integration. Bristande resultat i sfi under lång tid indikerar att det finns möjligheter till förbättringar. Det är därför särskilt angeläget att förstå hur olika åtgärder kan påverka lärprocessen och studieresultaten.

Många aktörer – vikten av samordning

Vi noterar att betänkandet skisserar ett detaljerat upplägg med många aktörer. Tidigare erfarenheter av större reformer på integrationsområdet pekar på att det finns betydande risker för implementerings- och samverkansproblem.

Ansvaret för praktiska frågor relativt huvudmän, utbildningsanordnare och elever behöver klargöras. IFAU har inte kompetens eller resurser för detta och är inte en lämplig mottagare av ett sådant uppdrag. Men det är inte heller uppenbart att det föreslagna bedömningscentret (eller SCB) med automatik får denna kapacitet.

Förutsättningarna för utvärdering

Utredningens förslag innebär att progressionstestet och lärverktyget ska utvärderas inom ramen för en försöksverksamhet. Den prestationsbaserade ersättningen ingår inte i denna utvärdering, utan ska istället följas upp och utvärderas efter fullskalig implementering.

IFAU förstår skälen till utredningens avvägningar, men vill påpeka att en trovärdig utvärdering även av den sistnämnda komponenten i systemet är viktig. Det finns anledning att tro ersättningssystemet kan komma att kritiseras t.ex. utifrån rättviseskäl eller hur det fungerar i praktiken. Då är det angeläget att veta om det har önskvärda effekter på utbildningsanordnare och i förlängningen elevers resultat.

Förslagen innebär omfattande samverkan mellan bedömningscentrum, SCB och IFAU. Beskrivningen av ansvarsfördelningen betonar behovet av dialog för att tillvarata synergieffekter. Det är också viktigt att redan i uppdragsformuleringar tillgodose behov av flexibilitet och rättigheter/skyldigheter. Flexibilitet innebär t.ex. möjligheter att justera uppdrag och återrapporteringar om (när) det visar sig att implementeringen inte följt de ursprungliga planerna.

Rättigheter och skyldigheter berör t.ex. rätten att få tillgång till forskningsdata eller förutsättningarna för att publicera resultat enskilt vid oenighet. Det gäller också skyldighet att t.ex. följa utvärderingsplaner som utformas inom ramen för försöket, och rätten att avstå från utvärdering om förutsättningarna inte uppfylls.

Erfarenheter från tidigare reformer

Betänkandets förslag innebär förändringar för elever, lärare och anordnare. Förslagen involverar också ett stort antal övriga aktörer (illustreras t.ex. av figuren på s. 226). Tidigare reformer på integrationsområdet indikerar vissa erfarenheter som kan vara relevanta även här:

  • Kraven på samverkan mellan kommun och utbildningsanordnare i och med nya lärverktyg och obligatoriska tester.
    Försöksverksamheten med Etableringssamtal (2009–2010) pekar på att lokal samverkan kan fungera väl, men att konsekvenserna kan bli stora när det inte fungerar (Liljeberg och Sibbmark 2011).
  • Betydelsen av ekonomiska incitament.
    Systemet med etableringslotsar innehöll betydande prestationsbaserade inslag för utförarna. Trots det var det få företag som utmärkte sig genom goda resultat (Sibbmark, Söderström och Åslund 2016).
    Liknande lärdomar kan dras från en försöksverksamhet med privat arbetsförmedling, även om företag som fick betalt efter resultat lyckades något bättre med att hitta jobb till utrikesfödda arbetssökande (Bennmarker, Grönqvist och Öckert 2009). Individuell prestationsbaserad Sfi-bonus hade positiva effekter framför allt för studerande med goda förutsättningar att lära sig svenska språket och nå målen (Engdahl och Åslund 2012).
  • Särskilda förutsättningar utifrån målgruppen.
    Risken för oegentligheter och problem kan vara större när deltagarna har begränsad kunskap om samhället och det svenska språket. Även om systemet inte innebär valfrihet och etableringsfrihet på samma sätt som t.ex. etableringslotsarna, är det viktigt att ha en struktur för kontroll så att deltagarnas intressen tillgodoses och målen med insatserna inte undermineras.
    Det är lätt att instämma i betänkandets påpekande att särskild hänsyn behöver tas till studerande på studieväg 1. Deras behov av förbättrade kunskaper är särskilt stora och dessa elever riskerar en betydande del av åtgärdernas förväntade effekt att utebli om det visar sig att det är svårt att utforma tester och verktyg på ett sätt som fungerar även för denna grupp.
  • En återkommande erfarenhet är att reformer i allmänhet (och försöksverksamheter i synnerhet) är beroende av att alla berörda parter accepterar förutsättningar och upplägg.
    Det är från betänkandet tydligt att förslagen kan uppfattas som komplicerade och för vissa aktörer kanske inte ändamålsenliga. Vid implementering är det viktigt att försöka minimera dessa risker, men också ha en plan för att hantera praktiska invändningar och problem. Som framgår av sammanfattningen är IFAU inte en lämplig mottagare av ett sådant uppdrag.

Övriga synpunkter

Utredningen framhåller att det saknas ett oberoende och likvärdigt mått på språkkunskaper inom sfi och att det råder brist på tillförlitlig statistik. Det är dock inte uppenbart att denna brist är större inom sfi än inom andra utbildningsformer. Sfi omfattar obligatoriska nationella prov vid examination på olika nivåer och statistik över deltagande och slutförande publiceras löpande. Syftet med att införa ett utökat system för sfi är därför snarare att området ses som särskilt angeläget. Erfarenheterna av lärverktyg och progressionstest kan också vara relevanta för andra sammanhang.

Rektor ska enligt betänkandet ha möjlighet att undanta elever från krav på att genomföra tester. I ett system med prestationsbaserad ersättning kan detta (som utredningen diskuterar) skapa incitament att agera på ett sätt som motverkar systemets syfte. Tydliga kriterier och kontrollfunktioner är därför nödvändiga.

 

I detta ärende har generaldirektören Maria Hemström Hemmingsson beslutat. Olof Åslund har varit föredragande. I den slutliga handläggningen har också Björn Öckert deltagit.

 

Referenser

Bennmarker, H., E. Grönqvist och B. Öckert (2009), Betalt efter resultat - utvärdering av försöksverksamhet med privata arbetsförmedlingar, IFAU rapport 2009:23.

Engdahl, M. och O. Åslund (2012), Ekonomiska drivkrafter och studieresultat – effekter av Sfi-bonus, IFAU rapport 2012:27.

Liljeberg, L. och K. Sibbmark (2011), Uppföljning av etableringssamtal, IFAU rapport 2011:28.

Sibbmark, K., M. Söderström och O. Åslund, (2016), Marknadsmekanismer i teori och praktik – erfarenheter från etableringslotsarna, IFAU rapport 2016:19.