met het oog op effectieve wet en regelgeving Carolien Klein Haarhuis WODC 23 april 2014 Kort iets over het WODC Wetenschappelijk onderzoek en documentatiecentrum van het ministerie van ID: 330744
Download Presentation The PPT/PDF document "Welke lessen kunnen we trekken uit evalu..." is the property of its rightful owner. Permission is granted to download and print the materials on this web site for personal, non-commercial use only, and to display it on your personal computer provided you do not modify the materials and that you retain all copyright notices contained in the materials. By downloading content from our website, you accept the terms of this agreement.
Slide1
Welke lessen kunnen we trekken uit evaluaties...
...met het oog op effectieve wet- en regelgeving?
Carolien Klein HaarhuisWODC
23 april 2014Slide2
Kort iets over het WODC
Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie
www.wodc.nlSemi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma)
Meer dan de helft wordt door WODC weer uitbesteed
Ruim 100 werknemers
Jaarlijks ruim
100 rapporten en evenzoveel artikelen (50% peer reviewed) Tijdschrift Justitiële Verkenningen (JV)WODC-Infodesk: bijna 500 informatievragen Jaarlijks enkele honderdduizenden unieke bezoeken websiteSlide3
Wetgeving in NederlandVastleggen van instituties, bevoegdheden, geldstromen
Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid, proportionaliteit)
Instrumentele doelen (bijv. meer aanbod van donororganen bewerkstelligen)De meeste wetten zijn complex van samenstellingBehelzen niet één, maar meerdere ‘interventies’ – o.a. concrete verplichtingen/verboden, sancties, kaders, subsidies...
Vaak meerdere normaddressaten
Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers
Bijv. Awgb, Wod, Wet Tweede Fase
3Slide4
Voorbeeld van complexe wet: Wet Tweede Fase
Uiteenlopende instrumenten:
VakkenprofielenNieuwe examenprogramma’sZelfstandig leren
Meer loopbaanori
ë
ntatie, etc.
3 doelen: Modernisering onderwijsprogramma bovenbouwAansluiting Middelbaar (HAVO / VWO) met Hoger Onderwijs verbeteren Meer autonomie school in keuze werkvormenSlide5
Wetgeving in Nederland: een paar cijfers
Medio april 2014:
1.958 wetten in werking 2.257 AMVB’s 5.278 Ministeriёle regelingen ‘Het totale aantal regelingen is tussen 2005-2013 stabiel gebleven’ (Brief minister aan TK, 12 september 2013)Slide6
Waarom evalueren?
Complexe wetgeving & complexe praktijk
Leren (wat kan beter?
)
Transparantie, verantwoording afleggen
Wet van de afnemende meeropbrengsten van beleid / wetgeving (meer van hetzelfde is niet altijd beter)
Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep-verhalen’Andere (politieke) doelen: Uitstel van besluitvorming – of juist doorduwen‘Munitie’ in het debat Verdediging van gemaakte beleidskeuzes
...Slide7
Soorten evaluatie
Ex ante
: toekomstgericht / beleidsvoorbereiding Ex post: terugkijkendEx durante
: gaandeweg (leren)
Procesevaluatie
: proces van in (en uit-)voering
Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten Monitoren: maatschappelijke (doel)indicatorenMeta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragenSlide8
Effectiviteitsevaluatie: twee benaderingen
Campbell (
Collaboration) De experimentele invalshoek. Wat werkt?Test beleid
en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld
Attributief
: zijn
veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven? Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997) Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je
gemengde
uitkomsten?
Contributief
:
hoe werken interventies (in wetten) welke mechanismen (M)
triggeren
uitkomsten (O)
en onder
welke condities (C) gebeurt dat?
C-M-O heuristiek
Mechanismen vaak
verborgen (bijv. zwaartekracht, psychologische processen,
afwegingen
door mensen, groepsprocessen)
8Slide9
Experimenteel design à la Campbell
T0
e X
T1
e
T0c … T1c Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep. Slide10
Realist
evaluation (CMO):
HOE werken wetten? .-
C
ONTEXT
Factoren die de werking van de wet beïnvloeden
Bijv. kenmerken doelgroepen of economische factoren
M
ECHANISMEN
-
(Beoogde) Keten van gedragsreacties
-
L
angs
welke schakels?
Wet
O
utcomeSlide11
Synthese wetsevaluaties (WODC, 2008)
Hoe staat het met de
onderzoekstechnische kwaliteit van wetsevaluaties? Wat leren we over de aard en werking van de ge
ëvalueerde
wetten
? Welke typen interventies bevatten wetten? Doelbereiking/ effectiviteit? Tussengelegen processen? Invloeden vanuit de context? Slide12
Nederlandse wetten: typen interventies
‘Bestuursinstrumenten’:
80% (kaders, instructies) Voorbeeld: Wet op de Basisvorming
Juridische interventies: Handhaving: 59
%. Vooral richting burgers en bedrijven.
Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet Financiёle prikkels: 10%. Vooral voor burgers en bedrijven Voorbeeld: Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars Slide13
Doelbereiking
41 uit 58: ‘middelmatig’
11: relatief hoog 6: relatief gering
Meeste doelbereiking in geval van:
Wetten die louter uitvoerders adresseren
Kwaliteit van proces van invoering en uitvoering/handhaving
Meer tijdsverloop tussen invoering en evaluatie Ambitieniveau Slide14
C-M-O in de evaluatiepraktijk ...
Veel beschrijvingen van het implementatieproces (de invoering en deels de tenuitvoerlegging) Relatief veel over Uitkomsten (O)
... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking
op de doelgroep
Bijv.
HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering?Gefragmenteerde informatie over Contexten (C) Slide15
Beoogde werking in wetten
Institutionele mechanismen
, gericht op organisaties met publieke taak Zelfsturing,
checks and balances, integrale aanpak, regierol, organisatorische ingrepen, versobering en transparantie
Sociale mechanismen
,
gericht op burgers en bedrijvenRechtshandhaving, rechtsbescherming, financiële prikkels, communicatieSlide16
Werkingsprocessen in werkelijkheid
Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed
De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011)
Autonomie en maatwerk lieten te wensen
over;
personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling)
Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetredenSlide17
Voorbeeld:
rechtshandhaving in theorie
Een afdwingbaar ge- of verbod (interventie)bijv. met sancties (straf- /bestuursrechtelijk)
of via de civiele rechter
Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M)
En zo ongewenst gedrag voorkómen of terugdringen (O)
Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsenSlide18
Rechtshandhaving: de werkelijkheid
Sancties worden in de praktijk nauwelijks opgelegd
controle- en detectiekansen zijn klein Preventieve werking is gefragmenteerd: hier wel, daar niet
Niettemin is veel naleving bereikt
Hoe dit laatste te verklaren? Slide19
Werking in de praktijk: andere voorbeelden
WMCZ: erosie van bestaande medezeggenschapstructuren
‘crowding out’ Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met:
Consultatie Inzet van toezichts- en handhavingsbevoegdheden
Nalevingsgerichte handhaving
Naleving
19Slide20
Context
Omgevingscondities die het slagen of falen van wetten be
ïnvloedenWerkelijkheid:
Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen
Grote instellingen en bedrijven ’doen het beter’
Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’Slide21
Voorbeeld: Basisvorming
Bestuurlijke context
Andere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis) Schoolbesturen en leraren zijn overbelast, er is (te) weinig capaciteit voor uitvoering
Schoolcontext
Verschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken
Individuele contextKwaliteitsbewustzijn bij leraren maakt verschil Slide22
Context in de praktijk op 3 niveaus
Macro:
samenleving/economie, wetten & regels Groei, afname, fusies Aanpalende wetten en regels, EU-regelgeving
Meso
:
organisaties & netwerken
Omvang organisaties‘Bestuurscultuur’ Micro: individuen, gevallen Startniveau (bijv. nieuwkomers, scholieren, leraren) Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijfSlide23
Context (het veld) uiterst divers, zo ook werking en doelbereiking
Wet/ interventie
Doel Slide24
Aannames die zijn uitgedaagd
Wet = naleving
Wetten leiden tot Weten…...en Weten leidt tot Doen
Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking
Normadressanten maken kosten-batenafwegingen
& handelen
daar ook naar, bijv. Calculeren detectie-, pak- en sanctiekans Zijn gevoelig voor financiële prikkelsMensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan Regelgeving werkt overal op dezelfde manier / in dezelfde mate De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend Slide25
Mechanismen van menselijk gedrag
....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73)
Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future Sociale druk, imitatie, group
think, gewoonte
Verliesaversie
Angstreductie
Padafhankelijkheid, reductie van cognitieve dissonantie Informatiereductie Respect 25Slide26
Naar Evidence Based wetgeving?
Voor beleid & onderzoek
Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en onder welke condities? Voor beleid Oog voor de (o.a. sociale, economische en
capacitaire) context bij de keuze &
implementatie van interventies
Oog voor
‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag doelgroepen (in de VS:) vereenvoudiging van (communicatie van) regels, ‘default’ regels, aanhaken op saillante voorbeelden in campagnesInzet en gebruik van ex ante onderzoek Slide27
Ex ante onderzoek
Steeds meer aandacht voor effectief beleid Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg)
Inmiddels vele toetsen Kaders: RPE ( Rbv 2008) en IAK (2011)
Wetenschappelijke inzichten over (verplicht) ex ante onderzoekNederland
EU
27Slide28
Uitvoerders
28Slide29
Stadium van beleid & onderzochte alternatieven
Hoe verder de planvorming, hoe minder mogelijke doorwerking
Stadium niet exact te bepalen o.b.v. de rapporten 85% vond plaats voorafgaand aan de besluitvormingDaarvan ogenschijnlijk het meeste ‘ergens halverwege’ het ontwikkelingstraject
15% na nemen besluit verrichtDeels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven
Gemiddeld zijn 3,4 alternatieven bestudeerd
Afhankelijk van opdrachtgever
en uitvoerder Na besluitvorming toch nog 1,8 opties 29Slide30
Typen studies
30Slide31
Uitgelicht: (M)KBA’s
Verschillende doelen en alternatieven samenbrengen
in één analyse Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten In MKBA ook maatschappelijke kosten en baten verdisconteerd Zo mogelijk in geld uitgedrukt (gemonetariseerd) Uitmondend in een saldo
Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses)
31Slide32
Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof
Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie)
Directe, indirecte en externe effecten vertaald naar kosten en batenDirect: kosten en baten voor de (a.s.) moeders, werkgevers, overheid Indirect: o.a. uitstel van kinderopvanggebruik Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode
Ervaringscijfers: literatuuronderzoek (buitenland)
Uitdrukken in eenheden
, volume, monetaire eenheden
(waarderingsmethode)Conclusie: negatief maatschappelijk saldo Bandbreedte wel groot Effecten uitsplitsen naar actoren Aanknopingspunten voor beleidsoptimalisatie32Slide33
Uitgelicht: Ex ante evaluaties van potentiële effectiviteit
Kan het doel met voorziene instrumentarium cq. alternatieven bereikt worden?
Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt? In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses)Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor
Beleidswetenschappelijke methode
‘Arenamodel’
33Slide34
Gebruik van ex ante onderzoek in de praktijk
Redelijke mate van
kennisname door bijv. Kamerleden, bewindspersonen, het veld Wisselende mate van standpuntbeïnvloeding
/ discussieSoms kwam de ex ante studie daarvoor te laat
Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel het SP- als het VVD-standpunt te onderbouwen
(Enige)
doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van: Nieuwe minister, van een andere partijVal van het kabinet-Rutte I
34Slide35
Wat verklaart gebruik van ex ante onderzoek?
Besluitvormingscontext
Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboekTiming
Beleidscyclus
≠
looptijd onderzoek
Contact ‘opdrachtgever- opdrachtnemer’ bijv. in begeleidingsscommissie of klankbordgroep Evaluatiekwaliteit Begrijpelijkheid en verspreiding Slide36
Vragen
Eigen ervaringen / praktijken met ex ante en ex post evaluatie?
IAK? Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan? Wat voor (soort) vragen zouden dan vooral gesteld moeten worden?
Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg?
Wat zijn redenen om
niet
tot evaluatie over te gaan? 36Slide37
Contact
c.m.klein@minvenj.nl 06 46891751
37