Samenvatting evaluatieonderzoek Subsidieregeling Nationaal Groeifonds

Rapport | 15-01-2025

Inhoud evaluatieplan

In het evaluatieplan van Dialogic staan:

• de kenmerken van de subsidieverleningen;
• kansrijke methoden voor evaluaties van deze projecten;
• inzichten in de beschikbare data;
• aanbevelingen voor de evaluatie van de overige 48 projecten, die via de departementale route vanuit het Nationaal Groeifonds worden ondersteund. 

De 2 NGF-subsidieprojecten

Het project Groeien met Groen Staal richt zich op het verduurzamen van de Nederlandse staalindustrie door tegen 2050 een CO₂-neutraal productieproces te realiseren. Het project kent een totaalbudget van 126 miljoen euro, waarvan 101 miljoen euro gefinancierd wordt vanuit het Nationaal Groeifonds. Via 5 werkpakketten en demonstrators worden oplossingen getest om emissies te verminderen en de overgang naar circulaire, groene staalproductie technisch en economisch haalbaar te maken. 

Het project Charging Energy Hubs heeft als doel de uitrol van oplaadinfrastructuur voor elektrische logistieke voertuigen te versnellen en zo de belasting op het elektriciteitsnetwerk te verlichten. Het project kent een totaalbudget van ruim 70 miljoen euro, waarvan 39 miljoen euro gefinancierd wordt vanuit het Nationaal Groeifonds. Door middel van 10 werkpakketten, waaronder de ontwikkeling van slimme energiesystemen en praktijktests op verschillende locaties, optimaliseert het project de integratie van oplaadinfrastructuur en hernieuwbare energiebronnen in Nederland.

Kansrijke methoden voor evaluaties

Dialogic concludeert dat voor het evalueren van de doeltreffendheid en doelmatigheid van de 2 projecten het beste een combinatie van de methoden ‘contribution analysis’ en ‘process tracing’ kan worden gebruikt. Binnen de contribution analysis wordt de opgestelde beleidstheorie Theory of Change (ToC) als basis genomen voor de uitvoering van de evaluatie. Hierbij worden 4 criteria getoetst: 

• Plausibility: is de ToC goed onderbouwd en uitgewerkt en daarmee geloofwaardig?
• Fidelity: worden de activiteiten daadwerkelijk uitgevoerd zoals beschreven in de ToC?
• Verified: het verzamelen van bewijs voor het wel/niet bestaan van causale relaties.
• Other influencing factors: andere factoren die mogelijk invloed hebben op de uitkomst.

Met process tracing kan worden getoetst of de geschetste causale relaties (Verified ToC) ook daadwerkelijk bestaan. Process tracing wordt concreet invulling gegeven door het ontwikkelen en toepassen van vier typen ‘process tracing testen’.

Deze gecombineerde aanpak is met name geschikt in een context met parallelle actielijnen en veel (verschillende typen) betrokken partijen en waarbij niet gewerkt kan worden met een experimentele groepen en controlegroepen en de beoogde uitkomst niet altijd duidelijk te kwantificeren is.

De evaluatiemethode toegepast op de 2 NGF-subsidieprojecten

Het onderzoeksbureau heeft voor de 2 subsidieprojecten een evaluatieraamwerk uitgewerkt, dat door toekomstige evaluatoren kan worden gebruikt. Dialogic doet de aanbeveling om duidelijke afspraken te maken met de uitvoerende consortia over de te verzamelen data die nodig zijn voor de evaluatie. Ook stellen zij voor om voor de start van de evaluatie tijdig in kaart te brengen welke data er (ook bijvoorbeeld op basis van openbare bronnen) beschikbaar zijn en het voorgestelde evaluatieraamwerk verder aan te scherpen. 

De beschreven evaluatiemethode is concreet uitgewerkt voor de 2 NGF-projecten Groeien met Groen Staal en Charging Energy Hubs. Voor ieder project zijn achtereenvolgens de 4 criteria uitgewerkt. Daarbij is ook in detail in kaart gebracht welke data beschikbaar zijn per onderdeel in de ToC. Vervolgens zijn er process tracing tests ontwikkeld voor alle impactpaden in de ToC. 

De doelmatigheid kan onderzocht worden door:

• eerst te kijken naar de uitvoeringsdoelmatigheid (subsidie, uitvoering en uitvoeringskosten, en administratieve lasten);
• dan te kijken de microdoelmatigheid (relatie opbrengsten op projectniveau zoals outputs en gemaakte kosten) en;
• tot slot  te kijken naar de macrodoelmatigheid (relatie outcomes en impact en gemaakte kosten). 

De evaluatieontwerpen sluiten af met een vooruitblik van wat mogelijk is in de evaluaties van het Nationaal Groeifonds in 2026 en daarna. Een belangrijk element is dat er beperkingen ontstaan door het moment van de evaluatie. In 2026 zijn de projecten nog in volle gang en hebben nog niet alle outcomes en impacts de kans gehad om zich te manifesteren.

Specifieke aanbevelingen voor Groeien met Groen Staal en Charging Energy Hubs

• Ga als de Rijksdienst voor Ondernemend Nederland (RVO) en consortia in gesprek over de benoemde indicatoren in het projectplan, en maak duidelijke afspraken (bij voorkeur per indicator) over of en hoe deze verzameld gaan worden en hoe hierover gerapporteerd gaat worden in de voortgangsrapportages; 
• Voer als ministerie van Economische Zaken (EZ) (en RVO) voorafgaand aan de evaluaties een data assessment uit, en houd er als toekomstige evaluatoren rekening mee dat er (op delen van) het hier gepresenteerde voorstel voor een evaluatieontwerp een plan B voor dataverzameling ontwikkeld moet worden; 
• Probeer als toekomstige evaluatoren (en eventueel als EZ en RVO) de gepresenteerde process tracing testen te verbeteren met als doel het verder verstevigen van de robuustheid van het evaluatieontwerp.

Algemene aanbevelingen voor evaluatie 48 departementale projecten

Dialogic heeft op basis van dit onderzoek ook een paar aanbevelingen voor de evaluatie van 48 departementale NGF-projecten. Deze projecten worden afzonderlijk door de verantwoordelijke departementen geëvalueerd. Dit zijn hun aanbevelingen:

• Maak ook voor deze evaluaties gebruik van de methoden ‘contribution analysis’ en ‘process tracing’. Als departement, scherp waar nodig op tijd de beleidstheorie (ToC) van deze projecten aan en ga na welke relevante databronnen gebruikt kunnen worden. NGF-projecten kunnen groot en complex zijn en projecten kunnen op bepaalde onderdelen mogelijk positiever worden geëvalueerd dan op andere onderdelen. Als toekomstige evaluator, trek daarom genuanceerde conclusies over de doelmatigheid en doeltreffendheid van de NGF-projecten als geheel. 
• Houd er bij evaluaties rekening mee dat het alleen evalueren van toegekende NGF-middelen mogelijk niet een volledig beeld geeft van de totale impact van het Nationaal Groeifonds. Het zou bijvoorbeeld kunnen dat niet-gehonoreerde projectvoorstellen door ‘de kans op subsidie’ wel ontwikkeld zijn, relevante partijen bij elkaar heeft gebracht, en mogelijk later ook (eventueel in lichtere vorm) uitgevoerd zijn zonder bijdrage van het Nationaal Groeifonds. 

Meer weten?

Wilt u het volledige rapport ‘Evaluatieonderzoek subsidieregeling Nationaal Groeifonds’ ontvangen? Neem dan contact met ons op via ngf@rvo.nl.