Het effect vaststellen van je interventie, kan met een experimenteel onderzoek. Hierbij kijk je door middel van twee groepen of je interventie of activiteit werkt. De ene groep krijgt de interventie (experimentele groep) en een soortgelijke groep krijgt de interventie niet (controle groep). Je bekijkt dan de verschillen tussen de twee groepen. Je kunt ook kijken naar verschillen voor en na ‘het experiment’: je interventie of activiteit. Je kunt dit ook combineren. Wij leggen je uit hoe je een experimenteel onderzoek kunt inzetten.
Voordat je je interventie of activiteit gaat uitvoeren wil je weten wat je nulpunt is. Je wilt weten wat de houding of stand van zaken tot nu toe is. Je doet dan een nulmeting: een onderzoek om erachter te komen waar je doelgroep op dat moment staat.
Nadat je je interventie of activiteit hebt doorgevoerd ga je een nameting uitvoeren. Hoe denken mensen er nu over. Deze resultaten vergelijk je met de data die je hebt verzameld bij de nulmeting. Hierdoor zie je het effect van de manipulatie.
Je kunt er zelfs voor kiezen om twee nametingen te doen: één vlak na de interventie en één een half jaar later. Hiermee breng je het korte termijn en het lange termijn in beeld.
De doelgroep wordt in twee groepen verdeeld, een experimentele- en controlegroep. De experimentele groep neemt deel aan het experiment: je interventie of activiteit. En de controlegroep niet of gebruikt de oude dienstverlening/product. Je kunt ook kijken of je naast je doelgroep, die volledig deelneemt aan je interventie of activiteit, een soortgelijke groep kunt vinden voor je onderzoek. Door na de interventie of activiteit de twee groepen te vergelijken zie je het effect van ’je experiment’.
Door de voor- en nameting van de experimentele en controlegroep met elkaar te vergelijken, krijg je een duidelijk beeld van de effecten van je interventie. Op basis hiervan kun je het besluit nemen om door te gaan met het oude of juist te gaan voor het nieuwe. Tevens kan je ervoor kiezen om het nieuwe verder te ontwikkelen.
Heb je hulp nodig bij het opzetten van een experimenteel onderzoek? Wij denken graag met je mee over een effectmeting door middel van een experimenteel onderzoek.
Je bent enthousiast een project gestart en dat loopt enige tijd. Je begint nieuwsgierig te worden naar de effecten. Kom je dichterbij het doel dat je in het begin hebt geformuleerd? Tijd voor een effectmeting dus. Maar je hebt geen nulmeting gedaan. Kun je dan nog steeds de effecten vast stellen?
Als je steeds nieuwe mensen bereikt, kun je een nulmeting houden onder je doelgroep voordat zij voor de eerste keer meedoen. Als dat niet het geval is, wordt wel lastiger en minder nauwkeurig. Je hebt ten slotte de startsituatie niet vastgelegd. Maar het kan nog steeds. Je spreekt in de regel dan van een impactmeting.
Bij een impactmeting achterhaal je de impact die je project (of beleid) heeft gehad op je doelgroep. Het gaat hierbij om subjectieve waarnemingen van je doelgroep en wat heeft het voor hen te weeg gebracht.
Bij een impactmeting kun je op verschillende manieren te werk gaan. Allereerst kun je een documentstudie doen. Wat is er bekend over de impact? In jaarverslagen staan vaak bereikcijfers, in verslagen van vergaderingen en tussentijdse evaluaties kan informatie staan over de betekenis van het project op je doelgroep.
Daarnaast kun je je doelgroep en je samenwerkingspartners vragen naar hun ervaring en mening vragen. Wat zien zij gebeuren? Wat heeft het project betekent? Deel de impact hierbij op in kleinere delen, waardoor het behapbaar is voor je gesprekspartner. Als je voldoende mensen vraagt, krijg je een duidelijk beeld over wat jouw project heeft betekent.
Als je wilt weten of het werkt wat je doet, moet je dit toetsen. Zonder dit te toetsen blijft het raden. Je kunt een goede schatting making omdat je je project hebt gebaseerd op ervaring, kennis en peilers waarvan bekend is dat het werkt. Maar heb je de juiste mix gevonden? Tien punten waarmee je rekening moet houden bij het toetsen of je project, evenement, beleid, activiteit, programma het gewenste effect heeft.
1. Houd voor ogen wat je doel is van je project, evenement, beleid, activiteit, programma. Discussieer hier met collega’s over. Wil je dat kinderen iets leren? Mensen ander gedrag vertonen? Wil keuzen beïnvloeden? Definieer dit zo exact mogelijk. Dit helpt je bij het formuleren van je onderzoeksvragen.
Bedenk vooraf wat je gaat doen met de resultaten van het onderzoek. Wil je het project bijsturen? Ben je bereid ermee te stoppen als het blijkt niet te werken? Neem dit mee bij het formuleren van je onderzoeksvragen want het geeft aan wat voor soort antwoorden je wilt hebben na afloop.
2. Het doel en dus het gewenst effect staan centraal in je onderzoeksvraag en je onderzoek.
3. Formuleer een hoofdvraag en splits deze uit naar deelvragen. Hoe exacter je onderzoeksvraag is geformuleerd, des te gemakkelijker is het om je deelvragen te formuleren. En des te gemakkelijker wordt het om je onderzoeksinstrumenten te formuleren.
4. Het doel en dus het gewenst effect staan ook centraal bij de keuze van je onderzoekmethoden. Kies een manier van dataverzameling die past bij je doel en het gewenste effect. Als je bijvoorbeeld de houding van leerlingen tussen 10 en 14 wilt beïnvloeden, kun je denken aan een vragenlijst die je breed uitzet in het basis- en voortgezet onderwijs. Als je wilt dat mensen meer gaan bewegen, kun je ze beweegdagboeken bij laten houden.
Let hierbij ook op de doelgroep die je gaat bevragen. Veel ouderen zullen moeilijker benaderbaar zijn op internet.
5. Door vooraf een nulmeting te doen kun je de effecten preciezer in kaart brengen. Je kent je startsituatie. Je kunt je effectmeting op korte termijn en op langere termijn vergelijken met de nulmeting. Door te vergelijken kun je effecten van het project, evenement, beleid, activiteit, programma vast stellen en kijken of je dichter bij je doel komt.
6. Denk na over andere factoren die invloed hebben op je doel. Hoe kun je deze invloeden uit je metingen filteren? Je wilt tenslotte de effecten van jouw project vastleggen en weten of wat het effect daar van is. Is het bijvoorbeeld nodig dat je een ook bij een controlegroep meet?
7. Zorg voor een representatief aantal mensen uit je doelgroep die mee willen werken aan het onderzoek. Dit betekent dat mensen met verschillende achtergrondkenmerken vertegenwoordigd zijn, zoals mannen en vrouwen, verschillende leeftijdsgroepen, etc.
8. Laat je niet afleiden door andere vragen die interessant zijn. Vragenlijsten en gespreksprotocollen worden te lang. Je databestand raakt bevuilt. Mensen haken sneller af en de kans is groot dat hierdoor met een onrepresentatief aantal respondenten achter blijft en een wirwar aan data.
9. Grijp bij de analyse van je gegevens weer terug naar je vooraf geformuleerde onderzoeksvraag en deelvragen.
10. Werk gestructureerd, zodat het onderzoek één geheel blijft en de gevonden antwoorden aansluiten op je onderzoeksvragen.
Met een nulmeting wordt de startpositie bepaald van een project, nieuw beleid, campagne of verandertraject. Op deze manier kun je meten wat de huidige stand van zaken is en deze later combineren met een volgende meting om het effect vast te stellen. Er een aantal redenen om een nulmeting uit te laten voeren. Door een nulmeting te doen, kun je namelijk:
Een nulmeting is dus in veel gevallen goed om te doen wanneer je iets nieuws gaat beginnen. Het geeft je veel informatie die je later kunt gebruiken. Je krijgt door een nulmeting meer inzicht in je project en het bereik van je doelen die je eerder hebt opgesteld.
Ga je een nieuw project of nieuw beleid uitvoeren en wil je daarvan de effecten meten. Wij denken graag met je mee over de mogelijkheden.
Interessante linkjes naar blogs over het meten van effecten:
Evalueren-om-je-project-te-verbeteren
Monitoren en evalueren: Wat is wat?
