Het eerste dat je doet als als je een onderzoek gaat uitvoeren is het doel van het onderzoek en de juiste onderzoeksvraag formuleren. Het doel van het onderzoek en de onderzoeksvraag geven namelijk aan hoe de verdere opzet van het onderzoek eruit zal zien. En een goede onderzoeksvraag zorgt ervoor dat je aan het eind van het onderzoek de juiste informatie in handen hebt waarmee je actie kunt ondernemen. De onderzoeksvraag formuleer je in vijf stappen:
De eerste stap om tot een juiste onderzoeksvraag te komen is het formuleren van het onderzoeksdoel door middel van het beantwoorden van de vraag ‘waarom wil je een onderzoek uitvoeren?’ Het beantwoorden van deze vraag geeft je een beeld van het soort onderzoeksvraag dat je gaat stellen, welke informatie en welke antwoorden je nodig hebt. Wil je een project of proces verbeteren of wil je je project verantwoorden? Bij beide doelen ga je evalueren, maar de antwoorden die je na afloop wilt zijn heel anders. Verbeterpunten versus aangetoonde effecten.
Aan de hand van je doel (stap 1) kun je bepalen welke informatie je nodig hebt om aan dit doel te voldoen. Wat moet je weten om je doel te bereiken? Wil je je doelbereik verbeteren? Dan heb je informatie nodig in de vorm van verbeterpunten (wat gaat er goed en wat kan beter?) Is het doel om je project te legitimeren voor financiers? Dan heb je informatie nodig in de vorm van effecten van het project. Wil je een betere afstemming met de doelgroep en is dit het doel van je onderzoek? Dan heb je informatie nodig in de vorm van kenmerken, wensen en behoeften van de doelgroep. Stel jezelf steeds de vraag; wat ga ik straks doen met deze informatie? Hiermee kun je prioriteiten aanbrengen.
Aan de hand van je onderzoeksdoel en de concrete beschrijving van je informatiebehoefte kun je de onderzoeksvraag of -vragen opstellen. Formuleer deze vragen zo exact mogelijk. Bedenk bij het formuleren van de vragen dat jijzelf of een onderzoeker straks antwoord gaat geven op deze vragen. Kun je met behulp van de antwoorden op de onderzoeksvraag je onderzoeksdoel bereiken? Kun je vervolgactie ondernemen als je antwoord krijgt op deze vragen?
Aan een onderzoek zitten over het algemeen verschillende randvoorwaarden . Het is belangrijk om hier in de fase van het formuleren van de onderzoeksvraag al inzicht in te krijgen. Randvoorwaarden waar je rekening mee moet houden zijn bijvoorbeeld tijd, budget, beschikbaarheid van bepaalde gegevens, privacy regels, etc.
De resultaten van een onderzoek kunnen verschillende vormen aannemen:
Onderzoeksresultaten kunnen in verschillende vormen opgeleverd worden: een rapport, een factsheet, een dashboard, een boek, een filmpje, een artikel, een discussiebijeenkomst, een presentatie, een website, een PowerPointpresentatie, een infographic, een animatie, een tijdschrift, een flyer, etc. Bedenk nu vast wat je daarin wilt communiceren en met wie. Welke vorm gaat je daarbij helpen. Effecten, argumenten of verbeterpunten. Maak vooraf een voorstelling van wat je op het einde van het onderzoek zou willen krijgen en of je daar je voorgenomen actie mee kunt ondernemen (anderen overtuigen, beleid of projecten verbeteren, een beslissing nemen).
Click on the flag to read this article in English
Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?
Na het formuleren van je doelen, ontwerpen van het onderzoeksinstrument en het verzamelen van informatie is het tijd om de data te analyseren en te rapporteren. Een aantal dingen waarmee je rekening moet houden bij het analyseren en het rapporteren van je onderzoek:
Als je een vragenlijst als meetinstrument gebruikt om je onderzoeksvragen te beantwoorden, is het belangrijk dat je iets kunt met de uitkomsten van de vragenlijst. De kwaliteit van de vragenlijst bepaalt de kwaliteit van de verzamelde data. Het goed formuleren van enquêtevragen is daarom belangrijk. Ik geef je een aantal tips/vuistregels die je helpen om goede vragen te formuleren:
Voor organisaties binnen dezelfde branche met vergelijkbare activiteiten (bijvoorbeeld musea of toneelgezelschappen) is het interessant om de kwaliteit van deze activiteiten met elkaar te vergelijken door middel van een benchmark. Hierdoor kun je van elkaar leren: Wat lukt de één wel en de ander niet? Daarnaast bepaal je gezamenlijk wat de criteria voor kwaliteit van jullie activiteiten bepaald; bijvoorbeeld een verandering in houding, bijdrage aan de creativiteit. Hiermee breng je een eenduidig en duidelijk geluid naar buiten over de kwaliteit die je biedt naar subsidiegevers en je publiek.
Een benchmark is een vergelijkend onderzoek waarbij de prestaties van organisaties, producten, diensten of programma’s op identieke wijze worden onderzocht en met elkaar worden vergeleken. Hoe de benchmark precies wordt ingericht is afhankelijk van de kwaliteitscriteria die gemeten worden. Als dit is vastgesteld worden alle organisaties, diensten, producten, activiteiten, programma’s op dezelfde manier gemeten en langs dezelfde meetlat gelegd.
Als de vergelijking anoniem is, worden de verschillende organisaties, diensten, producten, activiteiten vergeleken met het gemiddelde. Als de vergelijking niet anoniem is, worden de organisaties naast elkaar gezet. Dan wordt duidelijk wie welke sterke punten heeft. Over deze sterke punten kunnen de verschillende organisaties dan van elkaar leren. Met een benchmark leer je dus welke kwaliteit jij biedt en wat vergelijkbare organisaties bieden. Dit helpt je ook om je beter te positioneren. Afhankelijk van hoe de benchmark is ingestoken, kun je zo leren wat jouw publiek bij jou komt halen. En hier vervolgens beter op inspelen.
Als je de benchmark zelf inricht met je collega-organisaties, bepalen jullie als sector wat de criteria voor kwaliteit is voor jullie producten. Is kwaliteit bepaald door het aantal bezoekers, het aantal uitvoeringen of door wat je bewerkstelligt bij je publiek? Door dit op te nemen in de benchmark beoordeel je je diensten en activiteiten op kwaliteitscriteria die jullie als sector belangrijk vinden.
Dit geeft je een interessant instrument in handen naar je subsidiegever en andere financiers. Zij stellen steeds vaker vragen over de kwaliteit die je biedt en de mate waarin je hierin je doel bereikt. Met zo’n benchmark heb je een instrument in handen waarmee je de kwaliteit die jouw organisatie biedt, kunt aantonen. Ook ten opzichte van andere organisaties. Wat jouw sterke punten zijn. En in hoeverre jij jouw doelen bereikt.
Er zijn verschillende instrumenten die je kunt inzetten om informatie te verzamelen voor het beantwoorden van je onderzoeksvraag. Je kunt bijvoorbeeld een (digitale- of hard copy) vragenlijst uitzetten, individuele – of groepsinterviews houden, gebruik maken van een klankbordgroep of een literatuurstudie doen. Welk instrument je kiest is echter afhankelijk van je informatiebehoefte. Een vragenlijst is bijvoorbeeld niet handig als je achterliggende motieven wilt weten, je kunt dan beter een interview houden. Een interview is juist niet handig als informatie nodig hebt van een grote groep mensen.
Als je per onderdeel van je informatiebehoefte hebt bekeken of het nieuwe of bestaande informatie is, wie je gaat onderzoeken en hoe, dan heb je een overzicht van de te ontwikkelen meetinstrumenten met daarbij de geschikte onderzoeksmethode.
Een zelfreflectie of evaluatie betekent onder andere dat je jezelf een spiegel voorhoudt om zo stil te staan bij hoe je werkt. Ik heb het al vaker gehad over waarom je evalueert. Een evaluatie brengt in kaart wat de resultaten en/of effecten van je project of proces zijn. Er worden succesfactoren en verbeterpunten genoemd. Waardoor je efficiënt en effectief actie kunt ondernemen. In dit blog ga ik in op wat een zelfreflectie nu eigenlijk betekent.
Zelfreflectie betekent dat je jezelf een spiegel voorhoudt. Je staat stil bij hoe je werkt door naar jezelf te kijken over een bepaalde periode. Je denkt daarbij na over de keuzes die je hebt gemaakt binnen je werk. Waarom heb ik het toen zo aangepakt? En waarom ging dit goed? Of juist minder goed? Ook sta je stil bij de vaardigheden je inzet. Waar ben ik goed in en wat kan er juist beter? Je stelt jezelf daarbij ook de vraag hoe je je daarbij voelde. Werd ik er blij van of juist niet? Vond ik het spannend? Zelfreflectie is een moment om kritisch naar jezelf te kijken om jezelf te verbeteren en te ontwikkeling.
Iedereen kan aan zelfreflectie doen en reflecteren kan op verschillende manieren. Op de werkvloer wordt geëvalueerd door middel van het maken van bijvoorbeeld persoonlijke ontwikkelplannen en het voeren van functioneringsgesprekken.
Op school wordt ook gereflecteerd. Leerlingen kunnen samen met de leerkracht evalueren. Dit kan zijn door middel van gesprekken, zelfreflectieformulieren of het bijhouden van een portfolio. Ook kan de leerkracht de leerling observeren. Als je meer wilt weten over evalueren in de klas, bekijk dan ons project voor Kunstbalie. Voor de cultuurloper zijn we een volginstrument aan het ontwerpen om de culturele ontwikkeling van de leerling te volgen/evalueren. Wil je hier meer over weten? Lees dan op deze pagina meer over dit project.
Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.
Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.
Met evalueren hou je het resultaat tegen het licht. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij benoem je de succesfactoren en de verbeterpunten . Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.
Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.
Wil jij ook inzicht in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!
Stel je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen. Ik vertel je wat representativiteit inhoudt en wanneer iets representatief is.
Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie.
Een steekproef
Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek. Tips om je respons te verhogen
Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.
Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit. Lees hierover meer in mijn blog ‘Kwalitatief en kwantitatief onderzoek: wat is wat?’.
Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.
Wanneer je een onderzoek uitvoert is het belangrijk dat de uitkomsten betrouwbaar zijn. Je wilt immers dat ze bruikbaar zijn en dat ze door derden serieus worden genomen. Om dat te bereiken moet het onderzoek onafhankelijk zijn. Maar wat betekent dat? Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: 'Wij van wc-eend, adviseren wc-eend'.
Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven. Je kunt testen of je onderzoek onafhankelijk is en daarmee betrouwbaarder door te kijken of het onderzoek herhaalbaar is: een andere onderzoeker kan hetzelfde onderzoek uitvoeren waarbij dezelfde resultaten worden gevonden.
Weten waar je nog meer rekening mee moet houden voor een onafhankelijk onderzoek, en wat voor onderzoeksmethoden er zijn? Lees de blogs Zelf onderzoek (leren) doen en Valkuilen van onderzoek doen of download mijn e-book met een routewijzer voor zelf onderzoek doen.
