Onlangs interviewde een stagiaire mij over de voor- en nadelen van een onderzoeksbureau. Ze liep stage voor een organisatie die graag de effecten van hun projecten inzichtelijk wilde maken, maar waren zoekende naar de beste manier dit aan te pakken. Het nadeel van een onderzoeksbureau is dat het geld kost en deze middelen kunnen beter aan het project zelf besteed worden.
Maar is een onderzoeksbureau duur? Of is een onderzoeksbureau effectiever en efficiënter dan zelf een onderzoek doen?
Het formuleren van de juiste onderzoeksvraag en de daarbij behorende onderzoeksmethodiek kiezen is een vak. Menig medior onderzoeker struikelt hier nog over. Verwacht dus niet van jezelf of een stagiaire dat deze dit kan. Hier is kennis en vooral ervaring voor nodig.Bij een verkeerd gekozen onderzoeksvraag of methodiek, krijg je na het onderzoek niet de antwoorden op je vragen die je nodig hebt. Je hebt energie gestoken in verkeerde informatie.
Na het formuleren van de onderzoeksvraag en het uitdokteren van de juiste methodiek om deze vragen beantwoord te krijgen, zijn er allerlei drempels en valkuilen om de juiste en voldoende informatie te verzamelen en deze vervolgens te formuleren als antwoorden op je vragen. Een onderzoeksbureau weet een goede vragenlijst/interviewleiddraad op te stellen waardoor niet alleen de oppervlakkige informatie wordt ingewonnen. Ze weet om te gaan met een lage respons en kunnen een grote hoeveelheid data vertalen in antwoorden en aanbevelingen. Doordat ze ervaring hebben met het uitzetten van veldwerk, analyse en rapporteren zijn ze hier minder tijd mee kwijt dan een medewerker. Ze weten welke drempels er zijn en waar de valkuilen zitten.
Door een onderzoeksbureau in te schakelen koop je inzicht in effecten. Voor een vooraf gesproken bedrag koop je een onderzoeksrapportage waarin de informatie staat waar je behoefte aan hebt. Je krijgt antwoord op je vragen. Al het andere is voor het onderzoeksbureau om op te lossen.
Als je gemeten effecten wilt communiceren naar derden, wil je niet het “wij van wc-eend, adviseren wc-eend” effect. Je onderzoeksresultaten zullen niet betrouwbaar worden gevonden als je zelf hebt gemeten volgens je eigen maatstaf. Een onderzoeksbureau zal zorgen voor een objectieve meting, waarbij de uitkomsten hetzelfde zullen zijn als het onderzoek door anderen herhaalt wordt.
Onderzoek doen kan tijdsintensief zijn. Zeker als je hier onvoldoende ervaring mee hebt. Als een medewerker een effectmeting doet kost dit uren en zo ook geld. Dit gaat ten koste van de andere werkzaamheden.
Meer weten over het doen van onderzoek? Bekijk hier wat ik voor je kan betekenen!
Door regelmatig effecten te meten kun je veel leren. Sommige dingen, zoals deelnemersaantallen, zijn makkelijk vast te leggen, maar zeggen niets over daadwerkelijk doelbereik. Kwaliteit en impact van je organisatie monitoren en evalueren levert handvatten voor prestatieverbetering, maar is complexer en vereist meer consistentie in onderzoeksmethodiek. Hierbij ontstaan in de praktijk dan ook vaak drempels. Die zijn met een andere invalshoek echter relatief simpel op te lossen.
Het eerste dat je doet als als je een onderzoek gaat uitvoeren is het doel van het onderzoek en de juiste onderzoeksvraag formuleren. Het doel van het onderzoek en de onderzoeksvraag geven namelijk aan hoe de verdere opzet van het onderzoek eruit zal zien. En een goede onderzoeksvraag zorgt ervoor dat je aan het eind van het onderzoek de juiste informatie in handen hebt waarmee je actie kunt ondernemen. De onderzoeksvraag formuleer je in vijf stappen:
De eerste stap om tot een juiste onderzoeksvraag te komen is het formuleren van het onderzoeksdoel door middel van het beantwoorden van de vraag ‘waarom wil je een onderzoek uitvoeren?’ Het beantwoorden van deze vraag geeft je een beeld van het soort onderzoeksvraag dat je gaat stellen, welke informatie en welke antwoorden je nodig hebt. Wil je een project of proces verbeteren of wil je je project verantwoorden? Bij beide doelen ga je evalueren, maar de antwoorden die je na afloop wilt zijn heel anders. Verbeterpunten versus aangetoonde effecten.
Aan de hand van je doel (stap 1) kun je bepalen welke informatie je nodig hebt om aan dit doel te voldoen. Wat moet je weten om je doel te bereiken? Wil je je doelbereik verbeteren? Dan heb je informatie nodig in de vorm van verbeterpunten (wat gaat er goed en wat kan beter?) Is het doel om je project te legitimeren voor financiers? Dan heb je informatie nodig in de vorm van effecten van het project. Wil je een betere afstemming met de doelgroep en is dit het doel van je onderzoek? Dan heb je informatie nodig in de vorm van kenmerken, wensen en behoeften van de doelgroep. Stel jezelf steeds de vraag; wat ga ik straks doen met deze informatie? Hiermee kun je prioriteiten aanbrengen.
Aan de hand van je onderzoeksdoel en de concrete beschrijving van je informatiebehoefte kun je de onderzoeksvraag of -vragen opstellen. Formuleer deze vragen zo exact mogelijk. Bedenk bij het formuleren van de vragen dat jijzelf of een onderzoeker straks antwoord gaat geven op deze vragen. Kun je met behulp van de antwoorden op de onderzoeksvraag je onderzoeksdoel bereiken? Kun je vervolgactie ondernemen als je antwoord krijgt op deze vragen?
Aan een onderzoek zitten over het algemeen verschillende randvoorwaarden . Het is belangrijk om hier in de fase van het formuleren van de onderzoeksvraag al inzicht in te krijgen. Randvoorwaarden waar je rekening mee moet houden zijn bijvoorbeeld tijd, budget, beschikbaarheid van bepaalde gegevens, privacy regels, etc.
De resultaten van een onderzoek kunnen verschillende vormen aannemen:
Onderzoeksresultaten kunnen in verschillende vormen opgeleverd worden: een rapport, een factsheet, een dashboard, een boek, een filmpje, een artikel, een discussiebijeenkomst, een presentatie, een website, een PowerPointpresentatie, een infographic, een animatie, een tijdschrift, een flyer, etc. Bedenk nu vast wat je daarin wilt communiceren en met wie. Welke vorm gaat je daarbij helpen. Effecten, argumenten of verbeterpunten. Maak vooraf een voorstelling van wat je op het einde van het onderzoek zou willen krijgen en of je daar je voorgenomen actie mee kunt ondernemen (anderen overtuigen, beleid of projecten verbeteren, een beslissing nemen).
Click on the flag to read this article in English
In schooljaar 2018-2019 heeft Provincie Flevoland het educatieprogramma Democratie en de Rechtsstaat opgezet, gericht op het basis-, voortgezet en beroepsonderwijs. Aanleiding was dat de provincie merkte dat de politiek en de overheid ver van jongeren af staan, zij weinig binding hebben met de provincie en weinig weten over de democratie, het politieke bestel en de rechtsstaat. In het programma Democratie en de Rechtsstaat hebben zij daarom allerlei soorten lessen opgezet die jongeren in aanraking brengen met de provinciale politiek en vormen van burgerschap. Om te bepalen of het onderwijsprogramma een vervolg krijgt, hebben wij gemeten wat de effecten zijn geweest van het programma op het onderwijs, maar bovenal of er vanuit het onderwijs behoefte is dat de provincie onderwijsprogramma's aanbiedt. Daarvoor hebben we interviews afgelegd met docenten uit de verschillende vormen onderwijs, de programmamakers, Statenleden en de begeleidingscommissie. Naar aanleiding van deze gesprekken hebben we een rapportage kunnen uitbrengen die antwoorden en adviezen gaf op de vraag of het lesprogramma moet worden voortgezet. Daarnaast hebben we het programma intern geëvalueerd met Statenleden, organisatoren en uitvoerende partijen.
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Regelmatig hoor ik van beleidsmedewerkers en andere professionals dat ze een onderzoek hebben laten doen, maar er niets aan hebben gehad. Meestal omdat de onderzoeksresultaten zo onbegrijpelijk zijn opgeschreven, je verdwaald in de hoeveelheid informatie en details, vervolgacties onduidelijk zijn en soms zelfs omdat de verkeerde informatie verzameld is. Jammer van de energie die je er in hebt gestopt en het geld dat het heeft gekost.
Als je een onderzoeksbureau inschakelt, dan wil je wel zeker weten dat je aan het eind van de rit alle relevante informatie boven tafel hebt. Het is dus zaak dat jij het bureau zo aanstuurt, dat je krijgt wat je nodig hebt. Daarom geef ik graag een paar tips voor uitbesteed onderzoek begeleiden:
Steeds vaker zie ik dat het sportbeleid van een gemeente wordt bepaald in samenspraak met de burgers. Waar voorheen het sportbeleid alleen werd afgestemd met de sportorganisaties en samenwerkingspartners, is het nu steeds meer gericht op de behoeften van de eindgebruiker, de mensen die in de gemeente wonen en sporten. Het sportbeleid verschuift dan van aanbodgericht naar vraaggericht.
Door vraaggericht te werken worden burgers betrokken bij het maken en uitvoeren van het beleid. Niemand weet tenslotte beter aan welke activiteiten er behoefte is dan de mensen binnen de gemeente. Om het beleid vraag gestuurd in te richten, is het wel belangrijk dat de doelen van het sportbeleid vraaggericht zijn. En om vanuit deze doelen aan de slag te gaan.
Een voorbeeld van vraaggericht sportbeleid met vraaggerichte doelen kwam ik tegen tijdens de conferentie ‘De beweegkracht van sport & cultuur’ van LKCA. Dit is het programma CityTrainer van de gemeente ’s-Hertogenbosch. De methode CityTrainer is een samenwerking tussen het jongerenwerk, sport en cultuur. Hierbij wordt gekeken welke talenten er in de stad rondlopen en helpt hen om hun creatieve, sportieve, organisatorische en sociale talenten aan te scherpen en in te zetten voor de gemeente. Het doel van dit beleid is dat burgers vanuit zijn/haar intrinsieke motivatie bijdragen aan een creatieve, sportieve en sociale stad.
Bijzonder aan deze methode is dat minder vanuit bestaand aanbod wordt geredeneerd, maar meer vanuit de mensen in de gemeente. Wat willen zij en wat is hun behoefte? De beleidsdoelen zijn hierop afgestemd. Vervolgens wordt samen met hen een aanbod ontwikkeld.
Van aanbodgericht naar vraaggericht beleid vraagt dus om (nieuwe) beleidsdoelen die deze manier van werken ondersteunen. Deze vraaggerichte doelen geeft beleidsmakers handvatten om weloverwogen aan de slag te gaan met het maken en afstemmen van het beleid met de eindgebruikers.
Hulp nodig bij het formuleren van vraaggerichte doelen? Ik kan je hierbij helpen. Neem gerust contact op voor een (vrijblijvende) afspraak.
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Wat bereik jij met de subsidie die je hebt gekregen? Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Er is veel discussie over hoe en wat hierover teruggekoppeld wordt naar de subsidieverstrekker en het verschilt dan ook sterk per gemeente of fonds hoe erover gerapporteerd moet worden. Sommigen willen weten wat je doet. Anderen willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel.
Een voorbeeld van het aan tonen van wat je bereikt en bijdraagt aan het gezamenlijke doel is Natuurmuseum Brabant. Zij vertellen bij hun verantwoording iets over wat ze bereiken door hun manier van werken. En dan gaat het niet over het aantal bezoekers of het aantal leerlingen dat met school deelneemt aan een activiteit, maar over wat zo’n activiteit met school te weeg brengt bij de leerlingen.
Natuurmuseum Brabant heeft meegedaan aan een gezamenlijke benchmark vanuit de VSC waar natuurmusea, wetenschapscentra en techniekmusea samen met mij een meetinstrument hebben samengesteld. Hiermee worden de kwaliteit van binnenschoolse projecten en de effecten ervan bij de leerlingen gemeten. De deelnemende musea hebben aangegeven wat in hun vakgebied zorgt voor kwaliteit en welke doelen zij willen bereiken. Op basis van deze input heb ik een meetinstrument gemaakt, waarmee de deelnemende musea data hebben verzameld.
De analyses van de data worden veelzijdig ingezet. Natuurmuseum Brabant heeft hun analyse gebruikt bij de verantwoording naar de gemeente, maar ook om de activiteiten verder te verbeteren om nog beter hun doelen te bereiken: bezoekers en leerlingen leren over de natuur, interesseren voor de natuur, verwondering op te wekken en zelfs waardering voor de natuur te weeg brengen.
Kun jij aantonen wat je bereikt met je activiteiten?
Gemeenten stellen doelen, per beleidsterrein, maar ook steeds vaker overkoepelend. Het formuleren van doelen bij gemeenten is belangrijk, want het geeft je een ‘eindpunt’ om naar toe te bewegen. Je verschaft dan duidelijkheid over wat je als gemeente wilt bereiken. Het wordt inzichtelijk welke activiteiten, projecten en programma’s er moeten worden opgestart of doorontwikkeld om de doelen te bereiken. Daarnaast wordt ook duidelijk welke rol partners (gesubsidieerd of anderszins) hierin kunnen spelen.
Je stelt dus doelen om duidelijk te krijgen welke richting je als gemeente wilt volgen. Doelen geven je handvatten om de juiste koers te blijven varen en niet per beleidsterrein eigen keuzes te maken. Maar dan wil je ook weten in hoeverre je deze doelen aan het bereiken bent.
Om inzicht te krijgen in je doelbereik is het belangrijk om, naast het opstellen van doelen, ook te monitoren op deze doelen. Bepaal daarom bij het opstellen van je doelen ook indicatoren waaraan je daadwerkelijk kunt zien dat ze bereikt worden. Deze indicatoren zijn afgeleid van het doel, zodat je meet wat je wilt meten. Zorg er wel voor dat je na het opstellen van de doelen een eerste meting doet. Je wilt tenslotte de beginsituatie weten om te vergelijken.
Op deze manier ben je dan als gemeente bewust naar het eindpunt aan het bewegen. Krijg je inzicht in je doelbereik en weet je tijdig wanneer en waar er bijgestuurd moet worden. Je houdt gestructureerd zicht op je beleid, project of programma.
Meer weten over doelen bij gemeenten? Lees hier hoe wij de gemeente Middelburg hebben geholpen bij het formuleren van concrete doelen.
