Al verschillende blogs heb ik geschreven over het gebruik van onderzoeksmethoden. Maar hoe kies je nu een goede onderzoeksmethode bij je onderzoek. Hier zijn een aantal stappen in te zetten.

1. Welke informatie heb je al? En welke informatie moet je gaan verzamelen?

Bedenk goed welke informatie je nodig hebt om je onderzoeksvragen te beantwoorden. Wellicht heb je informatie voor handen en kun je daar je onderzoeksvragen mee beantwoorden. Denk bijvoorbeeld aan een databestand dat je bijhoudt met gegevens van deelnemers, maar ook de kassa uitdraai van je verkochte tickets.

Maar misschien heb je toch nog meer informatie nodig om je onderzoeksvragen te kunnen beantwoorden.

• Kijk welke informatie je al hebt en kunt gebruiken om je onderzoeksvragen te beantwoorden. Bedenk welke informatie je nog nodig hebt en wilt gaan verzamelen.

2. Waar kun je de informatie vinden, wie kan je verder helpen?

Wanneer je voor ogen hebt welke informatie je nog nodig hebt voor om je onderzoeksvragen te beantwoorden. Bedenk je waar je deze informatie kunt vinden. Moet je interviews gaan houden om uitgebreide informatie te krijgen of wil je graag grote aantallen respondenten bereiken met een vragenlijst. Bedenk dan goed hoe je de respondenten gaat benaderen, jongeren bereik je anders dan ouderen. Of moet je verder zoeken in de literatuur om de juiste informatie te vinden.

• Zet dus duidelijk onder elkaar welke informatie je waar wilt vinden, welke personen kunnen je helpen met de informatie en hoe ga je ze benaderen.

3. Welk instrument zet je in voor welke onderzoeksvraag?

Als je duidelijk hebt welke informatie je nog wilt verzamelen en bij wie je die gaat navragen, kun je kijken wat je kunt gaan combineren. Welke onderwerpen komen terug in het interview of waar let je op als je gaat observeren.

• Maak een schema met daarin welke informatie je wilt verzamelen, bij wie en op wat voor een manier.

Wil je nog meer informatie lees de blog over Waar let je op bij het kiezen van een onderzoeksmethode

Wanneer je een onderzoek uitvoert is het belangrijk dat de uitkomsten betrouwbaar zijn. Je wilt immers dat ze bruikbaar zijn en dat ze door derden serieus worden genomen. Om dat te bereiken moet het onderzoek onafhankelijk zijn. Maar wat betekent dat? Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: 'Wij van wc-eend, adviseren wc-eend'.

Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven. Je kunt testen of je onderzoek onafhankelijk is en daarmee betrouwbaarder door te kijken of het onderzoek herhaalbaar is: een andere onderzoeker kan hetzelfde onderzoek uitvoeren waarbij dezelfde resultaten worden gevonden.

Weten waar je nog meer rekening mee moet houden voor een onafhankelijk onderzoek, en wat voor onderzoeksmethoden er zijn? Lees de blogs Zelf onderzoek (leren) doen en Valkuilen van onderzoek doen of download mijn e-book met een routewijzer voor zelf onderzoek doen.

Ook bij kwalitatief onderzoek is het belangrijk om objectief te blijven. Dit kan heel lastig zijn als je in gesprek bent met respondenten. Het is echter belangrijk dat je je eigen mening voor je houdt. Ook al ben je het niet eens met de antwoorden die gegeven worden. Je mag ook niet sturen met de vragen die je stelt. Hoe zorg je ervoor dat je zo objectief mogelijk blijft?

1. Wees bewust van wat je wilt meten. Maak van tevoren een interview protocol op basis van de onderzoeksvragen die je wilt beantwoorden.

2. Stel de vragen zo objectief mogelijk op, geef geen sturing in je vragen. Dit lukt beter als je ze voor aanvang van je interviews opstelt.

3. Kalibreer je meetinstrument: als een andere onderzoeker hetzelfde gesprek of observatie doet, moet deze hetzelfde meten.

4. Wees consistent in je interpretatie, dus zorg ervoor dat je steeds op dezelfde manier interpreteert. Maak daarom aantekeningen tijdens het meten die een weergave zijn van wat er gezegd is. Je kunt hiervoor ook een geluidsopname maken van het interview en later uitwerken.

5. Pas op voor je persoonlijke mening. Houd je zo goed mogelijk aan de feiten en theorieën. Blijf tijdens een interview neutraal (door bijvoorbeeld niet ‘mee te praten’ met de respondent). Als je voorbeelden moet noemen, benoem er dan een paar die van elkaar verschillen.

6. Probeer tijdens het analyseren van je data elke keer te bedenken dat jouw mening er niet toe doet.

7. Betrek anderen bij je onderzoek. Leg je conclusies aan iemand anders voor om na te gaan of de data op de juiste manier gemeten is en of de conclusies logisch zijn.

Eén van de onderzoeksmethodes die veel gebruikt wordt, is het houden van een interview. Het is belangrijk om dit goed voor te bereiden, zodat je de juiste informatie krijgt. Hieronder vind je 10 tips om goed beslagen ten ijs te komen.

10 tips

1. Bedenk welke informatie je uit je interviews nodig hebt. Dit doe je door een analyseschema te maken. Hierin zet je je onderzoeksvragen. Bij elke onderzoeksvraag bedenk je interviewvragen die de onderzoeksvraag helpen te beantwoorden.

2. Zet daarna de interviewvragen op een logische volgorde, zodat je een prettig en logisch gesprek hebt. Je interviewprotocol is nu klaar.

3. Ga je interviewprotocol valideren. Je test je interviewprotocol om te kijken of het goed loopt, hoe lang het duurt en de geïnterviewde de vragen begrijpt. Pas eventueel het protocol aan.

5. Maak afspraken met de personen die je wilt interviewen. Neem hiervoor ruim de tijd. Wanneer je op een dag iemand gaat benaderen, ga er niet van uit dat diegene de volgende dag tijd heeft voor je interview. Veelal zitten er drie weken tussen het benaderen van de persoon en het daadwerkelijke interview.
6. Geef aan de geïnterviewde duidelijk aan hoe lang het interview gaat duren en waarom je het interview doet. Indien nodig, kun je ter voorbereiding de vragen mailen, zodat de geïnterviewde zich kan voorbereiden.
7. Verdiep je in de persoon wie je gaat interviewen. Zorg er voor dat je iets weet over zijn/haar werk.
8. Zorg dat je een rustige plek hebt om te interviewen, dat je elkaar goed kunt verstaan en dat er niet te veel omgevingsgeluiden zijn.
9. Ga naar een plek die voor de geïnterviewde makkelijk is. Bijvoorbeeld bij zijn/haar werkplek. Maak het de geïnterviewde qua reizen zo gemakkelijk mogelijk.
10. Zorg voor opnameapparatuur, zodat je het gesprek kunt opnemen. Aan de hand van de opname kun je straks je verslag gemakkelijk maken. Met de meeste mobiele telefoons kun je opnames maken. Zorg wel dat deze op stil staat tijdens het gesprek en je voldoende opslagruimte hebt.
11. Neem een kleine attentie mee voor de geïnterviewde. Hiermee kun je de geïnterviewde bedanken voor de tijd en de hulp. Dit kan iets leuks zijn gerelateerd aan het onderwerp van je onderzoek, maar ook een reep chocolade of een bloemetje.

Meer informatie

Mocht je meer informatie willen over de onderzoeksmethode interview kijk dan naar een van deze blogs ‘Welke interviewmethoden zijn er en wanneer gebruik je ze?’ of ‘15 tips voor een goed interview’

In vragenlijsten wordt vaak gebruik gemaakt van antwoordschalen om de houding of mening van de respondenten meetbaar te maken. Deze schalen kun je ook gebruiken in individuele interviews, observaties, logboeken of scheurkaartjes.

Welke schalen zijn er?

Het verschil tussen diverse schalen zit in het aantal punten. Hoe meer punten een schaal heeft hoe gedetailleerder de respondent kan antwoorden.

Voorbeelden van verschillende schalen:

• 2 puntsschaal: ja/nee
• 3 puntsschaal: veel/weinig/niet of ja/neutraal/nee of 😊 😐 ☹
• 4 puntsschaal: helemaal mee oneens/mee oneens/mee eens/helemaal mee eens
• 5 puntsschaal: helemaal mee oneens/mee oneens/ neutraal/mee eens/helemaal mee eens of 5 sterren (van heel erg ontevreden tot heel erg tevreden)
• 7 puntsschaal: antwoordbalk met 7 punten waarbij links helemaal oneens en rechts helemaal eens
• 10 puntsschaal: een rapportcijfer van 1 t/m 10

Voor welke schaal kies je?

• Bij de 2 puntsschaal moeten de respondenten een keuze maken. Het is of ja of nee. Deze schaal geeft een heel duidelijk beeld en er is geen middenweg. Soms vinden respondenten dit lastig, omdat mensen zich soms toch wat liever op de vlakte houden of wat meer nuance aan willen brengen. Gebruik deze schaal alleen als het gaat om een gemakkelijke wel of niet, zoals bij vragen naar gedrag: je hebt een museum wel of niet bezocht.
• De 3 puntsschaal geeft de respondenten de kans om een keuze te maken, maar ook om neutraal te antwoorden. Wanneer er vaak neutraal geantwoord is, kan het voor het onderzoek niet veel opleveren. Wanneer deze schaal voor imagoaspecten wordt gebruikt zegt het neutrale antwoord wel iets: een respondent zegt neutraal als ze geen beeld hebben over dat aspect. Je kunt deze schaal gebruiken
• Bij de 4 puntsschaal is er geen ruimte om neutraal te antwoorden en moeten respondenten een keuze maken. Er kan wel wat nuance aangebracht worden, wat respondenten fijn vinden. Deze schaal gebruik je als je om een mening vraagt en je wilt dat ze kiezen.
• Wanneer aan respondenten stellingen worden voorgelegd zijn de antwoordmogelijkheden vaak een 5 puntsschaal of soms een 7 puntsschaal. Respondenten vinden deze schalen fijn omdat ze nuance aan kunnen brengen en er een midden is voor als ze niet kunnen of willen kiezen. Het uitbreiden naar 7 categorieën wordt minder vaak gebruikt omdat respondenten de extra nuance niet altijd kunnen duiden. Omdat deze schaal heel veel gebruikt wordt, begrijpen respondenten, maar ook de lezers van je onderzoek deze schaal. Met de 5 puntsschaal kun je een scala aan stellingen voorleggen die gezamenlijk iets meten. Hiermee krijg je een goed beeld van de mening of houding van respondenten over een bepaald onderwerp. Bij het samenstellen van de stellingen moet je wel letten op validiteit en samenhang tussen je stellingen. Bij de 10 puntsschaal is er een brede verdeling tussen zeer slecht en uitstekend en alles ertussen in. Iedereen is bekend met rapportcijfers, het nadeel is echter dat er wat interpretatieverschillen zitten in de details. Iedereen is het er mee eens dat tot en met 5 onvoldoende is, maar wat is het verschil tussen een 8 en een 9? Daarbij geven sommige mensen nooit een 10 omdat perfect niet bestaat, terwijl anderen een 10 geven als ze het erg goed vinden. Deze schaal geeft respondenten dus veel ruimte om nuance aan te geven, maar is lastig te interpreteren. Gebruik deze schaal alleen als je je rapportcijfer wilt vergelijken met rapportcijfers van een ander of van eerdere metingen. Vraag dan naar een algemeen rapportcijfer en vraag de verschillende onderdelen uit in een andere schaal.

1. Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
2. Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
3. Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
4. Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
5. Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
6. Stap af van containerbegrippen, maar formuleer zo exact mogelijk.

Veel praktijkonderzoeken stoppen te vroeg. Onderzoeksvragen worden geformuleerd, data worden verzameld en conclusies worden getrokken. Maar dan houdt het helaas op. Met alleen de conclusies ben je er nog niet. Om aan de slag te kunnen met een onderzoek heb je actiepunten nodig. Onderzoek doe je namelijk niet voor de lol, maar omdat je iets wilt DOEN met de informatie die je hebt verzameld.

Je actiepunten sluiten aan op wat je wilde doen met de uitkomsten van je onderzoek. Als je oorspronkelijk doel was je programma beter aan te laten sluiten bij je doelgroep, dan hebben je actiepunten betrekking op het aanpassen van het programma, het veranderen van je communicatiemiddelen of het uitbreiden van een succesvol concept.

Hoe doe je dat?

Tijdens het onderzoek leer je snel veel over het onderwerp. Je krijgt grip om details, de pluspunten en de verbeterpunten. Het is dan gemakkelijk om oplossingen te bedenken en actiepunten te formuleren. Daarbij wordt je vaak geholpen tijdens het onderzoek, omdat uit je data ook oplossingen naar voren komen. Respondenten reiken je tijdens interviews mogelijke oplossingen aan. Ook in een vragenlijst kun je hier naar vragen.

Bedenk dus tijdens je onderzoek al dat je op het einde actiepunten gaat formuleren. Als je bij de dataverzameling en de analyse al aandacht hebt voor oplossingen en actiepunten, is het gemakkelijk deze stap ook te zetten. Bij het schrijven van je conclusies kun je er gemakkelijk actiepunten achter zetten. Zorg ervoor dat dit steeds een doorgaande lijn is: vraag → oplossing(en) → mogelijke actiepunten.

Mijn onderzoeken sluit ik af met conclusies en actiepunten. Dat doe ik door tijdens mijn onderzoek steeds overzicht te houden op alle vragen en drempels, oplossingen en argumenten en aansluitend mogelijke actiepunten. Graag kijk ik samen met de opdrachtgevende organisatie wat vervolgens praktisch mogelijk is. Het verschilt namelijk per organisatie wat kan en wat bij hen past.

Als je als sportvereniging of culturele instelling bewust met talentontwikkeling bezig bent, wil je natuurlijk ook weten of het effect heeft. Ontwikkelen de talenten hun vaardigheden zoals verwacht? Is het aanbod dat je als organisatie aanbiedt uitdagend voor talenten? Zorgen de aangeboden activiteiten ervoor dat de talenten verder komen? Sluit het aan op hun behoeften? Door het talentonwikkelingstraject te monitoren en evalueren krijg je antwoord op deze vragen.

Onlangs onderzochten wij voor het Fonds voor Cultuurparticipatie de impact van hun regeling voor talentontwikkeling. Hierbij zagen we dat organisaties binnen de culturele sector steeds meer gestructureerd bezig zijn om talenten zich tot hun volle potentie te laten ontwikkelen. Met alle aspecten die daarbij komen kijken. Deze talentontwikkeling wordt ook steeds vaker gemonitord: is het talent op de goede weg? Haalt hij/zij zijn/haar leerdoelen?

Ook binnen de sportsector is talentontwikkeling een hot item. Topsporters zijn onze nationale trots. Jonge talenten worden gescout, gecultiveerd en gemotiveerd. Er ontstaan steeds meer methoden en modellen om talent te ontwikkelen. Om te weten of deze talenten zich blijven ontwikkelen in de richting waarvoor gekozen is, is monitoring en evaluatie nodig.

Door het talentontwikkelingstraject te monitoren en evalueren krijg je inzicht in de effecten van het traject. Je weet dan of de doelen die je hebt voor talentontwikkeling bereikt worden en wat je kunt doen om bij te sturen. Maar ook of het plan voor het talent actueel blijft of dat er bij gestuurd moet worden. Door inzicht te krijgen in de effecten kun je het talent op een effectieve en efficiënte manier ontwikkelen: worden motorische basisvaardigheden echt beter? Wordt strategisch vermogen ontwikkeld?

Naast dat monitoren je helpt om het programma intern te verbeteren, kun je met deze informatie ook verantwoording afleggen aan subsidiegevers, de legitimiteit van het traject aantonen én draagvlak creëren.

Wil je weten wat de impact is van jouw talentontwikkelingsprogramma? Ik kan je helpen bij het ontwikkelen van een meetinstrument waarmee je de effecten inzichtelijk kunt maken. Neem contact op voor meer informatie.

Steeds vaker zie ik dat het sportbeleid van een gemeente wordt bepaald in samenspraak met de burgers. Waar voorheen het sportbeleid alleen werd afgestemd met de sportorganisaties en samenwerkingspartners, is het nu steeds meer gericht op de behoeften van de eindgebruiker, de mensen die in de gemeente wonen en sporten. Het sportbeleid verschuift dan van aanbodgericht naar vraaggericht.

Door vraaggericht te werken worden burgers betrokken bij het maken en uitvoeren van het beleid. Niemand weet tenslotte beter aan welke activiteiten er behoefte is dan de mensen binnen de gemeente. Om het beleid vraag gestuurd in te richten, is het wel belangrijk dat de doelen van het sportbeleid vraaggericht zijn. En om vanuit deze doelen aan de slag te gaan.

Een voorbeeld van vraaggericht sportbeleid met vraaggerichte doelen kwam ik tegen tijdens de conferentie ‘De beweegkracht van sport & cultuur’ van LKCA. Dit is het programma CityTrainer van de gemeente ’s-Hertogenbosch. De methode CityTrainer is een samenwerking tussen het jongerenwerk, sport en cultuur. Hierbij wordt gekeken welke talenten er in de stad rondlopen en helpt hen om hun creatieve, sportieve, organisatorische en sociale talenten aan te scherpen en in te zetten voor de gemeente. Het doel van dit beleid is dat burgers vanuit zijn/haar intrinsieke motivatie bijdragen aan een creatieve, sportieve en sociale stad.

Bijzonder aan deze methode is dat minder vanuit bestaand aanbod wordt geredeneerd, maar meer vanuit de mensen in de gemeente. Wat willen zij en wat is hun behoefte? De beleidsdoelen zijn hierop afgestemd. Vervolgens wordt samen met hen een aanbod ontwikkeld.

Van aanbodgericht naar vraaggericht beleid vraagt dus om (nieuwe) beleidsdoelen die deze manier van werken ondersteunen. Deze vraaggerichte doelen geeft beleidsmakers handvatten om weloverwogen aan de slag te gaan met het maken en afstemmen van het beleid met de eindgebruikers.

Hulp nodig bij het formuleren van vraaggerichte doelen? Ik kan je hierbij helpen. Neem gerust contact op voor een (vrijblijvende) afspraak.

Veel mensen hebben geen grip op het begrip onderzoek. Dit maakt evalueren tot een taak die alsmaar wordt uitgesteld en wat meer als een verplichting voelt dan een gelegenheid om van je project of activiteit te leren. Vaak zie ik dat mensen wel degelijk open staan voor onderzoek (en om er zelf mee aan de slag te gaan), maar dat het nog een ver van hun bed show is. Door hen meer te leren over wat onderzoek inhoudt, en hen te laten zien dat het niet altijd zo ingewikkeld is als het lijkt, worden zij er steeds enthousiaster over.

Een voorbeeld is de tweedaagse cursus die ik heb gegeven aan de medewerkers van de afdeling educatie van een (inter)nationaal museum. Afgelopen voorjaar ben ik bij hen langs geweest om hen te leren wat onderzoek inhoudt: Je volgt een aantal logische stappen die je inzicht verschaffen in je doelbereik. De volgende thema’s komen aan bod om een goed onderzoek op te zetten:

• Formuleren doel onderzoek en onderzoeksvraag;
• Bepalen onderzoeksmethodiek en ontwerpen meetinstrument;
• Dataverzameling/veldwerk;
• Analyse en rapportage.

Vervolgens zijn zij zelf aan de slag gegaan met hun eigen onderzoeken, waarna ik in het begin van de zomer terug ben gegaan om aan de hand van hun eigen verzamelde data de vervolgstappen samen door te nemen.

Door hen aan de hand van voorbeelden uit de eigen praktijk te leren onderzoeken, zie ik dat ze enthousiaster zijn geworden over evalueren en hebben zij meer begrip gekregen van wat je allemaal kunt met onderzoek. Hierdoor denk ik dat ze vaker en gemakkelijker hun exposities en activiteiten zullen monitoren en evalueren.

Wil je liever samen met je hele team meer leren over onderzoek? Dan behoort een in-company training ook tot de mogelijkheden.