Een intensievere manier van gegevens verzamelen is respondenten vragen een logboek of dagboek bij te houden. Deelnemers registreren in een schriftje of in een app hun daadwerkelijk gedrag. Denk hierbij aan een eetdagboek of beweegdagboek. In de sportsector maar ook door voedingsdeskundigen wordt deze onderzoeksmethode geregeld gebruikt.

Op deze manier verzamel je diepgaande, gedetailleerde informatie over daadwerkelijk gedrag (zeker als je het vast laat leggen met foto’s) en mogelijk ook ervaringen van deelnemers. Geef duidelijk aan wat ze bijvoorbeeld dagelijks bij moeten houden en je krijgt kwantificeerbare data over daadwerkelijk gedrag.

Je kunt hierbij handig gebruik maken van de smartphone en bijvoorbeeld vragen elke dag een foto te maken van hun avondeten of hun creatieve uitingen. Met deze informatie kun je je project, programma of activiteit verbeteren.

Tips: 

• Maak het de respondenten zo makkelijk mogelijk om het logboek bij te houden (digitaal of pen en papier is afgestemd op de doelgroep en de activiteit, of met bijvoorbeeld een app).
• Zorg voor duidelijke en concrete vragen die respondenten eenduidig kunnen beantwoorden in het logboek.
• Geef een duidelijke begin- en eindtijd aan voor het bijhouden van het logboek.
• Zorg voor een goede lay-out van het logboek zodat het duidelijk is wat je van de respondent verwacht en hoe hij antwoord moet geven.
• Kies voor een digitaal logboek of app in plaats van hard-copy, dit scheelt tijd met het verwerken van de data voor analyse.

Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.

Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.

Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.

De mysterie shopper is iedereen bekend: iemand die met een opdracht gaat winkelen of producten retourneren om te kijken hoe de ervaring is voor de klant en hoe medewerkers omgaan met klanten. Een variatie hierop is de mysterie bezoeker: iemand die zich voordoet als een alledaagse bezoeker en zo de gehele consumentenervaring registreert. Je kunt de mysterie bezoeker hierbij een extra opdracht meegeven, bijvoorbeeld een klacht. De mysteriebezoeker vult na afloop van het bezoek een vragenlijst in met criteria.

Je kiest voor een mysterie bezoeker als klantgerichtheid, de faciliteiten van je organisatie of commerciële vaardigheden van medewerkers wilt analyseren. Het doel is om op basis van de klantervaring te evalueren en waar mogelijk te verbeteren.

Een mysterie bezoeker kan verder gaan in het geven van zijn/haar ervaring en geeft geen sociaal wenselijke antwoorden. Bij echte bezoekers heb je wel het risico op sociaal wenselijke antwoorden. Een ander voordeel is dat je je bezoekers niet belast. Je bent dan ook niet afhankelijk van respondenten.

Tips

1. Zorg voor vooraf opgestelde scripts en observatieformulieren.
2. Bepaal goed welk aspect van de organisatie je wilt screenen: klantgerichtheid van de medewerkers, de aanwezige faciliteiten of consumentenproces?
3. Beslis vooraf of de mysterie bezoeker zich als een gemiddelde bezoeker voordoet omdat je een beeld wilt van de normale gang van zaken. Of wil je dat er moeilijke vragen gesteld worden, een probleem is om te testen hoe de organisatie daarop reageert.
4. Laat je beeld niet bepalen door één bezoeker of medewerker, maar door het grotere geheel.
5. Zet een mysterie bezoeker in die een objectief beeld kan schetsen over de organisatie.
6. Naast een fysiek bezoek, kun je mysteriebezoeker inzetten via andere vormen: telefoongesprek, e-mail en websiteanalyse.

De juiste keuze en opmaak voor grafieken en diagrammen zorgt ervoor dat de onderzoeksresultaten gelezen en begrepen worden. Probeer dus altijd te bedenken wat de belangrijkste boodschap is die je wilt overbrengen en of de grafiek deze boodschap ook daadwerkelijk overbrengt. Vooral bij kwantitatief onderzoek is het zaak om de juiste grafieken en opmaak te kiezen die de data goed weergeven. Ik geef een aantal tips:

Algemeen

1. Sorteer de antwoorden op logische volgorde (bijvoorbeeld van oud naar nieuw) of aan de hand van de score (hoogste score bovenaan).
2. Schrijf vragen en afkortingen voluit.
3. Geef de diagram of grafiek altijd een duidelijke titel. Zo kan men in een oogopslag zien waar het over gaat.
4. Zorg dat de percentages duidelijk leesbaar zijn.
5. Laat onnodige onderdelen weg in je grafiek, maar zorg er wel voor dat de grafiek duidelijk leesbaar blijft. De horizontale en verticale lijnen maken het beeld bijvoorbeeld vaak rommelig, net zoals as-streepjes. Een legenda kan daarentegen wel handig zijn.
6. Zorg ervoor dat de grafiek groot genoeg is zodat alles goed leesbaar is.
7. Geef in de tekst een toelichting bij de grafiek. Sommige mensen zijn namelijk minder beeldend ingesteld en vinden het prettiger om de bevindingen in tekstvorm te lezen.
8. Gebruik kleuren ter verduidelijking. Geef een negatief antwoord een rode kleur en een positief antwoord een groene kleur. Zijn er geen goede/foute antwoorden in de grafiek, dan is het leuk om de kleuren van je huisstijl te gebruiken. Gebruik een opvallende kleur voor datgene dat je wilt benadrukken.

 Wanneer welke grafiek?

9. Kies een taartgrafiek als de respondenten maar één antwoord konden kiezen. De grafiek geeft dan een beeld van de verdeling van je onderzoeksgroep.
10. Kies een staafdiagram (staand of liggend) als respondenten meerdere antwoorden konden geven of als je verschillen tussen twee groepen wilt laten zien.
11. Een lijngrafiek gebruik je om te laten zien hoe iets zich in verloop van tijd heeft ontwikkeld of om een trend te laten zien.
12. Spreidingsdiagrammen (puntenwolk) gebruik je als je relaties tussen verschillende gegevensreeksen wilt aantonen. Je toont een verband aan als je door een puntenwolk een rechte lijn kunt trekken waar de punten dichtbij liggen.

Veel mensen denken bij interviewen aan de veelgebruikte methode waarin de interviewer vragen stelt aan de geïnterviewde. Maar wist je dat er naast deze methode nog meer manieren zijn waarop je een interview kunt afnemen? In deze blog geef ik je een aantal voorbeelden van interviewmethoden.

1. Mindmapping

Vraag je respondenten om zoveel mogelijk informatie op te schrijven rondom een centraal onderwerp. Geef je respondent(en) hiervoor voldoende tijd en bespreek daarna samen de mindmap.
Het voordeel van mindmapping is dat je respondenten de vrijheid geeft hun eigen gedachten in kaart brengen en hen hierbij de mogelijkheid geeft om op onverwachte ideeën te komen. Zo open je tijdens het interview deuren die anders gesloten zouden blijven.

2. Post-it

Vraag je respondenten op een paar momenten tijdens het interview het interview tot dan toe samen te vatten in trefwoorden op post-it blaadjes. Vraag deze post-its ook te structureren. Na afloop van het interview bespreek je samen de inhoud en de structuur van de beschreven notitieblaadjes. Omdat je de respondent zelf structuur laat aanbrengen in het interview en de gelegenheid geeft hier gelijk op te reageren, verhoog je de validiteit van je onderzoek.

3. Gebruik maken van bestaand (beeld)materiaal

Tijdens het interview laat je de respondent(en) reageren op een afbeelding, film, geluidsfragment of data. Je kunt aan de hand van het materiaal na een eerste reactie verschillende vragen stellen of een (groeps)discussie starten.
Het gebruik van materiaal maakt een interview levendiger. Het gesprek wordt anders door te praten over iets tastbaars dat voor je ligt of iets wat je net samen bekeken hebt. Door een eerste reactie af te wachten kun je onverwachte reacties krijgen.

4. Samen een schema of tijdslijn invullen

Je kunt je interview structureren met een schema of tijdslijn die je samen invult. Respondenten kunnen hierdoor hun ervaring, mening en kennis structureren. Gedurende het interview vallen zwarte gaten op die je samen kunt invullen of verklaren. Bij een lange tijdslijn kun je bij een groepsinterview gebruik maken van een witte behangrol. Zo heeft iedereen inzicht in de tijdsbalk.
Respondenten leggen tijdens het vullen van een schema of tijdslijn accenten. Het helpt respondenten als je visueel werkt.

Wil je meer tips over het houden van een interview? Lees dan ook mijn andere blogs: Hoe maak je het respondenten zo gemakkelijk mogelijk? & 15 tips voor een goed interview

Click on the flag to read this article in English

Een onderzoeksmethode is de manier waarop je data verzamelt voor je onderzoek. Er zijn legio manieren om dit aan te pakken. Voor welke onderzoeksmethode je kiest is voornamelijk afhankelijk van de onderzoeksvragen. De praktijk waarmee je te maken hebt, heeft ook invloed.

Het aanbod van onderzoeksmethoden is groot waardoor je soms door de bomen het bos niet meer ziet. Daarom geef ik je in deze blog een handig overzicht met verschillende onderzoeksmethoden. Bij een aantal onderzoeksmethoden vind je een link naar een blog met meer informatie.

In dit overzicht maak ik onderscheid tussen kwantitatieve en kwalitatieve onderzoeksmethoden. Bij kwalitatieve onderzoeksmethoden kijk je naar het hoe en waarom en duik je de diepte in. Bij kwantitatieve onderzoeksmethodes draait het om cijfers en feiten die je met elkaar kunt vergelijken. Wil je hier meer over weten? In mijn blog ‘Keuze: kwalitatief onderzoek of kwantitatief onderzoek’ vind je informatie over het verschil tussen deze twee soorten onderzoek.

Kwalitatief onderzoek

• Individueel interview: Gestructureerd of ongestructureerd gesprek met één persoon waarin je gedetailleerd ingaat op één of meerdere onderwerpen.
• Groepsgesprek: Gesprek of discussie met meerdere mensen over één of meerdere onderwerpen.
• Literatuuronderzoek: Onderzoek waarin je aan de hand van een probleemstelling gebruik maakt van onderzoeken, theorieën en informatie die al beschikbaar zijn (bijv. van een bibliotheek of op het internet)
• Mysteriebezoeker: Onderzoeksmethode waarin je experts inzet die zich als klant of bezoeker gedragen en de kwaliteit van een dienst of organisatie beoordelen.

Kwantitatief onderzoek

• Vragenlijsten: Registratie van gegevens en meningen van groepen mensen door middel van een vooraf opgestelde vragenlijst. Deze vragenlijst kun je digitaal of schriftelijk laten invullen door een grote groep mensen.
• Scheurkaartjes: Onderzoeksmethode waarbij je op een snelle manier een grote groep mensen één vraag laat beantwoorden. Dit kan bijvoorbeeld door het publiek voor een voorstelling een papiertje met daarop een stelling te geven. Na de voorstelling kan het publiek door een scheurtje in het papiertje te maken, aangeven of ze het eens of oneens zijn met de stelling.
• Observeren: Het observeren van daadwerkelijk gedrag en het registreren van reacties.
• Bestaand bronnenonderzoek: Het uitvoeren van onderzoek met behulp van bestaande datasets met kwantitatieve gegevens die al door andere onderzoekers zijn verzameld. Je gebruikt dan de dataset nog een keer, maar dan om een nieuwe vraag te beantwoorden.
• Panelonderzoek: Respondenten die zich hebben opgegeven voor onderzoek benaderen met een digitale vragenlijst.
• Logboek: Document (digitaal of schriftelijk) waarin je bezoekers of deelnemers gebeurtenissen en/of specifieke data laat vastleggen.
• Tracking: Het volgen van respondenten (bv. bezoekers van een museum of klanten van een winkel) door een ruimte. Dat kan gedaan worden via de wifi of bluetooth van hun eigen apparaten, maar ook met een apparaatje dat je aan respondenten meegeeft, waarmee je hen volgt.

Een aantal tips om de geschikte onderzoeksmethode te kiezen:

1. Je onderzoeksvragen zijn leidend. Zijn het hoe en waarom vragen, of juist vragen naar hoeveel of hoe vaak? Kijk hierbij ook naar het soort informatie die belangrijk is. Als je op zoek bent naar verbeterpunten, is dit makkelijker om die samen te bedenken in een groepsgesprek dan in je eentje in een vragenlijst. Als je wilt weten welke communicatiemiddelen het meest gebruikt worden, heb je meer aan een vragenlijst.
2. Welke informatie heb je al? Wellicht heb je informatie al voor handen en kun je daar je onderzoeksvragen (of deels) mee beantwoorden. Denk bijvoorbeeld aan een databestand dat je bijhoudt met gegevens van deelnemers, maar ook de kassa uitdraai van je verkochte tickets.
3. Is informatie elders voor handen, bijvoorbeeld in bestaande databestanden of in de literatuur? Er wordt al veel onderzoek gedaan. Waar kun je gebruik maken van bestaan de data? Denk hierbij aan bestanden van CBS of SCP, maar er is ook allerlei onderzoek over de werking van allerlei programma’s.
4. Inventariseer open wat mogelijk is per onderzoeksvraag. Kijk hierbij naar wie je kan helpen bij het beantwoorden van de vragen. Wie weet dit? Zo weten deelnemers van alles over je project, maar ook samenwerkingspartners. Maak de lijst zo compleet mogelijk, zodat je vervolgens kunt brainstormen hoe je deze informatie bij hen kunt ophalen. Denk hierbij vooral in mogelijkheden en zet hierbij zoveel mogelijk methoden bij één onderzoeksvraag. Kies daarna met welke methode of combinatie van methoden je de onderzoeksvragen gaat beantwoorden.
5. De praktijk is natuurlijk ook van invloed. Wie kun je benaderen? Hoeveel tijd heb je? Wat kun je van respondenten verwachten? Kom hierin je respondenten tegemoet.
6. Denk buiten de gebaande paden. Kies niet voor een vragenlijst omdat je dat makkelijk lijkt. Veel mensen willen geen vragenlijst meer invullen, maar willen wel tijdens een kort gesprek met een kopje koffie hun verhaal vertellen.
7. Wees creatief bij het kiezen van je onderzoeksmethoden. Je kunt allerlei combinaties maken. Ik combineer graag observaties met korte gesprekken aan de hand van een vragenlijst. Op basis van wat ik heb gezien, stel ik vragen, bijvoorbeeld waarom iemand iets deed of hoe ze dat ervaren hebben. Je krijgt dan een verdieping op wat je hebt gezien, het gesprek wordt persoonlijker, geeft minder ruimte voor sociaal wenselijke antwoorden en als je een protocol gebruikt, kun je (indien nodig) het een en ander kwantificeren. Andere mogelijkheden zijn de uitkomsten van een vragenlijsten in groepsgesprekken interpreteren. Andersom kun je aan de hand van literatuurstudie een vragenlijst samenstellen. Of eerst bestaande databestanden analyseren en wat dan ontbreekt vragen in een vragenlijst. Op die manier hoef je een aantal zaken niet te vragen in je vragenlijst en kun je dieper ingaan op de materie in je vragenlijst.

Om ervoor te zorgen dat respondenten jouw vragen beantwoorden, wil je het hen zo gemakkelijk mogelijk maken. Zij doen jou namelijk een gunst door  te helpen met je onderzoek.

1. Breng het doel van je onderzoek over aan de respondenten. Zij willen namelijk het gevoel hebben dat er echt iets met de vragenlijst gedaan wordt.
2. Houd de vragenlijst zo kort mogelijk en maak vooral gebruik van duidelijke gesloten vragen. Stel alleen vragen die je nodig hebt voor je onderzoek.
3. Zorg ervoor dat je vragenlijst zo goed mogelijk is vormgegeven. Zo voorkom je onduidelijkheid bij respondenten en vergroot je de validiteit van je onderzoek.
4. Geef aan hoe lang het interview duurt. De geïnterviewden weten dan waar ze rekening mee moeten houden. Houd je aan de afgesproken tijd.
5. Zorg voor een werkende link bij een digitale vragenlijst.
6. Geef respondenten indien mogelijk na deelname aan een vragenlijst een klein presentje als dank voor hun deelname aan het onderzoek.
7. Zorg bij een (groeps)interview voor een kop thee/koffie met een koekje. Maak het gesprek op die manier wat aangenamer.
8. Vraag respondenten na afloop van een vragenlijst of interview of ze de resultaten van het onderzoek willen ontvangen.
9. Vraag respondenten zich voor te bereiden als je specifieke gegevens nodig hebt.
10. Verwijs direct naar de digitale vragenlijst en gebruik alleen indien nodig een inlogpagina (kun je vermijden door een unieke link) of een inleidende pagina. Deze laatste wordt zelden gelezen.
11. Laat respondenten weten hoe ver ze zijn in een digitale vragenlijst. Dit doe je door een balkje bovenaan de pagina toe te voegen.
12. Zorg bij het afnemen van schriftelijke vragenlijsten voor een pen en een tafel waar ze de vragenlijst in kunnen vullen.
13. Geef de respondent de mogelijkheid om vragen of opmerkingen op te schrijven. Dit doe je door een open vraag toe te voegen aan het eind van je vragenlijst.
14. Voorzie een schriftelijke vragenlijst met een kosteloze antwoordenveloppe en antwoordnummer.

Als je als sportvereniging of culturele instelling bewust met talentontwikkeling bezig bent, wil je natuurlijk ook weten of het effect heeft. Ontwikkelen de talenten hun vaardigheden zoals verwacht? Is het aanbod dat je als organisatie aanbiedt uitdagend voor talenten? Zorgen de aangeboden activiteiten ervoor dat de talenten verder komen? Sluit het aan op hun behoeften? Door het talentonwikkelingstraject te monitoren en evalueren krijg je antwoord op deze vragen.

Onlangs onderzochten wij voor het Fonds voor Cultuurparticipatie de impact van hun regeling voor talentontwikkeling. Hierbij zagen we dat organisaties binnen de culturele sector steeds meer gestructureerd bezig zijn om talenten zich tot hun volle potentie te laten ontwikkelen. Met alle aspecten die daarbij komen kijken. Deze talentontwikkeling wordt ook steeds vaker gemonitord: is het talent op de goede weg? Haalt hij/zij zijn/haar leerdoelen?

Ook binnen de sportsector is talentontwikkeling een hot item. Topsporters zijn onze nationale trots. Jonge talenten worden gescout, gecultiveerd en gemotiveerd. Er ontstaan steeds meer methoden en modellen om talent te ontwikkelen. Om te weten of deze talenten zich blijven ontwikkelen in de richting waarvoor gekozen is, is monitoring en evaluatie nodig.

Door het talentontwikkelingstraject te monitoren en evalueren krijg je inzicht in de effecten van het traject. Je weet dan of de doelen die je hebt voor talentontwikkeling bereikt worden en wat je kunt doen om bij te sturen. Maar ook of het plan voor het talent actueel blijft of dat er bij gestuurd moet worden. Door inzicht te krijgen in de effecten kun je het talent op een effectieve en efficiënte manier ontwikkelen: worden motorische basisvaardigheden echt beter? Wordt strategisch vermogen ontwikkeld?

Naast dat monitoren je helpt om het programma intern te verbeteren, kun je met deze informatie ook verantwoording afleggen aan subsidiegevers, de legitimiteit van het traject aantonen én draagvlak creëren.

Wil je weten wat de impact is van jouw talentontwikkelingsprogramma? Ik kan je helpen bij het ontwikkelen van een meetinstrument waarmee je de effecten inzichtelijk kunt maken. Neem contact op voor meer informatie.

Regelmatig hoor ik van beleidsmedewerkers en andere professionals dat ze een onderzoek hebben laten doen, maar er niets aan hebben gehad. Meestal omdat de onderzoeksresultaten zo onbegrijpelijk zijn opgeschreven, je verdwaald in de hoeveelheid informatie en details, vervolgacties onduidelijk zijn en soms zelfs omdat de verkeerde informatie verzameld is. Jammer van de energie die je er in hebt gestopt en het geld dat het heeft gekost.

Als je een onderzoeksbureau inschakelt, dan wil je wel zeker weten dat je aan het eind van de rit alle relevante informatie boven tafel hebt. Het is dus zaak dat jij het bureau zo aanstuurt, dat je krijgt wat je nodig hebt. Daarom geef ik graag een paar tips voor uitbesteed onderzoek begeleiden:

• Maak aan het onderzoeksbureau bij de offerte-aanvraag duidelijk wat je probleem is en waar je de uitkomsten van het onderzoek voor in gaat zetten.
• Maak bij de offerte-aanvraag duidelijk wat je straks van hen nodig hebt.
• Schroom niet om te vragen. Het is het expertise van een onderzoeksbureau om jouw vraag te beantwoorden, om iets meetbaar te maken. Laat je niet beperken in je vraag, want alles is meetbaar.
• Heb een persoonlijk gesprek met de onderzoekers die offreren en kijk of je elkaar begrijpt. Vraag ook of hij/zij straks het onderzoek gaat doen.
• In het begin van het onderzoek kan nog veel bijgestuurd worden. Zorg dat je deze besprekingen goed voorbereid en zo nodig bijstuurt. Stel alle vragen die je hebt. De onderzoeker moet ze kunnen beantwoorden.
• Bespreek het concept meetinstrument. Dat is bepalend voor de informatie die verzameld wordt. Na de dataverzameling kan er vaak geen andere informatie meer verzameld worden (met name bij interviews, vragenlijsten, observaties).
• Zorg voor intern draagvlak voor je onderzoek, zodat je collega’s met je meedenken en aan de slag willen met de uitkomsten van het onderzoek.
• Laat de informatie in zo’n vorm opleveren zodat jij en je collega’s ermee aan de slag kunnen. Laat de onderzoeker actiepunten formuleren als jij deze nodig hebt. Vraag om een artikel, factsheet of filmpje als je de informatie breed wilt delen.

Ik merk dat sportorganisaties en -verenigingen de effecten van hun beleid en activiteiten veelal meten aan de hand van bereikcijfers. De doelen die zij hebben met hun organisatie zijn dan ook vaak gerelateerd aan deze bereikcijfers. Doelen die gesteld worden gaan bijvoorbeeld over groei van het aantal teams dat aan een competitie mee doet, verhoging van het aantal leden van een vereniging, groei van het aantal educatieve activiteiten dat op scholen plaats vindt of stijging van de topsporters op de (inter-)nationale ranglijst. Deze doelen zijn te achterhalen door het in kaart brengen van bereikcijfers.

Sportorganisaties gaan er dan vanuit dat door het halen van de cijfermatige doelen, ook de ideële doelstellingen gehaald worden. Zoals het bevorderen van beweging onder jongeren, het verbeteren van competenties en persoonlijke ontwikkeling door de sport (zoals samenwerken en zelfvertrouwen) en het bevorderen van sociale cohesie. Het idee is dan: als het aantal leden stijgt, dan zijn er dus meer mensen gaan bewegen. Als er meer teams mee doen aan een competitie, dan werken dus meer mensen aan hun competenties.

Hoewel we in de culturele sector zien dat het meten van effecten vaak verder reikt dan alleen bereikcijfers, vraag ik me af of dit voor de sportsector ook geldt: Volstaat effecten meten aan de hand van bereikcijfers of hebben sportorganisaties ook baat bij het meten op een andere manier, op basis van ideële doelstellingen?