Ook bij kwalitatief onderzoek is het belangrijk om objectief te blijven. Dit kan heel lastig zijn als je in gesprek bent met respondenten. Het is echter belangrijk dat je je eigen mening voor je houdt. Ook al ben je het niet eens met de antwoorden die gegeven worden. Je mag ook niet sturen met de vragen die je stelt. Hoe zorg je ervoor dat je zo objectief mogelijk blijft?
- Wees bewust van wat je wilt meten. Maak van tevoren een interview protocol op basis van de onderzoeksvragen die je wilt beantwoorden.
- Stel de vragen zo objectief mogelijk op, geef geen sturing in je vragen. Dit lukt beter als je ze voor aanvang van je interviews opstelt.
- Kalibreer je meetinstrument: als een andere onderzoeker hetzelfde gesprek of observatie doet, moet deze hetzelfde meten.
- Wees consistent in je interpretatie, dus zorg ervoor dat je steeds op dezelfde manier interpreteert. Maak daarom aantekeningen tijdens het meten die een weergave zijn van wat er gezegd is. Je kunt hiervoor ook een geluidsopname maken van het interview en later uitwerken.
- Pas op voor je persoonlijke mening. Houd je zo goed mogelijk aan de feiten en theorieën. Blijf tijdens een interview neutraal (door bijvoorbeeld niet ‘mee te praten’ met de respondent). Als je voorbeelden moet noemen, benoem er dan een paar die van elkaar verschillen.
- Probeer tijdens het analyseren van je data elke keer te bedenken dat jouw mening er niet toe doet.
- Betrek anderen bij je onderzoek. Leg je conclusies aan iemand anders voor om na te gaan of de data op de juiste manier gemeten is en of de conclusies logisch zijn.
Eén van de onderzoeksmethodes die veel gebruikt wordt, is het houden van een interview. Het is belangrijk om dit goed voor te bereiden, zodat je de juiste informatie krijgt. Hieronder vind je 10 tips om goed beslagen ten ijs te komen.
10 tips
- Bedenk welke informatie je uit je interviews nodig hebt. Dit doe je door een analyseschema te maken. Hierin zet je je onderzoeksvragen. Bij elke onderzoeksvraag bedenk je interviewvragen die de onderzoeksvraag helpen te beantwoorden.
- Zet daarna de interviewvragen op een logische volgorde, zodat je een prettig en logisch gesprek hebt. Je interviewprotocol is nu klaar.
- Ga je interviewprotocol valideren. Je test je interviewprotocol om te kijken of het goed loopt, hoe lang het duurt en de geïnterviewde de vragen begrijpt. Pas eventueel het protocol aan.
- Maak afspraken met de personen die je wilt interviewen. Neem hiervoor ruim de tijd. Wanneer je op een dag iemand gaat benaderen, ga er niet van uit dat diegene de volgende dag tijd heeft voor je interview. Veelal zitten er drie weken tussen het benaderen van de persoon en het daadwerkelijke interview.
- Geef aan de geïnterviewde duidelijk aan hoe lang het interview gaat duren en waarom je het interview doet. Indien nodig, kun je ter voorbereiding de vragen mailen, zodat de geïnterviewde zich kan voorbereiden.
- Verdiep je in de persoon wie je gaat interviewen. Zorg er voor dat je iets weet over zijn/haar werk.
- Zorg dat je een rustige plek hebt om te interviewen, dat je elkaar goed kunt verstaan en dat er niet te veel omgevingsgeluiden zijn.
- Ga naar een plek die voor de geïnterviewde makkelijk is. Bijvoorbeeld bij zijn/haar werkplek. Maak het de geïnterviewde qua reizen zo gemakkelijk mogelijk.
- Zorg voor opnameapparatuur, zodat je het gesprek kunt opnemen. Aan de hand van de opname kun je straks je verslag gemakkelijk maken. Met de meeste mobiele telefoons kun je opnames maken. Zorg wel dat deze op stil staat tijdens het gesprek en je voldoende opslagruimte hebt.
- Neem een kleine attentie mee voor de geïnterviewde. Hiermee kun je de geïnterviewde bedanken voor de tijd en de hulp. Dit kan iets leuks zijn gerelateerd aan het onderwerp van je onderzoek, maar ook een reep chocolade of een bloemetje.
Meer informatie
Mocht je meer informatie willen over de onderzoeksmethode interview kijk dan naar een van deze blogs ‘Welke interviewmethoden zijn er en wanneer gebruik je ze?’ of ‘15 tips voor een goed interview’
Onderzoek doen kan je veel opleveren. Je verkrijgt inzichten waarmee je gefundeerde beslissingen en acties kunt ondernemen. Mits je het goed doet. Pak je het verkeerd aan, dan levert een onderzoek niet (of nauwelijks) op wat je wilt en heeft het enkel onnodig veel tijd gekost. Om je op weg te helpen, noem ik in deze blog een aantal valkuilen van onderzoek waar je voor moet waken:
Onderzoek doen omdat het moet. Je begint aan een onderzoek omdat je informatie nodig hebt waar je iets mee kunt. Bijvoorbeeld om je project te verbeteren, verantwoording af te leggen, besluitvorming te voeden of draagvlak te creëren. Denk echter elke keer weer na, over wat je met het onderzoek wilt bereiken. Doe geen onderzoek omdat het in het proces past of omdat het zo hoort, terwijl je geen informatiebehoefte hebt.
De verkeerde onderzoeksvraag stellen, waardoor je uiteindelijk niet de antwoorden krijgt waarnaar je op zoek bent. Het formuleren van de juiste onderzoeksvraag is essentieel bij het verkrijgen van de informatie die je nodig hebt. Bepaal de onderzoeksvraag aan de hand van de informatie die je nodig hebt. De onderzoeksvraag kan namelijk vaak niet meer aangepast worden gedurende het onderzoek. Als je bepaalde informatie aan het verzamelen bent, kun je gedurende de dataverzameling hier niet meer sterk van afwijken. Realiseer je dit bij het formuleren van je onderzoeksvraag.
Verkeerde onderzoeksmethode kiezen De onderzoeksmethode die je kiest is afhankelijk van het soort informatie dat je nodig hebt. Kies dus niet voor een vragenlijst als je achterliggende motivaties wilt weten. Of: kies niet voor interviews als je veel cijfers en percentages wilt hebben van een grote groep mensen.
Verdwalen in de hoeveelheid informatie. Als je alle informatie verzameld hebt, is het zaak om niet te verdwalen in de informatie en weer terug te gaan naar je onderzoeksvraag. De resultaten van een onderzoek zijn niet een verzameling feiten, maar een samenhangend antwoord op je vraag. De feiten worden dus op zo’n manier geclusterd dat verbanden inzichtelijk zijn (en dus ook geformuleerd worden) en de conclusies een logisch gevolg zijn en antwoord geven op je vraag.
Niets doen met de resultaten. Met alleen het doen van een onderzoek ben je er nog niet. De resultaten moeten geïmplementeerd worden. Hoe je dit doet is afhankelijk van het onderzoek dat je hebt gedaan. Leerpunten of actiepunten vloeien vaak logisch voort uit een onderzoek. Ga hiervoor (met collega’s) zitten om een actieplan of implementatieplan te formuleren. Maak praktische afspraken met collega’s over wat jullie gaan doen met de informatie.
Wil je meer lezen over hoe je de stappen van onderzoek doen wel op een goede manier kunt doorlopen? Lees dan deze eerder verschenen blogs:
Bij een literatuurstudie doe je onderzoek naar al beschikbare gegevens ten behoeve van een probleemstelling. Sommige zaken zijn namelijk al eerder onderzocht. Je hoeft dan niet het wiel zelf opnieuw uit te vinden. Door middel van literatuuronderzoek kun je veel informatie verzamelen. Ik geef je tien tips voor het doen van literatuuronderzoek:
- Veel informatie is al beschikbaar. Door middel van literatuurstudie kun je veel informatie verzamelen over trends, marktbewegingen, marktstructuur en ontwikkelingen zonder dat je zelf veldwerk hoeft te doen.
- Formuleer een duidelijk doel/onderzoeksvraag en deelvragen die je wilt beantwoorden met de literatuurstudie.
- Zorg voor steekwoorden/zoekwoorden die afgeleid zijn van je doel/onderzoeksvraag. Dit geeft je een richting om relevante literatuur te zoeken.
- Zoek in een relevant artikel naar verwijzingen en bronvermeldingen naar andere publicaties. Je krijgt dan een zogenaamd sneeuwbaleffect naar nieuwe informatie.
- Verzamel actuele informatie.
- Maak van de verzamelde literatuur één geheel, waarbij je alleen de relevante informatie toevoegt die antwoord geeft op de onderzoeksvraag.
- Houdt bij welke informatie je waar vandaan haalt, zodat jij en/of de opdrachtgever kan zien welke bronnen zijn gebruikt.
- Refereer naar bronnen via de APA-regels om plagiaat te voorkomen.
- Belangrijk bij het uitvoeren deskresearch is het controleren van de relevantie van de gegevens. Beantwoordt deze informatie jouw probleemstelling?
- Zorg voor meerdere bronnen. Dit maakt de data betrouwbaarder.
- Zorg voor betrouwbare bronnen, zoals (wetenschappelijke) artikelen via Google Scholar, gepubliceerde onderzoeken op officiële websites of bronnen uit de bibliotheek.
In gesprekken met medewerkers van musea merk ik dat subsidiërende lokale overheden voornamelijk kijken naar bezoekersaantallen. Want dat is gemakkelijk meetbaar. Maar wat is het doel van deze gemeenten om het museum te subsidiëren? Steunt de gemeente het doel van het museum (mensen iets leren over of interesseren voor een bepaald onderwerp)? Wil de gemeente dat het museum bijdraagt aan de identiteit van de gemeente? Of wil de gemeente zo veel mogelijk bezoekers?
Door het doel dat je als gemeente hebt met een museum (of een andere culturele instelling) samen scherper te formuleren, kun je samen kijken wat er dan wel en wat niet valt onder de activiteiten die ontwikkeld moeten worden om dit doel te bereiken. Twee voorbeelden om te verduidelijken wat ik bedoel.
Eerste voorbeeld: een museum is onderdeel van de identiteit van een gemeente. Op het gebied van binnenschoolse cultuureducatie kan dit betekenen dat het museum samen met de school kijkt naar de geschiedenis van de gemeente of met de leerlingen op zoek gaat naar wat de burgers bindt in deze gemeente. Een museum kan in dit geval ook een bijdrage leveren aan themajaren en zich buiten de muren van het museum profileren.
Tweede voorbeeld: een museum wil mensen binnen de gemeente en daarbuiten interesseren voor een bepaald onderwerp, kunststroming of historische periode. Door niet afgerekend te worden op het aantal bezoekers aan de deur, kunnen ze ook naar de bezoekers toegaan door bijvoorbeeld met een mobiele tentoonstelling te staan op een drukke plaats, zoals het station, een winkelstraat of een ziekenhuis. Mensen die normaliter niet naar het museum komen, maken nu wel op een laagdrempelige manier kennis met het onderwerp, de kunststroming, een kunstenaar of een historische periode en het museum. Door het laagdrempelig en kleinschalig aanbieden van cultuur zullen mensen aangesproken worden die normaliter het museum niet zouden bezoeken. Zo worden nieuwe publieksgroepen iets geleerd over, geïnteresseerd voor een bepaald onderwerp. Wat ze moeilijker lukt als ze naar het museum gelokt moeten worden.
Ik begrijp dat het lastiger te meten is of een museum bijdraagt aan deze doelen, dan bezoekers te tellen. Maar het geeft het museum meer mogelijkheden om naar potentiele bezoekers toe te gaan door minder gebonden te zijn aan hun gebouw. Door elders kennis te maken met het museum gaan mensen het meer waarderen, komt er meer draagvlak en zullen er uiteindelijk meer bezoekers komen omdat niet alleen de bekendheid is toegenomen, maar ook de drempels om het museum te bezoeken verlaagd zijn.
Ps. En ook van deze doelen kan gemeten worden of ze gehaald worden.
In vragenlijsten wordt vaak gebruik gemaakt van antwoordschalen om de houding of mening van de respondenten meetbaar te maken. Deze schalen kun je ook gebruiken in individuele interviews, observaties, logboeken of scheurkaartjes.
Welke schalen zijn er?
Het verschil tussen diverse schalen zit in het aantal punten. Hoe meer punten een schaal heeft hoe gedetailleerder de respondent kan antwoorden.
Voorbeelden van verschillende schalen:
- 2 puntsschaal: ja/nee
- 3 puntsschaal: veel/weinig/niet of ja/neutraal/nee of 😊 😐 ☹
- 4 puntsschaal: helemaal mee oneens/mee oneens/mee eens/helemaal mee eens
- 5 puntsschaal: helemaal mee oneens/mee oneens/ neutraal/mee eens/helemaal mee eens of 5 sterren (van heel erg ontevreden tot heel erg tevreden)
- 7 puntsschaal: antwoordbalk met 7 punten waarbij links helemaal oneens en rechts helemaal eens
- 10 puntsschaal: een rapportcijfer van 1 t/m 10
Voor welke schaal kies je?
- Bij de 2 puntsschaal moeten de respondenten een keuze maken. Het is of ja of nee. Deze schaal geeft een heel duidelijk beeld en er is geen middenweg. Soms vinden respondenten dit lastig, omdat mensen zich soms toch wat liever op de vlakte houden of wat meer nuance aan willen brengen. Gebruik deze schaal alleen als het gaat om een gemakkelijke wel of niet, zoals bij vragen naar gedrag: je hebt een museum wel of niet bezocht.
- De 3 puntsschaal geeft de respondenten de kans om een keuze te maken, maar ook om neutraal te antwoorden. Wanneer er vaak neutraal geantwoord is, kan het voor het onderzoek niet veel opleveren. Wanneer deze schaal voor imagoaspecten wordt gebruikt zegt het neutrale antwoord wel iets: een respondent zegt neutraal als ze geen beeld hebben over dat aspect. Je kunt deze schaal gebruiken
- Bij de 4 puntsschaal is er geen ruimte om neutraal te antwoorden en moeten respondenten een keuze maken. Er kan wel wat nuance aangebracht worden, wat respondenten fijn vinden. Deze schaal gebruik je als je om een mening vraagt en je wilt dat ze kiezen.
- Wanneer aan respondenten stellingen worden voorgelegd zijn de antwoordmogelijkheden vaak een 5 puntsschaal of soms een 7 puntsschaal. Respondenten vinden deze schalen fijn omdat ze nuance aan kunnen brengen en er een midden is voor als ze niet kunnen of willen kiezen. Het uitbreiden naar 7 categorieën wordt minder vaak gebruikt omdat respondenten de extra nuance niet altijd kunnen duiden. Omdat deze schaal heel veel gebruikt wordt, begrijpen respondenten, maar ook de lezers van je onderzoek deze schaal. Met de 5 puntsschaal kun je een scala aan stellingen voorleggen die gezamenlijk iets meten. Hiermee krijg je een goed beeld van de mening of houding van respondenten over een bepaald onderwerp. Bij het samenstellen van de stellingen moet je wel letten op validiteit en samenhang tussen je stellingen. Bij de 10 puntsschaal is er een brede verdeling tussen zeer slecht en uitstekend en alles ertussen in. Iedereen is bekend met rapportcijfers, het nadeel is echter dat er wat interpretatieverschillen zitten in de details. Iedereen is het er mee eens dat tot en met 5 onvoldoende is, maar wat is het verschil tussen een 8 en een 9? Daarbij geven sommige mensen nooit een 10 omdat perfect niet bestaat, terwijl anderen een 10 geven als ze het erg goed vinden. Deze schaal geeft respondenten dus veel ruimte om nuance aan te geven, maar is lastig te interpreteren. Gebruik deze schaal alleen als je je rapportcijfer wilt vergelijken met rapportcijfers van een ander of van eerdere metingen. Vraag dan naar een algemeen rapportcijfer en vraag de verschillende onderdelen uit in een andere schaal.
Als je een representatieve mening van een bepaalde groep Nederlanders nodig hebt, bijvoorbeeld vrouwen tussen de 35 en 60 jaar maar ook ouders van kinderen op de basisschool of inwoners van Amsterdam, kun je kiezen voor een vragenlijst onder een panel.
Een panel wordt gevormd door een representatieve groep Nederlanders die aangegeven heeft dat ze regelmatig willen meedoen aan een onderzoek. Vaak worden deze panels beheerd door marktonderzoekbureaus, maar ook door andere onderzoekbureaus. Je koopt een aantal vragen en respondenten in. De panelbeheerder legt de panelleden een digitale vragenlijst voor. Meestal wordt er binnen een aantal weken een databestand opgeleverd met een weegfactor. Je kunt dan snel met de uitkomsten van het onderzoek aan de slag.
Het kan interessant zijn om gedurende het jaar een aantal keer een panelonderzoek te doen. Als je vaker data verzamelt, kun je vergelijkingen gaan maken bijvoorbeeld over een verandering van houding of bekendheid met een bepaald product of dienst. Als je in dat jaar aanpassingen doet, kan je zien wat de resultaten hiervan zijn.
Tips:
- Maak duidelijke afspraken met de panelbeheerder over het aantal respondenten en indien nodig het soort respondenten.
- Maak een vragenlijst met een duidelijke routing
- Denk vooraf goed na over wat je wilt kunnen doen met de antwoorden van de respondenten.
- Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
- Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
- Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
- Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
- Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
- Stap af van containerbegrippen, maar formuleer zo exact mogelijk.
Veel praktijkonderzoeken stoppen te vroeg. Onderzoeksvragen worden geformuleerd, data worden verzameld en conclusies worden getrokken. Maar dan houdt het helaas op. Met alleen de conclusies ben je er nog niet. Om aan de slag te kunnen met een onderzoek heb je actiepunten nodig. Onderzoek doe je namelijk niet voor de lol, maar omdat je iets wilt DOEN met de informatie die je hebt verzameld.
Je actiepunten sluiten aan op wat je wilde doen met de uitkomsten van je onderzoek. Als je oorspronkelijk doel was je programma beter aan te laten sluiten bij je doelgroep, dan hebben je actiepunten betrekking op het aanpassen van het programma, het veranderen van je communicatiemiddelen of het uitbreiden van een succesvol concept.
Hoe doe je dat?
Tijdens het onderzoek leer je snel veel over het onderwerp. Je krijgt grip om details, de pluspunten en de verbeterpunten. Het is dan gemakkelijk om oplossingen te bedenken en actiepunten te formuleren. Daarbij wordt je vaak geholpen tijdens het onderzoek, omdat uit je data ook oplossingen naar voren komen. Respondenten reiken je tijdens interviews mogelijke oplossingen aan. Ook in een vragenlijst kun je hier naar vragen.
Bedenk dus tijdens je onderzoek al dat je op het einde actiepunten gaat formuleren. Als je bij de dataverzameling en de analyse al aandacht hebt voor oplossingen en actiepunten, is het gemakkelijk deze stap ook te zetten. Bij het schrijven van je conclusies kun je er gemakkelijk actiepunten achter zetten. Zorg ervoor dat dit steeds een doorgaande lijn is: vraag → oplossing(en) → mogelijke actiepunten.
Mijn onderzoeken sluit ik af met conclusies en actiepunten. Dat doe ik door tijdens mijn onderzoek steeds overzicht te houden op alle vragen en drempels, oplossingen en argumenten en aansluitend mogelijke actiepunten. Graag kijk ik samen met de opdrachtgevende organisatie wat vervolgens praktisch mogelijk is. Het verschilt namelijk per organisatie wat kan en wat bij hen past.
Het is niet altijd nodig om zelf data te verzamelen. Je kunt ook gebruik maken van bestaande bronnen. Denk hierbij aan databestanden die je kunt kopen bij bijvoorbeeld SCP of CBS, maar ook aan je eigen administratie of kassaregistratiesysteem. Je maakt gebruik van bestaande databestanden als je meer wilt weten over een bepaald onderwerp waar landelijk gegevens over worden verzameld of als je kwantitatieve data wilt over je eigen organisatie. Er wordt al veel data verzameld. Maak daar slim gebruik van.
Tips:
- Formuleer een duidelijk doel/onderzoeksvraag en deelvragen die je wilt beantwoorden met het bestaande bronnenonderzoek;
- Zorg voor steekwoorden/zoekwoorden die afgeleid zijn van je doel/onderzoeksvraag. Dit geeft je een richting om relevante bronnen te zoeken;
- Verzamel actuele informatie;
- Zorg dat de bronnen relevant zijn voor jouw probleemstelling;
- Houdt bij welke informatie je waar vandaan haalt, zodat jij en/of de opdrachtgever kan zien welke bronnen zijn gebruikt;
- De informatie die bestaande data oplevert, sluit soms niet volledig aan op de probleemstelling of is incompleet. Het is dan slim om bestaande bronnenonderzoek met een andere onderzoeksmethode te combineren.
Kijk hier voor een overzicht van verschillende onderzoeksmethoden
Click on the flag to read this article in English