Deze blog gaat over het testen van een vragenlijst voorafgaande aan het daadwerkelijke onderzoek.
Wil je meer weten over waar je allemaal aan moet denken bij het uitvoeren van kwantitatief onderzoek, lees de volgende blogs:
Het testen heeft als doel om te kijken of je met je vragenlijst echt ophaalt wat je wilt ophalen. Meet je wat je wilt meten? Een andere vraag die je je moet stellen is of je met de data uit de vragenlijst je onderzoeksvragen kunt beantwoorden en vanzelfsprekend is het van belang dat er geen fouten in staan. Denk bij dit laatste aan foute of incomplete antwoordcategorieën of verkeerde doorverwijzingen waardoor respondenten vragen krijgen die niet voor deze respondent bestemd zijn of vragen juist niet krijgen die wel voor deze respondent van toepassing zijn. Wanneer je een groot, wetenschappelijk onderzoek gaat uitvoeren, zal het vooronderzoek onder een relatief grote groep respondenten moeten worden uitgevoerd. Hierbij wil je bijvoorbeeld ook antwoord krijgen op de vraag of bepaalde vragen/stellingen onder te brengen zijn in schalen op een statistisch verantwoorde wijze.
Test je vragenlijst onder respondenten die ook tot je uiteindelijke doelgroep behoren en ga na of tijdens het invullen van de vragenlijst met hen in gesprek. Haal hierbij op of alle vragen duidelijk zijn en niet multi-interpretabel. Vraag of het doel van het onderzoek helder is en hoe lang ze over het invullen van de vragenlijst hebben gedaan. De respondent mag in het gesprek gerust kritisch zijn, dit is namelijk het moment om nog aanpassingen te doen.
Sommige ‘fouten’ kun je niet achterhalen wanneer je je bij de pilot beperkt tot het spreken van je respondenten. Respondenten kunnen bijvoorbeeld niet weten wanneer zij vragen niet krijgen door foute doorverwijzingen. Analyseer je data verkregen uit de pilot zorgvuldig. Kijk of alle velden goed gevuld zijn en ga terug naar je onderzoeksvragen. Kun je met deze data de onderzoeksvragen beantwoorden. Gebruik de datacheck ook voor het testen van eventuele schaalconstructies.
Het is verstandig om je test te herhalen wanneer je de vragenlijst substantieel hebt aangepast. Een fout is snel gemaakt, zeker wanneer je er al lang mee bezig bent. Vraag een andere groep testrespondenten voor deze herhaalpilot. Zij kijken weer met een frisse blik naar de vragenlijst.
Als je een vragenlijst als meetinstrument gebruikt om je onderzoeksvragen te beantwoorden, is het belangrijk dat je iets kunt met de uitkomsten van de vragenlijst. De kwaliteit van de vragenlijst bepaalt de kwaliteit van de verzamelde data. Het goed formuleren van enquêtevragen is daarom belangrijk. Ik geef je een aantal tips/vuistregels die je helpen om goede vragen te formuleren:
In deze blog gaat het over het organiseren van 1-op-1 interviews. De groepsinterviews laten we voor nu even buiten beschouwing.
Wil je meer weten over waar je allemaal aan moet denken bij een interview, lees de volgende blogs:
Er is een aantal zaken waaraan je moet denken wanneer je interviews gaat organiseren:
Bij het plannen van een onderzoek op basis van interviews, moet je niet onderschatten hoeveel tijd het kost om de afspraken te maken. Bij het maken van de afspraak moet de respondent kunnen kiezen tussen een aantal opties. Je kunt niet verwachten dat iedereen zomaar kan op de datum/tijd die jij voorstelt. Een keuze geven dus. Daarnaast plan je de afspraak ook één of enkele weken van te voren, afhankelijk van hoe druk je de agenda van je gesprekspartner inschat.
Het uitwerken van een interview kost ongeveer net zoveel tijd als het houden van het interview zelf. Houdt hier rekening mee wanneer je de planning maakt van het gehele traject. Een ander aspect bij het plannen is dat het interviewen van een respondent behoorlijk vermoeiend is. Plan er dus niet teveel op een dag. Er is niet echt een regel voor, maar 3 interviews van 1 uur is wel het maximum voor een dag.
Voor de uitwerking van de interviews is het fijn wanneer je kan terugluisteren wat er allemaal gezegd is. Zorg ervoor dat je opnameapparatuur bij je hebt. Bij een interview via team/zoom, enz. is dit makkelijk te regelen. Een live of telefonisch gesprek kan met een smartphone opgenomen worden. Vraag wel altijd toestemming hiervoor en verwijder de gesprekken nadat deze is uitgewerkt.
Bij live gesprekken is de locatie van groot belang. De betrouwbaarheid/veiligheid van de locatie is een factor. Een andere factor is dat het een geluidsarme omgeving is waar je niet gestoord gaat worden. Een derde factor is de neutraliteit. Wanneer je bijvoorbeeld werknemers interviewt over de bedrijfscultuur, dan is een locatie waarbij de leidinggevende in de directe omgeving is, minder geschikt.
Natuurlijk is het van belang dat interviewers objectief en onafhankelijk zijn, echter het is niet te vermijden dat de ene interviewer niet exact dezelfde werkwijze gaat hanteren dan een andere. Hou het daarom bij een klein groepje interviewers (max. 3) en voer de eerste paar interviews samen uit zodat je van elkaar weet hoe de vragen worden gesteld en hoe ver er doorgevraagd moet worden.
Bij het opstellen van een vragenlijst of enquête kun je gebruik maken van verschillende soorten vragen. In deze blog een greep uit de mogelijkheden:
De meest gekozen vraag is de meerkeuze vraag. Hierin geef je de respondent een aantal antwoordopties. Je kunt er zelf voor kiezen hoeveel antwoordmogelijkheden er zijn. Echter moet je niet te veel antwoordopties nemen, dat komt namelijk niet ten goede van je resultaten. Beter gebruik je de optie ‘anders namelijk …’, daar kunnen mensen een antwoordmogelijkheid opgeven als deze er niet tussen staat. Bij een meerkeuze vraag kun je er voor kiezen dat de respondent 1 antwoordmogelijkheid mag opgeven of meerdere opties.
Voorbeeld:
Wat is je favoriete taartvulling?
Bij een grid maak je een matrix met verschillende opties. In de rijen zet je stellingen en in de kolommen de antwoordmogelijkheden. Op deze manier kun je met één vraag meerdere vragen beantwoorden. Verder kun je vragen terug laten komen, alleen dan op een andere manier beschreven of negatief geformuleerd. Op deze manier kun je testen hoe serieus de respondent de vragenlijst heeft ingevuld.
Voorbeeld:
Wat vond je van de chocoladetaart:
Een slider gebruik je bij vragen met een beoordelingsschaal, bijvoorbeeld 1 t/m 10. De respondent kan de slider verzetten naar het juiste getal. Het is belangrijk dat je de respondent uitlegt wat de waarde van de cijfers zijn op de schaal. Is 1 goed of is juist 10 goed. De slider kun je ook gebruiken bij de vraag hoe waarschijnlijk iemand iets vind. Aan de linkerkant zet je helemaal niet en aan de rechterkant heel erg, je laat de respondent dan de slider verzetten naar het punt dat degene het vindt.
Voorbeeld:
Hoe blij ben je met je taart?
Deze vraag kun je aan de respondent stellen als je wilt weten hoe ver iemand is. Je vraagt aan de respondent in te schatten hoeveel procent er af is. Hiervoor kun je ook een slider gebruiken of je laat de respondent het percentage ingeven.
Voorbeeld:
Hoeveel van de taart is op?
0% = niks verbruikt
100% = alles verbruikt
Vul hier het percentage:
Bij deze vraag geef je de respondent om een aantal punten toe te kennen aan verschillende onderdelen. Je geeft de respondent 10 punten en die mogen verdeeld worden over de verschillende onderdelen. Bij de analyse kun je dan uitrekenen wat de gemiddeldes zijn of welk onderdeel het meeste punten heeft gescoord. Op deze manier kun je zien hoe de respondenten de verschillende onderdelen waarderen.
Voorbeeld:
Verdeel 10 punten over wat je favoriete taart is, waarbij je de meeste punten geeft aan je meest favoriete taart en de minste punten naar je minst favoriete taart.
Chocoladetaart | ___ punten |
Appeltaart | ___ punten |
Kersenvlaai | ___ punten |
Slagroomtaart | ___ punten |
Totaal | 10 punten |
Bij ranking vraag je de respondent om een aantal onderdelen op volgorde van waardering of belang te zetten. Zo zie je welke onderdelen belangrijk zijn of goed worden gewaardeerd door je respondenten. Op deze manier weet je welke onderdelen nog extra aandacht nodig hebben.
Voorbeeld:
Zet de volgende onderdelen van taart op volgorde van bepalend voor je oordeel, waarbij 1 het meest belangrijk is.
___ Deeg
___ Vulling
___ Versiering
___ Afmeting
___ Smaak
Er zijn nog veel meer vragen mogelijk, maar met deze selectie kun je al meer variëren in je vragen. Door te variëren, maak je het ook leuk voor je respondent om de vragenlijst in te vullen. Ze moeten goed lezen en opletten wanneer ze de vragenlijst invullen. Zorg er ook voor dat je vragenlijst niet te lang wordt door slim te kiezen in de soort vraag, kun je wel veel informatie ophalen.
Een dashboard geeft snel inzicht in de huidige stand van zaken. Om deze gemakkelijk te lezen, moet deze wel op een goede manier zijn ingericht. Je wilt namelijk een makkelijk overzicht van data die wordt verzameld. Zelf maken we ook op verschillende vlakken gebruik van dashboards. Het geeft ons inzichten in diverse zaken waar we mee bezig zijn, denk hierbij aan een dashboard voor het bereik en conversie van onze marketingactiviteiten of de kosten en opbrengsten van projecten.
Bij het samenstellen van een dashboard kijken we als eerste welke informatie je wilt inzien en welke data je daarbij nodig hebt. Het is belangrijk om goed na te denken welke informatie relevant is. Je kunt wel alles willen zien in grafieken en tabellen, maar dat maakt het er niet overzichtelijker op. Het is juist belangrijk om alleen de relevante informatie te zien en op andere tabbladen de extra aanvullende informatie. Vaak kijk je steeds naar dezelfde informatie.
Om een ontwerp te maken voor je dashboard is het handig om met geeltjes aan te geven wat voor grafieken en tabellen je wilt in je dashboard. Vervolgens kun je kijken wat er past. Als alles een plekje heeft gekregen ga je het bouwen.
Wanneer een dashboard goed is ingesteld kun je er heel veel informatie uithalen. Zo kan er een tijdslijnfilter in staan waar je mee kunt spelen. Zo kun je alleen de informatie laten zien van een maand, een half jaar of juist een aantal maanden. Zeker voor rapportage kan het handig zijn om de informatie te selecteren van een bepaalde periode.
Door het gebruik van grafieken kun je het verloop zien van bijvoorbeeld acties of aantallen. Door maandelijks naar de grafieken te kijken kun je bijstellen waar nodig. Als er bijvoorbeeld ineens een dip in de aantallen zit kun je hier direct actie in ondernemen zodat het de volgende maand weer verbeterd.
In dashboard maken we graag gebruik van filters. Door filters kun je selecteren op een bepaalde doelgroep, een plaats of ander onderwerp dat je handig vind. Met deze filters kun je de grafieken aanpassen naar de informatie die op dat moment relevant voor je is.
Wil je graag dat we met je meedenken over het inrichten van een dashboard of wat het voor jouw organisatie kan betekenen? Lees het hier.
Voordat je begint met de analyse van je data is het goed om te controleren of het veldwerk dat je hebt gedaan goed is uitgevoerd en geregistreerd. Zijn er voldoende respondenten, voldoende vragenlijsten, voldoende observaties, voldoende interviews? En het belangrijkste is je data representatief? Is het representatief voor de gehele onderzoekspopulatie? Om hierachter te komen is het goed om aan datacleaning te doen. Maar wat is dat eigenlijk?
Bij interviews of groepsgesprekken wil het wel eens dat er bepaalde informatie onderbelicht blijft. Kijk daarom halverwege je veldwerk of je al antwoord kunt geven op je onderzoeksvragen. Je hebt dan namelijk nog tijd om extra gesprekken in te plannen of je protocol aan te passen. Op deze manier krijg je alsnog de informatie boven die je nodig hebt. Wanneer je hier aan het eind van je veldwerk achter komt, moet je extra gesprekken inplannen om alsnog achter de informatie te komen.
Bij kwantitatieve data is het belangrijk om te controleren of je voldoende respons hebt ontvangen. Tevens kijk je of de aantallen representatief zijn voor je onderzoekspopulatie. Doe je een onderzoek in de provincie en je hebt alleen respons van één gemeente, dan is dit niet representatief voor de gehele provincie. Naast representativiteit moet je ook controleren op fouten bij invoeren en registreren. Als je fouten ontdekt in de registratie, kijk of je het kunt corrigeren zonder dat de data wordt veranderd. Als je veel fouten ontdekt, kijk waar de fout ligt en pas de vragenlijst aan en controleer intensiever de data.
Controleer of respondenten minimaal 2/3 van de vragen die ze hebben gekregen hebben ingevuld. Let op: soms krijgen ondervraagden slechts een deel van de vragenlijst te zien. Houd daar rekening mee. Als iemand minder dan 2/3 van de vragen heeft ingevuld, moet deze uit het databestand worden verwijderd.
Bekijk tevens de antwoorden van de respondenten, spreken de antwoorden elkaar tegen? Zijn de vragenlijsten ingevuld om ervan af te zijn, als iemand bijvoorbeeld altijd het eerste antwoord heeft aangekruist. Als er te veel interne tegenspraak is, de vragenlijst te onzorgvuldig ingevuld is of veel antwoorden ontbreken, verwijder dan de gehele vragenlijst. Deze antwoorden zijn niet betrouwbaar.
Zorg dat je een databestand hebt waar de goede data in staat, waarmee je de analyse kunt maken. Hierdoor wordt je analyse makkelijker en representatief.
Regelmatig krijgen we de vraag of we mee willen kijken naar een vragenlijst. We krijgen dan een enorme vragenlijst met veel te veel vragen. Dat is natuurlijk begrijpelijk, want je wilt zoveel mogelijk informatie krijgen van je respondenten. Maar hoe lang mag een vragenlijst nu zijn? Wij hebben hiervoor een aantal stelregels die wij zelf altijd toepassen.
Wanneer wij een vragenlijst opstellen mag die niet langer zijn dan 3 à 4 A4. Niet alleen om de inhoud maar ook om praktische redenen. Je kunt het makkelijk printen op 2A4 voor en achterkant. Het blijft overzichtelijk voor degene die het invult.
Door de beperking van ruimte moet je ook prioriteiten stellen aan de vragen die je wilt stellen. Bedenk daarom goed van te voren welke vragen echt van belang zijn en welke vragen alleen maar ‘nice to know’ zijn. Het ligt natuurlijk aan het soort vragen, hoeveel vragen dat het zijn. Hierbij gaat de volgende regel in werking.
Je hebt natuurlijk niet alleen vragenlijsten op papier, tegenwoordig heb je steeds meer vragenlijsten die je online invult. Hierbij (maar ook voor papieren vragenlijsten) hanteren wij de regel dat het niet langer dan 5 minuten mag duren. Dit is de tijd die je makkelijk van iemand kunt vragen om een paar vragen te beantwoorden. Langer kan natuurlijk wel, maar dan raakt de respondent de concentratie kwijt voor het invullen van de vragenlijst. Wanneer het te lang duurt zal de respondent halverwege stoppen met invullen en dan ben je de respondent kwijt. Maak de vragenlijst daarom niet te lang en makkelijk invulbaar. Dat betekent ook zo min mogelijk open vragen, maar wel de mogelijkheid om opmerkingen te maken.
De belangrijkste regel voor de lengte is je doelgroep. Het is daarom goed om voor jezelf op te stellen wie je doelgroep is en jezelf een aantal vragen te stellen. Hoeveel tijd heeft de doelgroep om een vragenlijst in te vullen? Welk medium gebruik de doelgroep om de vragenlijst in te vullen? Toch wel belangrijke vragen die de lengte van je vragenlijst bepalen. Oudere bezoekers in een museum hebben meer tijd om een vragenlijst in te vullen dan een jongeren die je op straat aanspreekt.
Natuurlijk zijn dit regels die wij hanteren en wij merken dat ze voor ons werken. Respondenten vullen makkelijk een kortere duidelijke vragenlijst in dan een lange uitgebreide vragenlijst. Bedenk daarom goed wat je wilt bereiken met je vragenlijst en welke informatie je nodig hebt.
Het effect vaststellen van je interventie, kan met een experimenteel onderzoek. Hierbij kijk je door middel van twee groepen of je interventie of activiteit werkt. De ene groep krijgt de interventie (experimentele groep) en een soortgelijke groep krijgt de interventie niet (controle groep). Je bekijkt dan de verschillen tussen de twee groepen. Je kunt ook kijken naar verschillen voor en na ‘het experiment’: je interventie of activiteit. Je kunt dit ook combineren. Wij leggen je uit hoe je een experimenteel onderzoek kunt inzetten.
Voordat je je interventie of activiteit gaat uitvoeren wil je weten wat je nulpunt is. Je wilt weten wat de houding of stand van zaken tot nu toe is. Je doet dan een nulmeting: een onderzoek om erachter te komen waar je doelgroep op dat moment staat.
Nadat je je interventie of activiteit hebt doorgevoerd ga je een nameting uitvoeren. Hoe denken mensen er nu over. Deze resultaten vergelijk je met de data die je hebt verzameld bij de nulmeting. Hierdoor zie je het effect van de manipulatie.
Je kunt er zelfs voor kiezen om twee nametingen te doen: één vlak na de interventie en één een half jaar later. Hiermee breng je het korte termijn en het lange termijn in beeld.
De doelgroep wordt in twee groepen verdeeld, een experimentele- en controlegroep. De experimentele groep neemt deel aan het experiment: je interventie of activiteit. En de controlegroep niet of gebruikt de oude dienstverlening/product. Je kunt ook kijken of je naast je doelgroep, die volledig deelneemt aan je interventie of activiteit, een soortgelijke groep kunt vinden voor je onderzoek. Door na de interventie of activiteit de twee groepen te vergelijken zie je het effect van ’je experiment’.
Door de voor- en nameting van de experimentele en controlegroep met elkaar te vergelijken, krijg je een duidelijk beeld van de effecten van je interventie. Op basis hiervan kun je het besluit nemen om door te gaan met het oude of juist te gaan voor het nieuwe. Tevens kan je ervoor kiezen om het nieuwe verder te ontwikkelen.
Heb je hulp nodig bij het opzetten van een experimenteel onderzoek? Wij denken graag met je mee over een effectmeting door middel van een experimenteel onderzoek.
Met een dashboard kun je veel sturingsinformatie verkrijgen. Zo kan een dashboard zeer interessant zijn als je weet welke informatie je nodig hebt om te kunnen sturen. Op welke indicatoren wil je zicht hebben en hoe geef je deze op een juiste manier weer? Maak daarom gebruik van dit stappenplan waarmee je jouw sturingsinformatie helemaal inzichtelijk maakt.
Stap 1: Stel indicatoren vast
Bepaal in de eerste stap welke informatie je nodig hebt om beslissingen te kunnen nemen. Wil je besluiten of je met een product of actie door wilt gaan? Kijk dan welke informatie je hiervoor nodig hebt. Waar moet het product of de actie allemaal aan voldoen? Wanneer neem je een besluit om bij te sturen of door te gaan zoals het nu gaat?. Maak er meetbare indicatoren van.
Stap 2: Zoek informatiebronnen
Zoek naar handige informatiebronnen die je kunt gebruiken om informatie inzichtelijk te krijgen. Denk hierbij aan verkoopcijfers, het aantal bezoekers op je website en de aanmeldingen voor je nieuwsbrief. Ook je ticketsysteem geeft je een hoop bruikbare informatie. Let hierbij ook op in welk format de informatie wordt opgeslagen en hoe je deze kunt uitlezen. Heb je daar speciale programma’s voor nodig of kun je het openen in Excel?
Stap 3: Geef de informatie grafisch weer
Er zijn verschillende manieren om informatie grafisch weer te geven. Maak bijvoorbeeld gebruik van een stroomschema met grafieken ter ondersteuning. Bedenk hierbij wel of je het dashboard op één tabblad wilt hebben of dat je een document met verschillende tabbladen nodig hebt. Zo kun je bepalen wat voor soort grafiek het beste past.
Stap 4: Bouw het dashboard
Misschien vind je het zelf leuk om met Excel aan de slag te gaan. Maar om een mooi en inzichtelijk dashboard te bouwen, moet je verschillende informatiebronnen aan elkaar koppelen. En niet iedereen heeft de vaardigheden om dit te doen. Zoek daarom iemand die het dashboard voor je kan bouwen en overleg regelmatig met elkaar of het dashboard aan jouw wensen voldoet.
Stap 5: Test het dashboard
Is je dashboard gebouwd? Test deze in het begin dan goed. Krijg je de juiste informatie om te sturen? Zijn de belangrijkste indicatoren die je bij stap 1 hebt opgesteld inzichtelijk? Zie het als een proefperiode waarna je nog aanpassingen kunt doen. Het kan zomaar zijn dat je nog informatie mist of dat je alleen gebruikmaakt van bepaalde grafieken en de rest eigenlijk niet belangrijk is.
Meer informatie
Hulp nodig bij het proces rondom het maken van een dashboard? Wij helpen je graag. Hier vind je meer informatie over een dashboard ontwerpen.
Het wil wel eens voorkomen dat je vastloopt in je onderzoek. Je was lekker op gang, maar ineens zie je het niet meer. Hoe kun je dan verder? Ga je opnieuw beginnen? Maar ja.. als je al data hebt verzameld kun je moeilijk opnieuw beginnen. Met deze tips kun je verder met je onderzoek. Het zijn zeker ook tips die van toepassing zijn als je met een onderzoek gaat starten.
Wil je meer tips krijgen over het doen van onderzoek kijk dan op onze website en download het stappenplan: Overzicht in je onderzoek.