Respondenten: wanneer neem je ze wel of niet mee in de analyse?

In deze blog richten we ons op kwantitatief onderzoek waarbij via een vragenlijst data wordt verzameld, meestal door gebruik te maken van een online tool. Nu wil je als onderzoeker in de meeste gevallen zoveel mogelijk data om de analyses op uit te voeren. Een ander doel is om zo min mogelijk ‘vervuiling’ in het bestand te hebben. Dat maakt je onderzoeksresultaten namelijk minder betrouwbaar.

Vervuiling in een respondentenbestand kan ontstaan door:

• Dubbele respondenten
• Respondenten die zo maar wat antwoorden hebben ingevuld
• Respondenten die niet tot de doelgroep behoren
• Respondenten die slechts een klein deel van de vragenlijst hebben ingevuld

Dubbele respondenten

Er zijn 2 manieren om een online vragenlijst te versturen. Via een gepersonaliseerde link of via een open link. Het probleem van dubbele respondenten doet zich alleen voor bij een open link aangezien een gepersonaliseerde link maar 1x gebruikt kan worden.

Het probleem van dubbele respondenten doet zich met name voor wanneer er een beloning gekoppeld wordt aan deelname aan het onderzoek. Dit is helaas steeds vaker nodig om voldoende respons te krijgen. Wanneer je een vragenlijst vaker invult heb je logischerwijs meer kans bij een verloting van een prijs. Voor het versturen van een beloning heb je een mailadres nodig. Heel eenvoudig is om te controleren op dubbele mailadressen. Nu kan het zijn dat meerdere mensen gebruik maken van hetzelfde mailadres. Vraag dan behalve mailadres ook naar de naam en controleer dan op dubbelen. Ook kan in de introtekst van de vragenlijst vermeld worden dat er per mailadres slechts 1 beloning kan worden verstrekt.

Al met al geen waterdicht systeem, maar voldoende om een groot deel van de ‘fraudeurs’ te ontmantelen.

Respondenten die zo maar wat antwoorden hebben ingevuld

Ook dit probleem doet zich vooral voor wanneer er sprake is van een beloning, maar ook als leerlingen een vragenlijst klassikaal (verplicht) invullen. Respondenten willen in deze gevallen snel klaar zijn en vullen de vragenlijst niet serieus in. Je kunt dit herkennen door een paar controles uit te voeren:

• Deze respondenten zijn vaak heel snel klaar met het invullen. Ze raffelen de vragenlijst vaak af. Bereken de invultijd door de begin- en eindtijd van elkaar af te trekken. Wanneer een vragenlijst van gemiddeld 15 minuten in 2 minuten is ingevuld dan kun je hier vraagtekens bij zetten. Bekijk de betreffende respondent wel goed voordat je deze delete. Het kan ook zijn dat door doorverwijzingen deze respondent veel minder vragen krijgt en daardoor snel klaar is.
• Er zijn respondent die ongezien overal hetzelfde antwoord op geven en de vragenlijst dus niet serieus in hebben gevuld. Deze respondenten zijn over het algemeen ook snel klaar. Controle hierop kan dus in combinatie met het vorige punt, maar ook door te kijken of bijvoorbeeld stellingen allemaal hetzelfde antwoord hebben (zowel positief als negatief geformuleerd).
• Soms worden er onrealistische antwoorden gegeven, bijvoorbeeld iemand die 30 uur per dag TV heeft gekeken. Het kan een incident zijn, dan kan alleen dat antwoord verwijderd worden. Zijn er meer twijfels bij deze respondent, dan is het verstandig deze respons in zijn geheel te verwijderen.

Respondenten die niet tot de doelgroep behoren

Bij het gebruik van een open link die bijvoorbeeld via sociale media verspreid wordt, kan het voorkomen dat er respons binnenkomt van respondenten die niet tot de doelgroep behoren ondanks dat dit vanzelfsprekend duidelijk in de introtekst is aangegeven. We weten allemaal dat introteksten slecht of niet worden gelezen. Om dit verder te voorkomen is het verstandig om aan het begin van de vragenlijst een filtervraag te zetten. Gebeurt het toch dat er respondenten in je databestand zitten die niet tot de doelgroep behoren, is het vanzelfsprekend verstandig om die te verwijderen en daarmee vervuiling van je bestand tegen te gaan.

Respondenten die slechts een klein deel van de vragenlijst hebben ingevuld

Iets wat helaas veel gebeurt, is dat respondenten wel beginnen aan een vragenlijst, maar deze niet afmaken. Nu is het de vraag wanneer je respondenten wel of niet meeneemt bij deels ingevulde vragenlijsten. Hier zijn geen harde regels voor. Ik ben hier zelf redelijk streng in en neem respondenten mee als ze minimaal de helft hebben ingevuld. Probeer respondenten te ontmoedigen om de vragenlijst af te breken. Zorg voor kwalitatief goede vragenlijsten en probeer zo min mogelijk vragen verplicht te stellen.