De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?

Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.

Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.

De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.

Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.

Foutenmarge: 

Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.

Homogeniteit van de onderzoekspopulatie:

De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.

Click on the flag to read this article in English

De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?

Door een vragenlijst te testen, kun je achterhalen of deze valide is. Dit testen kun je doen door de vragenlijst aan een testpersonen voor te leggen en ze tijdens het invullen hardop te laten denken. Een andere mogelijkheid is de vragenlijst voorleggen en een testgroep en hen vragen te laten stellen zodra een vraag onduidelijk is. Het is hierbij belangrijk dat je testpersonen/-groep lijken op je onderzoekspopulatie. Dus als je de vragenlijst wilt voorleggen bij jongeren van 15 tot 18 jaar, moeten je testpersonen/-groep bestaan uit jongeren van 15 tot 18 jaar.

Na deze test, met name met een testgroep, ga je de antwoorden analyseren en vraag je advies van een collega onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?

Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten zoals houding of ontwikkeling is uitgebreid testen nodig om een valide vragenlijst te krijgen.

Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.

Naast validiteit spreek je bij het doen van onderzoek ook vaak over het begrip betrouwbaarheid. Wil je hier meer over weten? Lees dan ook mijn blog over betrouwbaarheid.

Een vragenlijst uitzetten is een goede methode om veel mensen op dezelfde manier te bevragen. Bij voldoende respons krijg je een representatief beeld van je onderzoeksgroep. Maar hoe zorg je voor voldoende respons?

1. Selecteer je onderzoeksgroep nauwkeurig. Schrijf niet zomaar iedereen aan of willekeurig een steekproef uit het telefoonboek, maar kijk van wie je wilt dat ze je vragenlijst invullen. Hoe oud zijn ze? Een bepaalde beroepsgroep? Hobby’s? Als je onderzoeksgroep geïnteresseerd is in je onderwerp, zijn ze eerder geneigd je vragenlijst (volledig) in te vullen.
2. Kijk hoe je je onderzoeksgroep het beste kunt bereiken. Kun je ze mailen of bevragen op een plek (na het bezoek van een museum)? Of per post, omdat ze geen internet hebben. Je kunt ook meerdere mogelijkheden bieden, zodat respondenten zelf kunnen kiezen hoe ze de vragenlijst invullen. Wil je specifiek jongeren bereiken? Lees dan deze blog waarin we specifiek ingaan op het bereiken van deze doelgroep.
3. Maak het je respondenten zo gemakkelijk mogelijk. Als je digitaal een vragenlijst afneemt, zorg voor een werkende link, zodat je respondenten meteen door kunnen klikken. Als inloggen met een wachtwoord niet perse nodig is voor bv koppeling van data, laat dat dan achterwege. Als je schriftelijk vragenlijsten afneemt, zorg voor een antwoordenveloppe en een antwoordnummer. Als je ergens staat met schriftelijke vragenlijsten, zorg voor goed schrijfmateriaal en een tafel (en een stoel). Zie voor meer tips mijn blog 'Hoe maak je het respondenten zo gemakkelijk mogelijk'.
4. Houd de vragenlijst zo kort mogelijk. Vraag alleen het noodzakelijke. Niemand vindt het fijn om een ellenlange vragenlijst in te vullen. Stel ook alleen relevante vragen en verwijs indien nodig door (indien nee, ga door naar vraag 10). Laat digitaal ook zien hoe lang de vragenlijst is.
5. Zorg er voor dat de vragen duidelijk zijn en dat het voor de respondent duidelijk is wat van hem/haar wordt verwacht. Ook met doorverwijzen met vragen. Digitaal kun je dit gemakkelijk instellen (als vraag 1 is ja, ga door naar vraag 5), maar zorg dat dit op papier ook duidelijk is.
6. Stel alleen vragen verplicht als het  hoogst noodzakelijk is. Anders zorgen verplicht in te vullen vragen er vooral voor dat mensen eerder afhaken.
7. Maak duidelijk waarom het belangrijk is dat ze de vragenlijst invullen. Let hierbij met name op het belang van de respondenten. ‘Met deze informatie kunnen we …’
8. Bedank je respondenten, zo mogelijk met een klein presentje. Je attentheid wordt gewaardeerd.

Wil je meer weten over respondenten en het verhogen van je respons? Lees dan onze blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?

Click on the flag to read this article in English

Met een nulmeting wordt de startpositie bepaald van een project, nieuw beleid, campagne of verandertraject. Op deze manier kun je meten wat de huidige stand van zaken is en deze later combineren met een volgende meting om het effect vast te stellen. Er een aantal redenen om een nulmeting uit te laten voeren. Door een nulmeting te doen, kun je namelijk:

1. Effecten meten.
2. Het succes van het project, beleid, campagne vastleggen.
3. Gedurende het project, beleid, campagne de vooruitgang monitoren.
4. Inzicht krijgen in wat er al is en wat er moet veranderen om je doel te bereiken.
5. Je actieplan bepalen aan de hand van concrete aanknopingspunten. Wat moet eerst gebeuren en wat kan later? Waar concentreer je je op?
6. Bepalen welke sturingskengetallen interessant zijn om de voortgang mee te monitoren.
7. Je ambitieniveau uitspreken.
8. Sterke en zwakke punten benoemen en daar gedurende het proces rekening mee houden.
9. Bepalen waar je direct resultaat kunt boeken.

Een nulmeting is dus in veel gevallen goed om te doen wanneer je iets nieuws gaat beginnen. Het geeft je veel informatie die je later kunt gebruiken. Je krijgt door een nulmeting meer inzicht in je project en het bereik van je doelen die je eerder hebt opgesteld.

Ga je een nieuw project of nieuw beleid uitvoeren en wil je daarvan de effecten meten. Wij denken graag met je mee over de mogelijkheden.

Interessante linkjes naar blogs over het meten van effecten:

Doen we de goede dingen?

Evalueren-om-je-project-te-verbeteren

Monitoren en evalueren: Wat is wat?

Waarom wil je effecten meten?

Kun je zonder nulmeting ook effecten meten

Tien tips voor het meten van effecten