Hoe mooi en uitgedacht een plan ook is, de realiteit verloopt vaak anders. Je verwacht vlekkeloos van start naar het eindresultaat te gaan. Maar tussen die twee momenten zitten een hoop obstakels die je moet overwinnen. Maar dat betekent niet dat je niet over die obstakels heen kunt komen of dat je je plan niet kunt aanpassen. Hieronder geef ik vijf tips:

1. Probeer vooruit te kijken
Kijk kritisch naar je plan en bedenk waar het fout kan gaan. Probeer vooruit te bedenken waar mogelijk beren op de weg komen. Ben je bijvoorbeeld afhankelijk van iemand, zorg er dan voor dat je tijdig begint met het zorgen voor medewerking. Heb je een samenwerkingspartner met andere belangen, zorg dan voor goed overleg en afstemming.

2. Focus op je onderzoeksdoel en onderzoeksvraag
Antwoord op je vragen is wat telt. Als iets tegen zit, kun je kijken of er andere manieren zijn om antwoord op je vraag te krijgen. Kun je bijvoorbeeld ook deelnemers observeren als je onvoldoende respons krijgt op een vragenlijst. Of zijn ze wel bereid mee te werken aan een telefonisch interview. Het is belangrijk de juiste informatie te verzamelen en dat deze valide is. Welke methode je gebruikt is minder belangrijk.

3. Bedenk een plan B
Stel dat je vierhonderd respondenten nodig hebt voor je vragenlijst. Maar mensen zijn niet zo bereidwillig als je had gehoopt. Wat ga je dan doen? Houd een plan B achter de hand, zodat je onderzoek niet vastloopt op dit punt. Hoe kun je mensen verleiden om mee te doen aan je onderzoek? En waar kun je je respondenten nog meer bereiken?

4. Praat met anderen
Op sommige momenten kun je het niet alleen, maar heb je hulp van anderen nodig. Vooral als je het even niet meer ziet zitten, kan praten met anderen al helpen om je ‘back on track’ te krijgen. En soms kunnen anderen jou helpen om je nieuwe ideeën te geven of een plan B te bedenken. Ook kan het helpen om je onderzoek uit te leggen aan iemand die totaal geen verstand van het onderwerp heeft. Al pratend kun je op nieuwe ideeën of inzichten komen.

5. Het is niet erg om fouten te maken
Bijna geen enkel plan verloopt vlekkeloos. Het gaat met vallen en opstaan. Soms ben je een aantal dagen kwijt met een idee dat uiteindelijk toch niet blijkt te werken. Onderzoek doen kost tijd. Houd daar rekening mee en bedenk dat het niet erg is om fouten te maken.

Bij het opzetten van een onderzoeksopzet komen er allerlei vragen naar boven. Veel is interessant, maar wat gaat je écht verder helpen? Probeer dit onderscheid steeds te maken tijdens alle fases van je onderzoek: bij het opstellen van je plan, het ontwerpen van je instrument, het verzamelen van je data, maar ook bij de analyse en rapportage. Welke informatie heb je nodig om je doel te bereiken en wat is ‘slechts’ interessant.

Niet verdwalen
Een onderzoek moet informatie opleveren. Maar teveel informatie is ook niet fijn. Je verdwaalt in je data en je kunt je onderzoeksvragen niet meer helder beantwoorden. Als je bijvoorbeeld een vragenlijst maakt, is het heel makkelijk om ‘die ene vraag’ er nog even in te stoppen, omdat het zo leuk is om te weten. Maar zullen de antwoorden ook echt nuttig zijn voor je onderzoek? Vraag jezelf daarom af welke informatie je écht nodig hebt om je onderzoeksvraag te beantwoorden.

Maak daarnaast een overzicht van de informatie die je al bezit. Zo voorkom je dubbel werk.

Helder doel opstellen

Zorg er voor dat je een helder doel voor ogen hebt. Welke informatie moet je onderzoek opleveren? Stel dat je wilt weten hoe je bezoekers jouw tentoonstelling ervaren. Dan is dat waar je onderzoek naar gaat doen. Houdt bij het opstellen van de vragenlijst steeds je doel erbij, zodat je alleen onderzoekt wat je ook echt wilt onderzoeken.

Keuzes maken
Maak keuzes in wat je wilt weten. Hoe doe je dat? Blijf deze vragen stellen om die keuzes goed te kunnen maken:

• Hoe belangrijk is het om dit te weten?
• Kan ik met deze informatie mijn onderzoeksvraag beantwoorden?
• Ga ik deze informatie ook echt ergens voor gebruiken?
• Hoe erg is het om deze informatie níét te hebben?
• Voor wie is het belangrijk dat we deze informatie hebben?
• Heb ik deze informatie al ergens anders?

1. Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
2. Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
3. Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
4. Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
5. Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
6. Stap af van containerbegrippen, maar formuleer zo exact mogelijk.

Veel praktijkonderzoeken stoppen te vroeg. Onderzoeksvragen worden geformuleerd, data worden verzameld en conclusies worden getrokken. Maar dan houdt het helaas op. Met alleen de conclusies ben je er nog niet. Om aan de slag te kunnen met een onderzoek heb je actiepunten nodig. Onderzoek doe je namelijk niet voor de lol, maar omdat je iets wilt DOEN met de informatie die je hebt verzameld.

Je actiepunten sluiten aan op wat je wilde doen met de uitkomsten van je onderzoek. Als je oorspronkelijk doel was je programma beter aan te laten sluiten bij je doelgroep, dan hebben je actiepunten betrekking op het aanpassen van het programma, het veranderen van je communicatiemiddelen of het uitbreiden van een succesvol concept.

Hoe doe je dat?

Tijdens het onderzoek leer je snel veel over het onderwerp. Je krijgt grip om details, de pluspunten en de verbeterpunten. Het is dan gemakkelijk om oplossingen te bedenken en actiepunten te formuleren. Daarbij wordt je vaak geholpen tijdens het onderzoek, omdat uit je data ook oplossingen naar voren komen. Respondenten reiken je tijdens interviews mogelijke oplossingen aan. Ook in een vragenlijst kun je hier naar vragen.

Bedenk dus tijdens je onderzoek al dat je op het einde actiepunten gaat formuleren. Als je bij de dataverzameling en de analyse al aandacht hebt voor oplossingen en actiepunten, is het gemakkelijk deze stap ook te zetten. Bij het schrijven van je conclusies kun je er gemakkelijk actiepunten achter zetten. Zorg ervoor dat dit steeds een doorgaande lijn is: vraag → oplossing(en) → mogelijke actiepunten.

Mijn onderzoeken sluit ik af met conclusies en actiepunten. Dat doe ik door tijdens mijn onderzoek steeds overzicht te houden op alle vragen en drempels, oplossingen en argumenten en aansluitend mogelijke actiepunten. Graag kijk ik samen met de opdrachtgevende organisatie wat vervolgens praktisch mogelijk is. Het verschilt namelijk per organisatie wat kan en wat bij hen past.

Het is niet altijd nodig om zelf data te verzamelen. Je kunt ook gebruik maken van bestaande bronnen. Denk hierbij aan databestanden die je kunt kopen bij bijvoorbeeld SCP of CBS, maar ook aan je eigen administratie of kassaregistratiesysteem. Je maakt gebruik van bestaande databestanden als je meer wilt weten over een bepaald onderwerp waar landelijk gegevens over worden verzameld of als je kwantitatieve data wilt over je eigen organisatie. Er wordt al veel data verzameld. Maak daar slim gebruik van.

Tips:

• Formuleer een duidelijk doel/onderzoeksvraag en deelvragen die je wilt beantwoorden met het bestaande bronnenonderzoek;
• Zorg voor steekwoorden/zoekwoorden die afgeleid zijn van je doel/onderzoeksvraag. Dit geeft je een richting om relevante bronnen te zoeken;
• Verzamel actuele informatie;
• Zorg dat de bronnen relevant zijn voor jouw probleemstelling;
• Houdt bij welke informatie je waar vandaan haalt, zodat jij en/of de opdrachtgever kan zien welke bronnen zijn gebruikt;
• De informatie die bestaande data oplevert, sluit soms niet volledig aan op de probleemstelling of is incompleet. Het is dan slim om bestaande bronnenonderzoek met een andere onderzoeksmethode te combineren.

Kijk hier voor een overzicht van verschillende onderzoeksmethoden

Click on the flag to read this article in English

De mysterie shopper is iedereen bekend: iemand die met een opdracht gaat winkelen of producten retourneren om te kijken hoe de ervaring is voor de klant en hoe medewerkers omgaan met klanten. Een variatie hierop is de mysterie bezoeker: iemand die zich voordoet als een alledaagse bezoeker en zo de gehele consumentenervaring registreert. Je kunt de mysterie bezoeker hierbij een extra opdracht meegeven, bijvoorbeeld een klacht. De mysteriebezoeker vult na afloop van het bezoek een vragenlijst in met criteria.

Je kiest voor een mysterie bezoeker als klantgerichtheid, de faciliteiten van je organisatie of commerciële vaardigheden van medewerkers wilt analyseren. Het doel is om op basis van de klantervaring te evalueren en waar mogelijk te verbeteren.

Een mysterie bezoeker kan verder gaan in het geven van zijn/haar ervaring en geeft geen sociaal wenselijke antwoorden. Bij echte bezoekers heb je wel het risico op sociaal wenselijke antwoorden. Een ander voordeel is dat je je bezoekers niet belast. Je bent dan ook niet afhankelijk van respondenten.

Tips

1. Zorg voor vooraf opgestelde scripts en observatieformulieren.
2. Bepaal goed welk aspect van de organisatie je wilt screenen: klantgerichtheid van de medewerkers, de aanwezige faciliteiten of consumentenproces?
3. Beslis vooraf of de mysterie bezoeker zich als een gemiddelde bezoeker voordoet omdat je een beeld wilt van de normale gang van zaken. Of wil je dat er moeilijke vragen gesteld worden, een probleem is om te testen hoe de organisatie daarop reageert.
4. Laat je beeld niet bepalen door één bezoeker of medewerker, maar door het grotere geheel.
5. Zet een mysterie bezoeker in die een objectief beeld kan schetsen over de organisatie.
6. Naast een fysiek bezoek, kun je mysteriebezoeker inzetten via andere vormen: telefoongesprek, e-mail en websiteanalyse.

De juiste keuze en opmaak voor grafieken en diagrammen zorgt ervoor dat de onderzoeksresultaten gelezen en begrepen worden. Probeer dus altijd te bedenken wat de belangrijkste boodschap is die je wilt overbrengen en of de grafiek deze boodschap ook daadwerkelijk overbrengt. Vooral bij kwantitatief onderzoek is het zaak om de juiste grafieken en opmaak te kiezen die de data goed weergeven. Ik geef een aantal tips:

Algemeen

1. Sorteer de antwoorden op logische volgorde (bijvoorbeeld van oud naar nieuw) of aan de hand van de score (hoogste score bovenaan).
2. Schrijf vragen en afkortingen voluit.
3. Geef de diagram of grafiek altijd een duidelijke titel. Zo kan men in een oogopslag zien waar het over gaat.
4. Zorg dat de percentages duidelijk leesbaar zijn.
5. Laat onnodige onderdelen weg in je grafiek, maar zorg er wel voor dat de grafiek duidelijk leesbaar blijft. De horizontale en verticale lijnen maken het beeld bijvoorbeeld vaak rommelig, net zoals as-streepjes. Een legenda kan daarentegen wel handig zijn.
6. Zorg ervoor dat de grafiek groot genoeg is zodat alles goed leesbaar is.
7. Geef in de tekst een toelichting bij de grafiek. Sommige mensen zijn namelijk minder beeldend ingesteld en vinden het prettiger om de bevindingen in tekstvorm te lezen.
8. Gebruik kleuren ter verduidelijking. Geef een negatief antwoord een rode kleur en een positief antwoord een groene kleur. Zijn er geen goede/foute antwoorden in de grafiek, dan is het leuk om de kleuren van je huisstijl te gebruiken. Gebruik een opvallende kleur voor datgene dat je wilt benadrukken.

 Wanneer welke grafiek?

9. Kies een taartgrafiek als de respondenten maar één antwoord konden kiezen. De grafiek geeft dan een beeld van de verdeling van je onderzoeksgroep.
10. Kies een staafdiagram (staand of liggend) als respondenten meerdere antwoorden konden geven of als je verschillen tussen twee groepen wilt laten zien.
11. Een lijngrafiek gebruik je om te laten zien hoe iets zich in verloop van tijd heeft ontwikkeld of om een trend te laten zien.
12. Spreidingsdiagrammen (puntenwolk) gebruik je als je relaties tussen verschillende gegevensreeksen wilt aantonen. Je toont een verband aan als je door een puntenwolk een rechte lijn kunt trekken waar de punten dichtbij liggen.

Veel mensen denken bij interviewen aan de veelgebruikte methode waarin de interviewer vragen stelt aan de geïnterviewde. Maar wist je dat er naast deze methode nog meer manieren zijn waarop je een interview kunt afnemen? In deze blog geef ik je een aantal voorbeelden van interviewmethoden.

1. Mindmapping

Vraag je respondenten om zoveel mogelijk informatie op te schrijven rondom een centraal onderwerp. Geef je respondent(en) hiervoor voldoende tijd en bespreek daarna samen de mindmap.
Het voordeel van mindmapping is dat je respondenten de vrijheid geeft hun eigen gedachten in kaart brengen en hen hierbij de mogelijkheid geeft om op onverwachte ideeën te komen. Zo open je tijdens het interview deuren die anders gesloten zouden blijven.

2. Post-it

Vraag je respondenten op een paar momenten tijdens het interview het interview tot dan toe samen te vatten in trefwoorden op post-it blaadjes. Vraag deze post-its ook te structureren. Na afloop van het interview bespreek je samen de inhoud en de structuur van de beschreven notitieblaadjes. Omdat je de respondent zelf structuur laat aanbrengen in het interview en de gelegenheid geeft hier gelijk op te reageren, verhoog je de validiteit van je onderzoek.

3. Gebruik maken van bestaand (beeld)materiaal

Tijdens het interview laat je de respondent(en) reageren op een afbeelding, film, geluidsfragment of data. Je kunt aan de hand van het materiaal na een eerste reactie verschillende vragen stellen of een (groeps)discussie starten.
Het gebruik van materiaal maakt een interview levendiger. Het gesprek wordt anders door te praten over iets tastbaars dat voor je ligt of iets wat je net samen bekeken hebt. Door een eerste reactie af te wachten kun je onverwachte reacties krijgen.

4. Samen een schema of tijdslijn invullen

Je kunt je interview structureren met een schema of tijdslijn die je samen invult. Respondenten kunnen hierdoor hun ervaring, mening en kennis structureren. Gedurende het interview vallen zwarte gaten op die je samen kunt invullen of verklaren. Bij een lange tijdslijn kun je bij een groepsinterview gebruik maken van een witte behangrol. Zo heeft iedereen inzicht in de tijdsbalk.
Respondenten leggen tijdens het vullen van een schema of tijdslijn accenten. Het helpt respondenten als je visueel werkt.

Wil je meer tips over het houden van een interview? Lees dan ook mijn andere blogs: Hoe maak je het respondenten zo gemakkelijk mogelijk? & 15 tips voor een goed interview

Click on the flag to read this article in English

Om ervoor te zorgen dat respondenten jouw vragen beantwoorden, wil je het hen zo gemakkelijk mogelijk maken. Zij doen jou namelijk een gunst door  te helpen met je onderzoek.

1. Breng het doel van je onderzoek over aan de respondenten. Zij willen namelijk het gevoel hebben dat er echt iets met de vragenlijst gedaan wordt.
2. Houd de vragenlijst zo kort mogelijk en maak vooral gebruik van duidelijke gesloten vragen. Stel alleen vragen die je nodig hebt voor je onderzoek.
3. Zorg ervoor dat je vragenlijst zo goed mogelijk is vormgegeven. Zo voorkom je onduidelijkheid bij respondenten en vergroot je de validiteit van je onderzoek.
4. Geef aan hoe lang het interview duurt. De geïnterviewden weten dan waar ze rekening mee moeten houden. Houd je aan de afgesproken tijd.
5. Zorg voor een werkende link bij een digitale vragenlijst.
6. Geef respondenten indien mogelijk na deelname aan een vragenlijst een klein presentje als dank voor hun deelname aan het onderzoek.
7. Zorg bij een (groeps)interview voor een kop thee/koffie met een koekje. Maak het gesprek op die manier wat aangenamer.
8. Vraag respondenten na afloop van een vragenlijst of interview of ze de resultaten van het onderzoek willen ontvangen.
9. Vraag respondenten zich voor te bereiden als je specifieke gegevens nodig hebt.
10. Verwijs direct naar de digitale vragenlijst en gebruik alleen indien nodig een inlogpagina (kun je vermijden door een unieke link) of een inleidende pagina. Deze laatste wordt zelden gelezen.
11. Laat respondenten weten hoe ver ze zijn in een digitale vragenlijst. Dit doe je door een balkje bovenaan de pagina toe te voegen.
12. Zorg bij het afnemen van schriftelijke vragenlijsten voor een pen en een tafel waar ze de vragenlijst in kunnen vullen.
13. Geef de respondent de mogelijkheid om vragen of opmerkingen op te schrijven. Dit doe je door een open vraag toe te voegen aan het eind van je vragenlijst.
14. Voorzie een schriftelijke vragenlijst met een kosteloze antwoordenveloppe en antwoordnummer.

Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:

Projectevaluatie fase 1: Bij de start van het project

• Hoe ziet de doelgroep eruit?
• Wat zijn de behoeften?
• Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
• Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
• Wat is de beginsituatie?
• Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
• Wat zijn leerpunten van vorige projecten?
• Welk probleem wil je oplossen met het project?
• Hoe doe je dat het beste?/Wat is het meest geschikte instrument?
• Wat zijn de kansen/mogelijkheden, bedreigingen, sterktes en zwaktes? (SWOT)

 Projectevaluatie fase 2: Tussentijds

• Wat is je doelbereik vergeleken met de beginsituatie? (onderzocht bij de start van
• de regeling)
• Welke effecten heeft het project tot nu toe?
• Welke aanpassingen moet je doen om je doelen beter te bereiken?
• Wat heb je tot nu toe geleerd van het project en waar kun je dat toepassen?

 Projectevaluatie fase 3: Na afloop van het project

• Wat is je doelbereik vergeleken met de beginsituatie en halverwege het project?
• Welke effecten heeft het project?
• Wat zijn succesfactoren van het project?
• Wat heb je geleerd van het project (verbeterpunten) en waar kun je dat toepassen?

Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.

Click on the flag to read this article in English