Bij een onderzoekrapportage denken veel mensen, helaas, nog steeds aan een lijvig boekwerk dat leest als een spannend boek (er wordt langzaam toegewerkt naar de conclusie). Er zijn echter ook andere manieren van rapporteren die steeds vaker gebruikt worden. Afhankelijk van de mate waarin je de onderzoeksresultaten wilt verspreiden, staan hieronder enkele mogelijkheden:
Een andere manier van schriftelijk rapporteren is per hoofdstuk een onderzoeksvraag beantwoorden. Binnen deze antwoorden begin je met de conclusie en wordt vervolgens uitgelegd hoe dit antwoord is opgebouwd.
Naast een schriftelijke rapportage is een presentatie ook mogelijk. Veel mensen vinden het prettiger om te luisteren of te kijken dan om te lezen. Met een presentatie krijgen luisteraars de mogelijkheid meteen te reageren en vragen te stellen als iets niet duidelijk is. Om de presentatie te bewaren kun je deze filmen.
Een dashboard is een dynamische manier van presenteren. In Excel kun je met grafieken een mooie presentatie maken. Elke keer dat je nieuwe informatie hebt wordt deze informatie meegenomen in je grafieken. Door gebruik te maken van filters kun je spelen met je data. Het dashboard vernieuwt zich daardoor steeds en laat de informatie zien die jij interessant vindt.
In zo’n rapportage ligt het accent op grafieken en tabellen. Conclusies worden beknopt geformuleerd. Dit is voor de schrijver lastig, omdat zij minder woorden heeft om nuances aan te brengen. Voor de lezer is het overzichtelijker en minder leeswerk. De nuances staan in de grafieken en tabellen en vergt dus soms nog wat interpreteerwerk vanuit de lezer.
Op internet zie je steeds vaker infographics voorbij komen. Het zijn informatieve illustraties waarbij gebruik wordt gemaakt van tekst, grafieken en tekeningen. Het is een snelle manier om informatie te delen.
Om onderzoeksresultaten te verspreiden aan een breder publiek is een animatiefilmpje een mogelijkheid om informatie op een prettige manier te vertellen en tonen, welke vervolgens gemakkelijk te verspreiden is. Door hierbij gebruik te maken van YouTube en social media, kan de informatie breed verspreid worden. Mensen zullen sneller geneigd zijn het te bekijken omdat de informatie toegankelijk en aantrekkelijk aangeboden wordt (bv in vergelijking met een schriftelijke rapportage).
Een andere manier om informatie laagdrempelig en aantrekkelijk te verspreiden is een folder of flyer. De hoofdzaken worden samengevat en aantrekkelijk vormgegeven met grafieken en illustraties. Het voordeel van een folder is dat deze gedrukt kan worden en dan zowel fysiek (bijvoorbeeld bij een bijeenkomst) als digitaal verspreid kan worden.
Een andere laagdrempelige manier om informatie te verspreiden is een tijdschrift. Door de vormgeving wordt de informatie aantrekkelijker gemaakt. De wijze van schrijven (in losse artikels en columns) wordt de informatie laagdrempeliger gemaakt.
Een artikel schrijven en vervolgens publiceren in een tijdschrift zorgt voor een brede verspreiding van je resultaten onder je doelgroep. Kies hierbij in welk tijdschrift je wilt publiceren en pas hierop je artikel aan. Een artikel voor een vaktijdschrift ziet er anders uit dan een artikel voor een populair tijdschrift.
Wil je meer informatie over het formuleren van onderzoeksvragen? Lees dan deze blog: Hoe kom je tot de juiste onderzoeksvraag?
Click on the flag to read this article in English
Uit een interview kun je veel informatie halen. Je kunt bijvoorbeeld nieuwe ideeën voorleggen, een lopend project bijsturen, of een programma evalueren. Met interviews verzamel je voornamelijk kwalitatieve data.
In deze blog geef ik tips voor de voorbereiding en uitvoering van interviews. Waaraan moet je denken bij de planning? Hoe maak je goede interviewvragen? Waar moet je rekening mee houden bij een groepsinterview? Ten slotte bespreek ik nog enkele alternatieve interviewmethoden.
Bij het organiseren en leiden van een groepsgesprek zijn er nog andere dingen waarmee je rekening moet houden. Je hebt bijvoorbeeld te maken met groepsdynamiek waar je mee om moet gaan.
Naast het gebruikelijke tweegesprek, waarin de interviewer vragen stelt aan de respondent, zijn er nog meer interviewmethoden. Hieronder staan vier voorbeelden.
Meer tips over het houden van een interview? Lees dan ook mijn andere blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?
Van evalueren kun je leren. Wat je leert is afhankelijk van wat je evalueert. Een aantal mogelijke leerpunten zijn:
Een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Van een procesevaluatie profiteer je dus bij alle volgende projecten, maar ook bij doorlopende processen.
Wacht dus niet tot het project is afgelopen met nadenken over evalueren. Plan bij voorkeur al bij de opzet van je project een evaluatie. Op welke momenten wil je evalueren? En wat wil je dan weten. Zijn er bepaalde mijlpalen in het project waarop het slim is om te reflecteren op het verloop van het project? Als je hier bij aanvang over nadenkt, wordt het gemakkelijker deze na afloop te beantwoorden.
Over de verschillende fasen van het proces, kun je de volgende vragen stellen.
Beantwoord deze evaluatievragen samen met het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Na het formuleren van je doelen, ontwerpen van het onderzoeksinstrument en het verzamelen van informatie is het tijd om de data te analyseren en te rapporteren. Een aantal dingen waarmee je rekening moet houden bij het analyseren en het rapporteren van je onderzoek:
Er zijn verschillende hulpmiddelen om doelen te formuleren. Een aantal aspecten komt steeds weer terug, terwijl andere aspecten net zo interessant zijn, maar niet vaak genoemd worden. In deze blog alle aspecten die volgens mij belangrijk zijn bij het formuleren van doelen. Het is geen mooie afkorting, maar wel completer.
Formuleer je doel positief. Je doel klinkt dan een stuk fijner. Ook helpen mensen je liever als je een positief doel hebt. Dit helpt bij het bereiken van je doel. Daarnaast is een negatieve formulering niet goed voor je energiepeil en motivatie.
Ligt het doel binnen jouw invloed? Als je geen invloed hebt op het doel wat je hebt, dan heeft het geen zin om er energie in te stoppen.
Je doel dient geformuleerd te zijn in gedragstermen of actiepunten. Betrokkenen moeten weten welke actie ze moeten ondernemen om het doel te bereiken. Wat kun je doen om richting je doel te bewegen? Duidelijke beweging naar een doel zorgt voor motivatie, waardoor het doel sneller bereikt wordt.
Je doel moet relevant zijn. Het moet belangrijk zijn voor jou, voor je organisatie en voor alle andere belanghebbenden. De kans dat je je doel haalt is dan veel groter.
Is er draagvlak voor wat je doet? Is het in overeenstemming met het beleid en de doelstellingen van de organisatie? Zijn de betrokkenen bereid zich te verbinden aan de doelstelling?
Wanneer je als leidinggevende een doel voor een groep mensen stelt, dan is het belangrijk dat er draagvlak voor is. De medewerkers en betrokkenen moeten het willen, anders wordt het doel niet gehaald of beklijft de verandering niet. Je kunt het draagvlak vergroten door mensen actief te betrekken bij het kiezen en formuleren van de doelstelling. Het is belangrijk ze daarbij daadwerkelijk inspraak te geven. Met name korte-termijndoelen moeten zo laag mogelijk in de organisatie worden bepaald.
Is het doel haalbaar? Is er een uitvoerbaar plan met aanvaardbare inspanningen? Kunnen de betrokkenen de gevraagde resultaten daadwerkelijk beïnvloeden? Hebben ze voldoende know-how, capaciteit, middelen en bevoegdheden? Dit is belangrijk, want een onbereikbaar doel motiveert mensen niet. Bij moeilijk bereikbare doelstellingen helpt het opsplitsen van het hoofddoel in kleinere haalbare subdoelstellingen. De tussentijdse resultaten geven telkens nieuwe energie.
Formuleer je doel zo specifiek (=duidelijk en concreet) mogelijk. Het moet duidelijk zijn wat je precies bedoelt. Ook iemand die niets met het project, programma of beleid te maken heeft, moet kunnen snappen wat je wilt bereiken. Het specifiek maken van je doel dwingt je om na te denken over wat je nu echt wilt.
Een heldere doelstelling geeft antwoord op de zes w-vragen:
De betrokkenen moeten een duidelijk verband zien tussen de doelstelling en de activiteiten die van ze gevraagd worden. Naarmate de doelstelling preciezer geformuleerd is, wordt het makkelijker er invulling aan te geven.
Als je deze zes w-vragen beantwoord is je doelstelling tevens tijdgebonden.
Het zorgen dat je doel meetbaar is, komt terug in alle hulpmiddelen voor het formuleren van doelen. Het is belangrijk om te zorgen dat je kunt vaststellen of je doelstelling behaald wordt. Het moet concreet waar te nemen zijn. Gebruik bij het opstellen van je doel geen vage formuleringen. Formuleer je doel specifiek en verbindt er –als dat kan - een getal, bedrag of percentage aan.
Hulp nodig bij het formuleren van je doelen? Wij kunnen je hierbij helpen!
Voor het meten van effecten van projecten zijn zowel interne redenen als externe redenen te noemen. Voor projecteigenaren is het interessant om effecten te meten, maar ook voor financierende partijen. In deze blog zal ik het belang van het meten van effecten uiteenzetten.
1. Legitimiteit van een project aantonen
Het is steeds belangrijker om aan te tonen waarom jouw project belangrijk is. Eén van de manieren om jouw project van andere projecten te onderscheiden, is aantonen dat jouw project werkt. Dat je effect hebt met de dingen die worden gedaan.
Enkele voorbeelden van effecten die je kunt meten: Leerlingen gaan nadenken over een technische studie en beroep. Ze krijgen een andere houding tav wetenschap en techniek. Ze krijgen een vragende houding. Kinderen gaan meer bewegen. Leerlingen kunnen zich beter uitdrukken. Er is kennis opgedaan op een bepaald gebied, zoals kunst of techniek.
2. Verantwoording van een project
Door effecten te meten kun je aan je subsidiegevers en andere financiers verantwoorden dat hun financiële bijdrage heeft gezorgd voor het bereik van het projectdoel en zo ook hun doel.
3. Ter verbetering van het project
Bij het meten van effecten kan tevens gekeken worden welke elementen zorgen voor deze effecten. Deze elementen kunnen versterkt worden. Van niet-werkzame elementen kan gekeken worden of ze aangepast dan wel geëlimineerd kunnen worden.
4. Besluitvorming voeden
Door de effecten van projecten vast te stellen, kan een organisatie kijken welke projecten uitgevoerd blijven worden, omdat ze bijdragen aan de doelstelling en welke niet. Door regelmatig effecten te meten, krijgt een organisatie inzicht in wat werkt en wat niet. Het meten van effecten voedt een lerende organisatie.
Meer weten? Lees dan ook mijn blog 'Tien tips voor het meten van effecten'
Een vraag die mij vaak gesteld wordt, is: 'We vermoeden dat we effect hebben met ons project. Hoe kunnen we dat vastleggen?' Het meten van effecten is interessante beleidsinformatie. Kom je dichter bij je doel of moeten activiteiten worden bijgestuurd? Het vastleggen van effecten is ook interessant voor (potentiële) partners en financiers. Hoe het effect vastgesteld wordt, verschilt per project en hangt af van het gewenste effect. Ik zal enkele voorbeelden geven van effectmetingen die ik onlangs heb uitgevoerd, dan wel momenteel uitvoer, om te laten zien wat er mogelijk is.
Museum Volkenkunde heeft de gezinstentoonstelling 'op expeditie' buiten geplaatst omdat ze binnen aan het verbouwen zijn, maar ook om te kijken of buiten exposeren drempelverlagend werkt en zo nieuw publiek aantrekt. Ze wilde graag weten of er nieuw publiek naar de gezinstentoonstelling kwam en zo ja, wat zij interessant vonden aan de tentoonstelling. Naast de analyse van bestaande databestanden door Letty Ranshuysen, heb ik bezoekers geobserveerd en met ze gesproken over de tentoonstelling. Naast dat de tentoonstelling interactief is, zeer gevarieerd en overzichtelijk, vonden bezoekers het fijn veel te leren. Dit sluit aan bij het onderzoek van de Nederlandse Museumvereniging naar de bevordering van museumbezoek door kinderen. Alleen het verlagen van praktische drempels en interactief maken van de tentoonstelling is niet voldoende. Bezoekers en dus ook kinderen willen iets leren. Als ze een museum bezoeken.
Het O&O-fonds van de energiebedrijven voert samen met de energiebedrijven de voorlichtingscampagne WATT? om jongeren te interesseren voor werk in de energiesector. Zij willen graag weten of leerlingen iets opsteken van hun magazine waarin verschillende aspecten van werken bij een energiebedrijf aan bod komt. Dit beoogde effect wordt gemeten door de leerlingen twee keer te bevragen met een bijna gelijke vragenlijst. Voordat ze het magazine krijgen wordt gekeken wat ze weten en welk beeld ze hebben van de energiesector. Een nulmeting om de stand van zaken voor het project vast te stellen. Enkele weken nadat het magazine in de klas is besproken, vullen de jongeren dezelfde vragenlijst nog eens in, deze keer aangevuld met vragen over het magazine. Het onderzoek loopt en ik ben erg benieuwd naar de resultaten. Door de twee vragenlijsten aan elkaar te koppelen per leerlingen, krijgt de opdrachtgever inzicht in de verschillen per leerlingen en zo over het geheel.
KMR coördineert het promotie- en voorlichtingsprogramma om Rotterdamse kinderen en jongeren te informeren over techniek en de haven. Hier is gekozen voor het meten van de attitude t.o.v. techniek en de attitude t.o.v. de Rotterdamse haven. Deze wordt binnenkort voor het eerst gemeten, de nulmeting. Daarna gaat het programma van start en over twee jaar wordt de attitude opnieuw gemeten bij dezelfde groep leerlingen. Omdat er in twee jaar veel gebeurt en we de gemeten verschillen toe willen kunnen schrijven aan het programma, worden er ook metingen gedaan bij een vergelijkbare groep, de controlegroep. Een soortgelijke opzet is ook gebruikt bij het meten van de effecten van de Friek's Techniektruck. Hierbij is gekeken naar het verschil in attitude tov techniek. De onderzoeksrapportage hiervan is openbaar en te downloaden op mijn website. Ik ben erg benieuwd of u effecten van projecten meet. Wat doet u met de onderzoeksresultaten? Wat als helaas blijkt dat u niet de beoogde effecten behaald. Hoe gaat u daar mee om? Bij Museum Volkenkunde worden de onderzoeksresultaten bijvoorbeeld gebruikt voor het tentoonstellingsbeleid voor de komende jaren. ROC West Brabant gebruikt de onderzoeksresultaten bij het inrichten van de opvolger van de truck en communiceert de resultaten met haar (financiële) partners om beslissingen omtrent de voortgang van het project positief te beïnvloeden.
In deze blog gaat het over het verzamelen van data door middel van het uitzetten van een enquête.
Wil je meer weten over waar je allemaal aan moet denken bij een enquête, lees de volgende blogs:
In deze blog neem ik je mee in het proces van het organiseren van het data verzamelen met enquêtes. Het uitgangspunt is dat je reeds een enquête hebt, die je wilt gaan uitzetten onder je doelgroep. Het gaat hierbij om een kwantitatieve manier van data verzamelen, dus niet over bijvoorbeeld het afnemen van een (groeps)interview.
Eigenlijk zijn er twee methoden die je hiervoor kunt gebruiken: Schriftelijk of online. De schriftelijke methode wordt vrijwel niet meer gebruikt (duur, gebruiksonvriendelijk, arbeidsintensief), dus richten we ons op de online verspreiding. Houd hierbij wel in de gaten dat zo’n 3 procent van de Nederlandse bevolking van 12 jaar of ouder geen toegang heeft tot internet (2019) en onder de 75 plussers ligt dit percentage een stuk hoger (23%). Bij een onderzoek onder de ouderen in onze samenleving is het raadzaam om voor een andere methode van data verzamelen te kiezen.
Hoe zorg je ervoor dat je enquête bij de potentiële respondent komt? Heb je een lijst van mailadressen van potentiële respondenten, dan is de methode eenvoudig. Via je online enquête software kun je deze mensen een mail sturen met daarin de link naar de vragenlijst. Of je zet de link naar de vragenlijst in een mail (via bijvoorbeeld outlook) en verstuurt die naar alle mailadressen.
Het komt echter ook regelmatig voor dat je geen mailadressen hebt. Hoe ga je dan te werk? Je eigen netwerk is hiervoor essentieel. Je kunt via sociale media en/of bijv. Whatsapp je eigen netwerk inzetten om de vragenlijst te laten invullen, maar zeker ook om deze verder te verspreiden. Pas hierbij wel op: Je krijgt hierdoor wel een selectieve respons. Sowieso door het gebruik van je eigen netwerk en tevens doordat je alleen diegenen bereikt die actief zijn op de sociale media / gebruik maken van Whatsapp.
Heb je geen mailadressen dan zul je altijd gebruik moeten maken van een algemene link (iedereen krijgt dezelfde link). Heb je wel de beschikking over mailadressen, dan heb je de keuze. Je kunt elk mailadres een unieke link sturen. Dit heeft als voordeel dat je de respons precies kunt volgen (wie heeft wel en wie heeft nog niet ingevuld) en je kunt een eventuele reminder alleen sturen naar diegenen die de enquête nog niet heeft ingevuld. Een nadeel is dat je respondenten niet kunt vragen de enquête door te sturen naar anderen. Een unieke link kan namelijk maar één keer worden gebruikt.
Maak je gebruik van een algemene link dan ligt het nadeel voor de hand: je kunt niet volgen wie niet en wie wel heeft gereageerd en je kunt geen gerichte reminder sturen. Een ander nadeel is dat één respondent de enquête meerdere keren kan invullen. Dat kan met name voorkomen wanneer je een beloning aan het invullen koppelt. Het voordeel van een algemene link is dat de enquête heel makkelijk verspreidt kan worden.
Als je een vragenlijst als meetinstrument gebruikt om je onderzoeksvragen te beantwoorden, is het belangrijk dat je iets kunt met de uitkomsten van de vragenlijst. De kwaliteit van de vragenlijst bepaalt de kwaliteit van de verzamelde data. Het goed formuleren van enquêtevragen is daarom belangrijk. Ik geef je een aantal tips/vuistregels die je helpen om goede vragen te formuleren:
