Na het formuleren van je doelen, ontwerpen van het onderzoeksinstrument en het verzamelen van informatie is het tijd om de data te analyseren en te rapporteren. Een aantal dingen waarmee je rekening moet houden bij het analyseren en het rapporteren van je onderzoek:
Er zijn verschillende hulpmiddelen om doelen te formuleren. Een aantal aspecten komt steeds weer terug, terwijl andere aspecten net zo interessant zijn, maar niet vaak genoemd worden. In deze blog alle aspecten die volgens mij belangrijk zijn bij het formuleren van doelen. Het is geen mooie afkorting, maar wel completer.
Formuleer je doel positief. Je doel klinkt dan een stuk fijner. Ook helpen mensen je liever als je een positief doel hebt. Dit helpt bij het bereiken van je doel. Daarnaast is een negatieve formulering niet goed voor je energiepeil en motivatie.
Ligt het doel binnen jouw invloed? Als je geen invloed hebt op het doel wat je hebt, dan heeft het geen zin om er energie in te stoppen.
Je doel dient geformuleerd te zijn in gedragstermen of actiepunten. Betrokkenen moeten weten welke actie ze moeten ondernemen om het doel te bereiken. Wat kun je doen om richting je doel te bewegen? Duidelijke beweging naar een doel zorgt voor motivatie, waardoor het doel sneller bereikt wordt.
Je doel moet relevant zijn. Het moet belangrijk zijn voor jou, voor je organisatie en voor alle andere belanghebbenden. De kans dat je je doel haalt is dan veel groter.
Is er draagvlak voor wat je doet? Is het in overeenstemming met het beleid en de doelstellingen van de organisatie? Zijn de betrokkenen bereid zich te verbinden aan de doelstelling?
Wanneer je als leidinggevende een doel voor een groep mensen stelt, dan is het belangrijk dat er draagvlak voor is. De medewerkers en betrokkenen moeten het willen, anders wordt het doel niet gehaald of beklijft de verandering niet. Je kunt het draagvlak vergroten door mensen actief te betrekken bij het kiezen en formuleren van de doelstelling. Het is belangrijk ze daarbij daadwerkelijk inspraak te geven. Met name korte-termijndoelen moeten zo laag mogelijk in de organisatie worden bepaald.
Is het doel haalbaar? Is er een uitvoerbaar plan met aanvaardbare inspanningen? Kunnen de betrokkenen de gevraagde resultaten daadwerkelijk beïnvloeden? Hebben ze voldoende know-how, capaciteit, middelen en bevoegdheden? Dit is belangrijk, want een onbereikbaar doel motiveert mensen niet. Bij moeilijk bereikbare doelstellingen helpt het opsplitsen van het hoofddoel in kleinere haalbare subdoelstellingen. De tussentijdse resultaten geven telkens nieuwe energie.
Formuleer je doel zo specifiek (=duidelijk en concreet) mogelijk. Het moet duidelijk zijn wat je precies bedoelt. Ook iemand die niets met het project, programma of beleid te maken heeft, moet kunnen snappen wat je wilt bereiken. Het specifiek maken van je doel dwingt je om na te denken over wat je nu echt wilt.
Een heldere doelstelling geeft antwoord op de zes w-vragen:
De betrokkenen moeten een duidelijk verband zien tussen de doelstelling en de activiteiten die van ze gevraagd worden. Naarmate de doelstelling preciezer geformuleerd is, wordt het makkelijker er invulling aan te geven.
Als je deze zes w-vragen beantwoord is je doelstelling tevens tijdgebonden.
Het zorgen dat je doel meetbaar is, komt terug in alle hulpmiddelen voor het formuleren van doelen. Het is belangrijk om te zorgen dat je kunt vaststellen of je doelstelling behaald wordt. Het moet concreet waar te nemen zijn. Gebruik bij het opstellen van je doel geen vage formuleringen. Formuleer je doel specifiek en verbindt er –als dat kan - een getal, bedrag of percentage aan.
Hulp nodig bij het formuleren van je doelen? Wij kunnen je hierbij helpen!
Over inventarisatie-onderzoek is niet erg veel informatie te vinden. In deze blog beschrijven we in het kort wat inventarisatie-onderzoek nu eigenlijk is en wanneer het zinvol is om het in te zetten.
Wil je meer weten over de verschillende soorten onderzoek die in je in kunt zetten en waar je op moet letten bij de keuze van een onderzoeksmethode, lees dan de volgende blogs:
overzicht van verschillende onderzoeksmethoden
Waar let je op bij de keuze van een onderzoeksmethode?
Met inventarisatie-onderzoek wordt de stand van zaken op een bepaald gebied in kaart gebracht. Het wordt vaak gezien als een soort vooronderzoek waarbij je eerst de situatie in beeld brengt voordat je start met het daadwerkelijke onderzoek. Ook wordt het ingezet om een bepaalde activiteit meer kans van slagen te geven doordat je vooraf informatie hebt verzameld. Inventarisatie-onderzoek valt onder descriptief (beschrijvend) of exploratief (verkennend) onderzoek.
Voor het meten van effecten van projecten zijn zowel interne redenen als externe redenen te noemen. Voor projecteigenaren is het interessant om effecten te meten, maar ook voor financierende partijen. In deze blog zal ik het belang van het meten van effecten uiteenzetten.
1. Legitimiteit van een project aantonen
Het is steeds belangrijker om aan te tonen waarom jouw project belangrijk is. Eén van de manieren om jouw project van andere projecten te onderscheiden, is aantonen dat jouw project werkt. Dat je effect hebt met de dingen die worden gedaan.
Enkele voorbeelden van effecten die je kunt meten: Leerlingen gaan nadenken over een technische studie en beroep. Ze krijgen een andere houding tav wetenschap en techniek. Ze krijgen een vragende houding. Kinderen gaan meer bewegen. Leerlingen kunnen zich beter uitdrukken. Er is kennis opgedaan op een bepaald gebied, zoals kunst of techniek.
2. Verantwoording van een project
Door effecten te meten kun je aan je subsidiegevers en andere financiers verantwoorden dat hun financiële bijdrage heeft gezorgd voor het bereik van het projectdoel en zo ook hun doel.
3. Ter verbetering van het project
Bij het meten van effecten kan tevens gekeken worden welke elementen zorgen voor deze effecten. Deze elementen kunnen versterkt worden. Van niet-werkzame elementen kan gekeken worden of ze aangepast dan wel geëlimineerd kunnen worden.
4. Besluitvorming voeden
Door de effecten van projecten vast te stellen, kan een organisatie kijken welke projecten uitgevoerd blijven worden, omdat ze bijdragen aan de doelstelling en welke niet. Door regelmatig effecten te meten, krijgt een organisatie inzicht in wat werkt en wat niet. Het meten van effecten voedt een lerende organisatie.
Meer weten? Lees dan ook mijn blog 'Tien tips voor het meten van effecten'
In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.
Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.
Wanneer je bekend bent in de wereld van cultuureducatie hoor je steeds vaker geluiden over EVI. Vooral binnen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.
Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.
EVI is een ontwikkelingsinstrument voor scholen om te zien waar ze staan en welke stappen ze nog kunnen ondernemen in de toekomst. EVI is niet oordelend. Het laat zien waar je als school staat en het helpt scholen verder om het beleid uit te voeren. Daarnaast is het een gespreksinstrument voor coaches, adviseurs en begeleiders van cultuureducatie op scholen.
Om EVI goed in te vullen heeft de ICC-er gemiddeld een uur nodig. Vooral de eerste keer kan het tijdsintensief zijn om EVI in te vullen. Een nieuwe ICC’er kan hulp vragen wanneer deze EVI voor de eerste keer moet invullen. Tijdens het invullen kan er een hulpvraag gesteld worden door de school aan de coach, adviseur of begeleider van de penvoerder. Deze komt hier automatisch terecht en kan hierover contact opnemen.
Na het invullen van EVI krijgt de school direct de resultaten te zien en het scenario waar ze inzitten. Ze krijgen tips en suggesties voor vervolgstappen. Scholen gebruiken EVI om na te denken over hun cultuurvisie en het beleid op hun school. De coaches, adviseurs en begeleiders kunnen hierbij helpen.
Voor de penvoerder van Cultuureducatie met Kwaliteit kan er een geanonimiseerde analyse van alle ingevulde EVI’s gemaakt worden door een kennispartner. Dit is een universiteit waar LKCA een samenwerkingsovereenkomst mee heeft. Deze kennispartners werken volgens een vast stramien om de resultaten te analyseren. Naast de rapportage is het is het mogelijk om de scholen te vergelijken, als het er maar minimaal 5 scholen zijn om de anonimiteit te houden. Deze vergelijking is af te zetten op wijkniveau, stadsniveau, maar straks ook landelijk.
Tijdens het invullen van EVI worden kwantitatieve en kwalitatieve gegevens verzameld. Zo zijn er veel open vragen, maar ook een aantal gesloten vragen waar aantallen ingevuld moeten worden. Deze gegevens kan de penvoerder van CmK gebruiken in haar verantwoording naar Fonds Cultuurparticipatie. Niet alle gegevens die nodig zijn voor de verantwoording, zijn terug te vinden in EVI. Er zullen toch extra gegevens verzameld moeten worden naast EVI.
Naast het rapport dat gemaakt wordt door een kennispartner is er een reactie nodig op het rapport om de resultaten te duiden. Denk hierbij aan een begeleidend schrijven met reacties op resultaten.
Een vraag die mij vaak gesteld wordt, is: 'We vermoeden dat we effect hebben met ons project. Hoe kunnen we dat vastleggen?' Het meten van effecten is interessante beleidsinformatie. Kom je dichter bij je doel of moeten activiteiten worden bijgestuurd? Het vastleggen van effecten is ook interessant voor (potentiële) partners en financiers. Hoe het effect vastgesteld wordt, verschilt per project en hangt af van het gewenste effect. Ik zal enkele voorbeelden geven van effectmetingen die ik onlangs heb uitgevoerd, dan wel momenteel uitvoer, om te laten zien wat er mogelijk is.
Museum Volkenkunde heeft de gezinstentoonstelling 'op expeditie' buiten geplaatst omdat ze binnen aan het verbouwen zijn, maar ook om te kijken of buiten exposeren drempelverlagend werkt en zo nieuw publiek aantrekt. Ze wilde graag weten of er nieuw publiek naar de gezinstentoonstelling kwam en zo ja, wat zij interessant vonden aan de tentoonstelling. Naast de analyse van bestaande databestanden door Letty Ranshuysen, heb ik bezoekers geobserveerd en met ze gesproken over de tentoonstelling. Naast dat de tentoonstelling interactief is, zeer gevarieerd en overzichtelijk, vonden bezoekers het fijn veel te leren. Dit sluit aan bij het onderzoek van de Nederlandse Museumvereniging naar de bevordering van museumbezoek door kinderen. Alleen het verlagen van praktische drempels en interactief maken van de tentoonstelling is niet voldoende. Bezoekers en dus ook kinderen willen iets leren. Als ze een museum bezoeken.
Het O&O-fonds van de energiebedrijven voert samen met de energiebedrijven de voorlichtingscampagne WATT? om jongeren te interesseren voor werk in de energiesector. Zij willen graag weten of leerlingen iets opsteken van hun magazine waarin verschillende aspecten van werken bij een energiebedrijf aan bod komt. Dit beoogde effect wordt gemeten door de leerlingen twee keer te bevragen met een bijna gelijke vragenlijst. Voordat ze het magazine krijgen wordt gekeken wat ze weten en welk beeld ze hebben van de energiesector. Een nulmeting om de stand van zaken voor het project vast te stellen. Enkele weken nadat het magazine in de klas is besproken, vullen de jongeren dezelfde vragenlijst nog eens in, deze keer aangevuld met vragen over het magazine. Het onderzoek loopt en ik ben erg benieuwd naar de resultaten. Door de twee vragenlijsten aan elkaar te koppelen per leerlingen, krijgt de opdrachtgever inzicht in de verschillen per leerlingen en zo over het geheel.
KMR coördineert het promotie- en voorlichtingsprogramma om Rotterdamse kinderen en jongeren te informeren over techniek en de haven. Hier is gekozen voor het meten van de attitude t.o.v. techniek en de attitude t.o.v. de Rotterdamse haven. Deze wordt binnenkort voor het eerst gemeten, de nulmeting. Daarna gaat het programma van start en over twee jaar wordt de attitude opnieuw gemeten bij dezelfde groep leerlingen. Omdat er in twee jaar veel gebeurt en we de gemeten verschillen toe willen kunnen schrijven aan het programma, worden er ook metingen gedaan bij een vergelijkbare groep, de controlegroep. Een soortgelijke opzet is ook gebruikt bij het meten van de effecten van de Friek's Techniektruck. Hierbij is gekeken naar het verschil in attitude tov techniek. De onderzoeksrapportage hiervan is openbaar en te downloaden op mijn website. Ik ben erg benieuwd of u effecten van projecten meet. Wat doet u met de onderzoeksresultaten? Wat als helaas blijkt dat u niet de beoogde effecten behaald. Hoe gaat u daar mee om? Bij Museum Volkenkunde worden de onderzoeksresultaten bijvoorbeeld gebruikt voor het tentoonstellingsbeleid voor de komende jaren. ROC West Brabant gebruikt de onderzoeksresultaten bij het inrichten van de opvolger van de truck en communiceert de resultaten met haar (financiële) partners om beslissingen omtrent de voortgang van het project positief te beïnvloeden.
Deze blog gaat over het testen van een vragenlijst voorafgaande aan het daadwerkelijke onderzoek.
Wil je meer weten over waar je allemaal aan moet denken bij het uitvoeren van kwantitatief onderzoek, lees de volgende blogs:
Het testen heeft als doel om te kijken of je met je vragenlijst echt ophaalt wat je wilt ophalen. Meet je wat je wilt meten? Een andere vraag die je je moet stellen is of je met de data uit de vragenlijst je onderzoeksvragen kunt beantwoorden en vanzelfsprekend is het van belang dat er geen fouten in staan. Denk bij dit laatste aan foute of incomplete antwoordcategorieën of verkeerde doorverwijzingen waardoor respondenten vragen krijgen die niet voor deze respondent bestemd zijn of vragen juist niet krijgen die wel voor deze respondent van toepassing zijn. Wanneer je een groot, wetenschappelijk onderzoek gaat uitvoeren, zal het vooronderzoek onder een relatief grote groep respondenten moeten worden uitgevoerd. Hierbij wil je bijvoorbeeld ook antwoord krijgen op de vraag of bepaalde vragen/stellingen onder te brengen zijn in schalen op een statistisch verantwoorde wijze.
Test je vragenlijst onder respondenten die ook tot je uiteindelijke doelgroep behoren en ga na of tijdens het invullen van de vragenlijst met hen in gesprek. Haal hierbij op of alle vragen duidelijk zijn en niet multi-interpretabel. Vraag of het doel van het onderzoek helder is en hoe lang ze over het invullen van de vragenlijst hebben gedaan. De respondent mag in het gesprek gerust kritisch zijn, dit is namelijk het moment om nog aanpassingen te doen.
Sommige ‘fouten’ kun je niet achterhalen wanneer je je bij de pilot beperkt tot het spreken van je respondenten. Respondenten kunnen bijvoorbeeld niet weten wanneer zij vragen niet krijgen door foute doorverwijzingen. Analyseer je data verkregen uit de pilot zorgvuldig. Kijk of alle velden goed gevuld zijn en ga terug naar je onderzoeksvragen. Kun je met deze data de onderzoeksvragen beantwoorden. Gebruik de datacheck ook voor het testen van eventuele schaalconstructies.
Het is verstandig om je test te herhalen wanneer je de vragenlijst substantieel hebt aangepast. Een fout is snel gemaakt, zeker wanneer je er al lang mee bezig bent. Vraag een andere groep testrespondenten voor deze herhaalpilot. Zij kijken weer met een frisse blik naar de vragenlijst.
In deze blog gaat het over het verzamelen van data door middel van het uitzetten van een enquête.
Wil je meer weten over waar je allemaal aan moet denken bij een enquête, lees de volgende blogs:
In deze blog neem ik je mee in het proces van het organiseren van het data verzamelen met enquêtes. Het uitgangspunt is dat je reeds een enquête hebt, die je wilt gaan uitzetten onder je doelgroep. Het gaat hierbij om een kwantitatieve manier van data verzamelen, dus niet over bijvoorbeeld het afnemen van een (groeps)interview.
Eigenlijk zijn er twee methoden die je hiervoor kunt gebruiken: Schriftelijk of online. De schriftelijke methode wordt vrijwel niet meer gebruikt (duur, gebruiksonvriendelijk, arbeidsintensief), dus richten we ons op de online verspreiding. Houd hierbij wel in de gaten dat zo’n 3 procent van de Nederlandse bevolking van 12 jaar of ouder geen toegang heeft tot internet (2019) en onder de 75 plussers ligt dit percentage een stuk hoger (23%). Bij een onderzoek onder de ouderen in onze samenleving is het raadzaam om voor een andere methode van data verzamelen te kiezen.
Hoe zorg je ervoor dat je enquête bij de potentiële respondent komt? Heb je een lijst van mailadressen van potentiële respondenten, dan is de methode eenvoudig. Via je online enquête software kun je deze mensen een mail sturen met daarin de link naar de vragenlijst. Of je zet de link naar de vragenlijst in een mail (via bijvoorbeeld outlook) en verstuurt die naar alle mailadressen.
Het komt echter ook regelmatig voor dat je geen mailadressen hebt. Hoe ga je dan te werk? Je eigen netwerk is hiervoor essentieel. Je kunt via sociale media en/of bijv. Whatsapp je eigen netwerk inzetten om de vragenlijst te laten invullen, maar zeker ook om deze verder te verspreiden. Pas hierbij wel op: Je krijgt hierdoor wel een selectieve respons. Sowieso door het gebruik van je eigen netwerk en tevens doordat je alleen diegenen bereikt die actief zijn op de sociale media / gebruik maken van Whatsapp.
Heb je geen mailadressen dan zul je altijd gebruik moeten maken van een algemene link (iedereen krijgt dezelfde link). Heb je wel de beschikking over mailadressen, dan heb je de keuze. Je kunt elk mailadres een unieke link sturen. Dit heeft als voordeel dat je de respons precies kunt volgen (wie heeft wel en wie heeft nog niet ingevuld) en je kunt een eventuele reminder alleen sturen naar diegenen die de enquête nog niet heeft ingevuld. Een nadeel is dat je respondenten niet kunt vragen de enquête door te sturen naar anderen. Een unieke link kan namelijk maar één keer worden gebruikt.
Maak je gebruik van een algemene link dan ligt het nadeel voor de hand: je kunt niet volgen wie niet en wie wel heeft gereageerd en je kunt geen gerichte reminder sturen. Een ander nadeel is dat één respondent de enquête meerdere keren kan invullen. Dat kan met name voorkomen wanneer je een beloning aan het invullen koppelt. Het voordeel van een algemene link is dat de enquête heel makkelijk verspreidt kan worden.