Wil je op een snelle manier kwantitatieve informatie verzamelen van een grote groep mensen? Dan kun je scheurkaartjes als onderzoeksmethode gebruiken. Het principe van scheurkaartjes werkt als volgt: Je geeft het publiek voor een voorstelling, tentoonstelling of andere activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de voorstelling, tentoonstelling of andere activiteit leveren ze het kaartje in bij de uitgang. Je kunt hierbij denken aan de filmbeoordelingen van IFFR.
Door gebruik te maken van scheurkaartjes kun je gemakkelijk en snel informatie van veel respondenten krijgen, waardoor je uitspraken kan doen over percentages en verhoudingen binnen de gehele onderzoeksgroep. Je hebt een hoge respons met scheurkaartjes omdat voor respondenten een kleine moeite is om na afloop van een voorstelling of tentoonstelling een kaartje in te scheuren. Daarbij blijven de respondenten ook anoniem.
Het werken met scheurkaartjes als onderzoeksmethode is geschikt als je een eerste reactie van de onderzoeksgroep wilt achterhalen. Je kunt ten slotte maar 1 of 2 vragen stellen. Ben je op zoek naar uitgebreidere informatie? Dan is het slimmer om te kiezen voor een vragenlijst. Wil je juist meer diepgaande informatie en achterliggende motivaties achterhalen? Dan is het houden van interviews wellicht een betere onderzoeksmethode.
Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.
Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.
Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.
Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.
Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.
Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.
Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.
Je start een project om iets te bereiken. Dan wil je na afloop weten of het is gelukt. Sterker: Gedurende het proces wil je weten of je richting je doel aan het bewegen bent en of je bij moet sturen.
Maar er zijn meer redenen waarom je de effecten van je project wilt meten. De effecten van het project geven je inzicht in je succes- en verbeterpunten en in je doelbereik.
De belangrijkste les die je van het inzicht in de effecten van een project kunt leren is of je het doel bereikt hebt. Heeft je project er daadwerkelijk voor gezorgd dat bijvoorbeeld je dichter bij het bereiken van de beleidsdoelen bent of dat leerlingen echt iets leren van het onderwijsproject? Als je op deze manier naar je resultaten kijkt, dan ben je aan het evalueren. Je houdt de resultaten tegen het licht en bekijkt of de doelen zijn bereikt. Heeft het project het beoogde effect geleverd?
Het inzicht in de effecten van je project geeft je essentiële informatie voor het nemen van beslissingen. Zo krijg je ten eerste inzicht in succesfactoren. Dit kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.
De leerpunten van het verkrijgen van inzicht in effecten van je project nog eens op een rijtje. Aan de hand van de gemeten effecten kun je:
Wil je informatie over het meetbaar maken van de effecten van je project? Lees dan ook eens deze blog.
Bij het uitvoeren van taken, projecten, activiteiten en programma’s wil je graag weten of het werkt wat je doet. Hiervoor heb je relevante informatie nodig, op basis waarvan je weloverwogen beslissingen kunt nemen. Je kunt dan bijsturen waar nodig en eenvoudig verantwoording afleggen. Om aan deze relevante informatie te komen, doe je, afhankelijk van wat je wilt weten en wat je mogelijkheden zijn, een impactmeting of een effectmeting. Deze twee termen worden nogal eens door elkaar gebruikt maar het zijn wel degelijk twee verschillende soorten onderzoeken.
Wil je weten of je je doelen bereikt met het uitgestippelde beleid? En wil je dus concreet inzicht in je doelbereik? Dan doe je een effectmeting. Bij een effectmeting wordt de situatie achteraf vergeleken met de situatie vooraf. Er zijn dus altijd minimaal twee metingen. Daarnaast moeten de waargenomen effecten nog toegeschreven worden aan het project of het beleid. Dat kun je onder andere doen door te werken met controlegroepen. Om te achterhalen of de vooraf opgestelde doelen worden gehaald, richt de effectmeting zich daar voornamelijk op.
Een exacte effectmeting geeft veel informatie en onweerlegbaar. Maar kost ook veel tijd en middelen. Je moet tijdig (voor de start van het beleid of project) beginnen met het onderzoek.
Bij een impactmeting is dat niet per definitie het geval. Impactmetingen richten zich op het vermeende effect. Een impactmeting kan ook achteraf ingezet worden. Daar waar je bij een effectmeting exact het effect meet, maak je bij een impactmeting een schatting van de effecten. Dit kan vooraf of achteraf.
Bij een impactmeting vooraf maak je een inschatting van de mogelijke effecten op basis van literatuur, vergelijkbare projecten/beleid en experts. Een voorbeeld van een impactmeting vooraf is de economische impactmeting die wij voor het themajaar VanGogh2015 hebben gedaan.
Bij een impactmeting achteraf vraag je wat betrokkenen denken wat het effect is geweest. Door voldoende betrokkenen en mogelijk experts te spreken, ontstaat een volledig en subjectief beeld van de ingeschatte effecten. Hierbij kun je je ook richten op het doel dat je vooraf hebt gesteld aan het beleid, maar vaak komen er ook andere effecten boven water. Een voorbeeld van een impactmeting achteraf is het onderzoek dat wij hebben gedaan naar de impact van de cultuurscouts in Schiedam.
Wil je liever meer weten over het doen van een effectmeting? Kijk dan hier voor meer informatie en voorbeelden.
Voor de beleidsmedewerkers van het sociale domein van de gemeente Roosendaal heb ik twee workshops gegeven om hen te helpen hun subsidieprocessen beter te stroomlijnen en beter zicht te krijgen op de effecten van het beleid en de bijbehorende subsidieafspraken. De eerste workshop ging over het formuleren van doelen, de tweede over het formuleren van indicatoren en mogelijkheden om deze meetbaar te maken.
Er wordt vaak gedacht dat een effectmeting zonde is van het geld en dat de (schaars) beschikbare financiële middelen beter direct aan het programma besteed kunnen worden. Een effectmeting is echter een manier om beter en sneller naar je doel te bewegen, waardoor je project uiteindelijk minder zal kosten en meer zal opbrengen. Omdat je weet of je op de juiste koers zit, kun je je financiën binnen het programma gerichter en effectiever besteden. Daarmee is een effectmeting dus geen kostenpost, maar een middel om geld te besparen.
Het belang van het meten van effecten heb ik uitgelegd in mijn blog "Waarom wil je effect meten?". In deze blog een paar vragen om je te helpen bepalen of het voor jou handig is om een effectmeting te doen.
Als je meer van bovenstaande vragen met ja hebt beantwoord, is een effectmeting het overwegen waard. Een effectmeting is namelijk een essentieel onderdeel van je programma. Daarmee weet je of je programma werkt. En hoe je je doel beter kunt bereiken. Je kunt tijdig bijsturen op basis van inhoudelijke informatie.
Inzicht in jouw effecten en doelbereik? Lees hier hoe ik je hierbij kan helpen!
Als je wilt weten of je je doelen bereikt, monitor je deze doelen. Door te monitoren kun je in de gaten houden of je nog op de goede weg zit. En of je je doel gaat bereiken. Hiervoor is het noodzakelijk om één indicator of meerdere indicatoren te formuleren die betrekking hebben op je doelen. Een indicator is een meetbaar begrip dat een signalerende functie heeft en een aanwijzing geeft over de mate van kwaliteit. Wijkt een indicator af van een afgesproken norm dan is bijsturing mogelijk. Het is dus belangrijk om goede indicatoren te kiezen en geen afgeleide indicatoren te gebruiken. Dan meet je namelijk niet wat je wilt meten en kun je niet meer goed bijsturen om je doelen te bereiken.
Een interessant voorbeeld is de bibliotheek. Doelen van de bibliotheek zijn onder andere leesbevordering en mediawijsheid. Vaak monitoren bibliotheken echter op ‘Lenen’, waarbij als indicator het aantal uitleningen gebruikt wordt. Dit geeft misschien ook waardevolle informatie, maar zegt niets over of de bevolking daadwerkelijk meer en beter leest en mediawijzer wordt. Het aantal uitleningen is dus een indicator die geen betrekking heeft op de doelen van de bibliotheek. De bibliotheek weet nu niet of er richting de doelen bewogen wordt en kan hier dus ook niet op sturen. Sterker: sommige bibliotheken reageren averechts op ontwikkelingen zoals de e-reader, omdat deze boeken lenen in de weg staat, maar wel goed is voor de leesbevordering.
In plaats van ‘Lenen’ kan de bibliotheek beter monitoren op ‘Lezen’ en ‘mediawijsheid’. Indicatoren verschuiven dan van het aantal uitleningen naar indicatoren die betrekking hebben op het meer (en beter) lezen en het mediawijzer worden van de bevolking. Bij leesbevordering kun je als indicator denken aan het aantal activiteiten gericht op het signaleren en tegengaan van laag geletterdheid. Bij mediawijsheid kan gedacht worden aan het actief, creatief en sociaal media gebruik naar aanleiding van mediawijsheid activiteiten.
Ik heb nu het voorbeeld van een bibliotheek gegeven, maar het kiezen van de juiste indicator(en) is natuurlijk voor iedere organisatie van belang om het doelbereik goed te kunnen monitoren!
Je bent enthousiast een project gestart en dat loopt enige tijd. Je begint nieuwsgierig te worden naar de effecten. Kom je dichterbij het doel dat je in het begin hebt geformuleerd? Tijd voor een effectmeting dus. Maar je hebt geen nulmeting gedaan. Kun je dan nog steeds de effecten vast stellen?
Als je steeds nieuwe mensen bereikt, kun je een nulmeting houden onder je doelgroep voordat zij voor de eerste keer meedoen. Als dat niet het geval is, wordt wel lastiger en minder nauwkeurig. Je hebt ten slotte de startsituatie niet vastgelegd. Maar het kan nog steeds. Je spreekt in de regel dan van een impactmeting.
Bij een impactmeting achterhaal je de impact die je project (of beleid) heeft gehad op je doelgroep. Het gaat hierbij om subjectieve waarnemingen van je doelgroep en wat heeft het voor hen te weeg gebracht.
Bij een impactmeting kun je op verschillende manieren te werk gaan. Allereerst kun je een documentstudie doen. Wat is er bekend over de impact? In jaarverslagen staan vaak bereikcijfers, in verslagen van vergaderingen en tussentijdse evaluaties kan informatie staan over de betekenis van het project op je doelgroep.
Daarnaast kun je je doelgroep en je samenwerkingspartners vragen naar hun ervaring en mening vragen. Wat zien zij gebeuren? Wat heeft het project betekent? Deel de impact hierbij op in kleinere delen, waardoor het behapbaar is voor je gesprekspartner. Als je voldoende mensen vraagt, krijg je een duidelijk beeld over wat jouw project heeft betekent.
Veel educatieve projecten van belangenorganisaties en non-profitorganisaties (denk aan musea, technocentra, theatergezelschappen) zijn niet zozeer gericht op het aanleren van vaardigheden, maar op het anders laten kijken naar de wereld of een andere houding bewerkstelligen ten opzichte van een bepaald onderwerp. Bijvoorbeeld een meer vragende of onderzoekende houding.
Of zo’n project succesvol is, bekijk je door een verandering in houding te meten. Het gaat namelijk niet over vaardigheden, maar over een manier van kijken naar de wereld om je heen, de attitude van de leerling ten aanzien van dat onderwerp.
Daarnaast is attitude een goede voorspeller voor toekomstig gedrag. Een attitude zegt iets over iemands grondhouding over een onderwerp. Is het interessant? Gaat iemand er in de toekomst iets mee doen? Technocentra zijn daarom geïnteresseerd deze attitude ten opzichte van techniek (positief) te beïnvloeden, omdat dit iets zegt over toekomstige keuzes ten aanzien van techniek (studie/beroep). Als deze attitude beïnvloed wordt bij een leerling, weet hij/zij beter wat wel/niet bij hem/haar past. Zo worden leerlingen geholpen bewustere keuzes te maken voor hun studie- en beroep.
Het meten van houding en de verandering lijkt heel abstract, maar is al op meerdere onderwerpen geconcretiseerd. Uit wetenschappelijk onderzoek blijkt dat de houding (ook wel attitude genoemd) ten opzichte van een bepaald onderwerp bestaat uit een aantal elementen. Kort een paar factoren die vaak terug keren:
Om deze factoren te kunnen meten, worden deze vertaald in een aantal elementen. Deze kunnen vervolgens op verschillende manieren gemeten worden. Denk aan observeren, een lijst met stellingen waarbij leerlingen aangeven waarin ze zich het meeste vinden.
Om een verandering in attitude waar te kunnen nemen moet meerdere keren gemeten worden: voor deelname aan een project, kort na afloop van het project om te kijken of er op korte termijn effecten zijn waar te nemen en op lange termijn om te kijken of deze effecten blijvend zijn.
Het instrument om attitude te meten is ontworpen door prof. Dr. J.H. Walma van der Molen. Zie hiervoor de publicatie:
Walma van der Molen, J., Wiegerinck, S. (2008) Eindrapportage VTB Attitude Monitor; De ontwikkeling van een attitudeinstrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs (hier te downloaden)
Wij hebben dit instrument inmiddels verschillende keren ingezet voor het meten van impact en het model erachter als aanzet om langdurige verandering te meten.
De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?
Door een vragenlijst te testen, kun je achterhalen of deze valide is. Dit testen kun je doen door de vragenlijst aan een testpersonen voor te leggen en ze tijdens het invullen hardop te laten denken. Een andere mogelijkheid is de vragenlijst voorleggen en een testgroep en hen vragen te laten stellen zodra een vraag onduidelijk is. Het is hierbij belangrijk dat je testpersonen/-groep lijken op je onderzoekspopulatie. Dus als je de vragenlijst wilt voorleggen bij jongeren van 15 tot 18 jaar, moeten je testpersonen/-groep bestaan uit jongeren van 15 tot 18 jaar.
Na deze test, met name met een testgroep, ga je de antwoorden analyseren en vraag je advies van een collega onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?
Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten zoals houding of ontwikkeling is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.
Naast validiteit spreek je bij het doen van onderzoek ook vaak over het begrip betrouwbaarheid. Wil je hier meer over weten? Lees dan ook mijn blog over betrouwbaarheid.
