Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.

Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.

Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.

Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.

Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.

Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.

Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.

Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:

1. Krijg je inzicht in jezelf en het team. Waar had je misschien dingen anders moet doen? Maar ook: Waarin heb je juist goed werk geleverd?
2. Verkrijg je inzicht in het project, programma of de activiteit. Je krijgt zicht op hoe het project is ontvangen en daarbij informatie over de succesfactoren, maar ook eventuele verbeterpunten komen boven tafel. Met deze informatie kun je het huidige project verbeteren en weet je waar aandachtspunten liggen voor de toekomst.
3. Krijg je inzicht in je d0elbereik en dat van de organisatie: heeft het project de gewenste effecten (worden er meer bezoekers geïnspireerd, veranderen de deelnemers echt van houding t.o.v. een bepaald onderwerp, wordt de interesse gewekt?)
4. Krijg je de juiste informatie in handen om het project te verantwoorden, intern of aan derden. Dit kan een verantwoording zijn aan de interne organisatie met een onderbouwing voor bijvoorbeeld budget. Maar evalueren geeft je ook informatie voor externe verantwoording, zoals aan subsidiegevers. Door middel van een evaluatie kun je laten zien wat je hebt bereikt met het project of de activiteit.
5. Krijg je inspiratie voor nieuwe projecten. Je komt erachter wat de succesfactoren zijn en hoe je die beter kunt inzetten. Ook kom je er bijvoorbeeld achter dat een bepaalde doelgroep niet hebt bereikt met dit project en kunt voor deze doelgroep een nieuwe activiteit bedenken.
6. Geeft voeding voor vernieuwing. Door te evalueren krijg je misschien ideeën waar je nog niet eerder aan hebt gedacht.
7. Worden vervolgacties zichtbaar. Vaak leidt evalueren tot een actie. Dit kan vanalles zijn. Misschien is het nodig om de strategie bij te stellen, nieuwe doelen te formuleren of bij te sturen. Door te evalueren maak je deze vervolgstappen zichtbaar.

Hulp nodig bij evalueren? Ik kan je hierbij helpen!

Een vragenlijst is een veelgebruikte onderzoeksmethode om de effecten van een activiteit, project of campagne te meten. De vraag is of een vragenlijst altijd een geschikte methode is. Wil je uitspraken doen over de hele doelgroep en moet je daarvoor veel gegevens verzamelen? Dan is een vragenlijst een slimme methode. Wil je inzicht in de achterliggende motivaties en meningen van je doelgroep? Dan is een vragenlijst een minder slimme keus. Waarom is een vragenlijst een goede methode of waarom juist een minder goede? De voor- en nadelen op een rijtje:

Voordelen:

• Met een vragenlijst is het mogelijk om een grote groep mensen op dezelfde manier te bevragen. Dit is vaak nodig als je wilt dat de uitkomsten van je onderzoek representatief zijn voor de onderzoeksgroep. Je kunt dan uitspraken doen als: ‘80% van de bezoekers geeft aan iets geleerd te hebben van de activiteit’.
• Een vragenlijst kan bij veel verschillende veldwerkwijzen worden ingezet: online, telefonisch, op papier.
• Wanneer de respondent zelf de vragenlijst invult, kunnen de antwoorden niet beïnvloed worden door een interviewer of observator, waardoor de objectiviteit gewaarborgd wordt.
• De manier van vragen is gestandaardiseerd, waardoor eenduidige antwoorden worden verkregen. Wanneer de steekproef voldoende groot is,  kunnen aanvullende statistische analyses uitgevoerd worden naar bijvoorbeeld subgroepen of om verbanden te leggen.

Nadelen:

• Je hebt weinig invloed op de respons. Mensen krijgen vaak een vragenlijst voorgeschoteld waardoor veel mensen vragenlijstmoe zijn. Deze methode heeft daarom vaak een relatief lage respons.
• De respondent kan zijn verhaal niet volledig vertellen omdat veel vragen in een vragenlijst meestal gesloten zijn.
• Hier moet je met je vraagstelling en bijbehorende antwoorden rekening houden.
• Achterliggende motivaties kunnen lastig achterhaald worden met een vragenlijst, waardoor de vragen en antwoorden oppervlakkig zijn. Er is geen mogelijkheid tot doorvragen.
• Respondenten kunnen de vragenlijst niet volledig invullen. Als zij op de helft afhaken, dan heb je weinig aan de vragenlijst.
• Respondenten kunnen snel de vragenlijst invullen, of met allemaal dezelfde antwoorden. Hier moet achteraf op gecontroleerd worden.
• Je kunt een beperkt aantal vragen stellen, omdat je respons daalt naarmate de vragenlijst langer is.

Wil je weten hoe je de respons van je onderzoek vergroot? Lees dan deze blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?

Je start een project om iets te bereiken. Dan wil je na afloop weten of het is gelukt. Sterker: Gedurende het proces wil je weten of je richting je doel aan het bewegen bent en of je bij moet sturen.

Maar er zijn meer redenen waarom je de effecten van je project wilt meten. De effecten van het project geven je inzicht in je succes- en verbeterpunten en in je doelbereik.

De belangrijkste les die je van het inzicht in de effecten van een project kunt leren is of je het doel bereikt hebt. Heeft je project er daadwerkelijk voor gezorgd dat bijvoorbeeld je dichter bij het bereiken van de beleidsdoelen bent of dat leerlingen echt iets leren van het onderwijsproject? Als je op deze manier naar je resultaten kijkt, dan ben je aan het evalueren. Je houdt de resultaten tegen het licht en bekijkt of de doelen zijn bereikt. Heeft het project het beoogde effect geleverd?

Het inzicht in de effecten van je project geeft je essentiële informatie voor het nemen van beslissingen. Zo krijg je ten eerste inzicht in succesfactoren. Dit kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.

De leerpunten van het verkrijgen van inzicht in effecten van je project nog eens op een rijtje. Aan de hand van de gemeten effecten kun je:

• Inzicht verkrijgen in het doelbereik van je project (inzicht in effecten);
• Weloverwogen beslissingen nemen op basis van succesfactoren en verbeterpunten;
• Bijsturen waar nodig;
• En actiegericht te werk gaan.

 Wil je informatie over het meetbaar maken van de effecten van je project? Lees dan ook eens deze blog.

Bij het uitvoeren van taken, projecten, activiteiten en programma’s wil je graag weten of het werkt wat je doet. Hiervoor heb je relevante informatie nodig, op basis waarvan je weloverwogen beslissingen kunt nemen. Je kunt dan bijsturen waar nodig en eenvoudig verantwoording afleggen. Om aan deze relevante informatie te komen, doe je, afhankelijk van wat je wilt weten en wat je mogelijkheden zijn, een impactmeting of een effectmeting. Deze twee termen worden nogal eens door elkaar gebruikt maar het zijn wel degelijk twee verschillende soorten onderzoeken.

Wil je weten of je je doelen bereikt met het uitgestippelde beleid? En wil je dus concreet inzicht in je doelbereik? Dan doe je een effectmeting. Bij een effectmeting wordt de situatie achteraf vergeleken met de situatie vooraf. Er zijn dus altijd minimaal twee metingen. Daarnaast moeten de waargenomen effecten nog toegeschreven worden aan het project of het beleid. Dat kun je onder andere doen door te werken met controlegroepen. Om te achterhalen of de vooraf opgestelde doelen worden gehaald, richt de effectmeting zich daar voornamelijk op.

Een exacte effectmeting geeft veel informatie en onweerlegbaar. Maar kost ook veel tijd en middelen. Je moet tijdig (voor de start van het beleid of project) beginnen met het onderzoek.

Bij een impactmeting is dat niet per definitie het geval. Impactmetingen richten zich op het vermeende effect. Een impactmeting kan ook achteraf ingezet worden. Daar waar je bij een effectmeting exact het effect meet, maak je bij een impactmeting een schatting van de effecten. Dit kan vooraf of achteraf.

Bij een impactmeting vooraf maak je een inschatting van de mogelijke effecten op basis van literatuur, vergelijkbare projecten/beleid en experts. Een voorbeeld van een impactmeting vooraf is de economische impactmeting die wij voor het themajaar VanGogh2015 hebben gedaan.

Bij een impactmeting achteraf vraag je wat betrokkenen denken wat het effect is geweest. Door voldoende betrokkenen en mogelijk experts te spreken, ontstaat een volledig en subjectief beeld van de ingeschatte effecten. Hierbij kun je je ook richten op het doel dat je vooraf hebt gesteld aan het beleid, maar vaak komen er ook andere effecten boven water. Een voorbeeld van een impactmeting achteraf is het onderzoek dat wij hebben gedaan naar de impact van de cultuurscouts in Schiedam.

Wil je liever meer weten over het doen van een effectmeting? Kijk dan hier voor meer informatie en voorbeelden.

Om een goed beoordelingsinstrument te ontwikkelen is het belangrijk om de volgende stappen te doorlopen:

1. Je geeft niet zomaar les, maar je wilt iets bereiken. Bepaal daarom het doel van de lessen: Wat wil je ze leren? Gebruik dit doel altijd als leidraad in de ontwikkeling van je beoordeling.
2. Afhankelijk van de doelstelling die de beoordeling heeft, moet je bepalen of je summatief of formatief gaat beoordelen. Een summatieve beoordeling is gericht op een beoordeling van leerprestaties, leeruitkomsten of leerproducten aan het einde van het onderwijsleerproces. Een formatieve beoordeling is gericht op een tussentijdse vorm van evaluatie, waarbij het gaat om het identificeren van gebieden waar leerlingen extra uitleg en begeleiding nodig hebben.
3. Het is belangrijk dat de criteria waar je op gaat beoordelen ‘voortvloeien’ uit het vooraf gestelde doel. Formuleer daarom de criteria aan de hand van het doel. Op deze manier meet je wat je wilt weten en kun je nagaan of je je doelen bereikt.
4. Denk goed na over het niveau dat je verwacht dat de leerling presteert. Een beginner heeft een ander niveau en andere verwachtingen dan een gevorderde leerling.
5. Het is van belang om te bepalen welke waardes je gaat toekennen in de beoordeling en wat deze waardes betekenen. Ga je beoordelen met een 10-puntschaal of beoordeel je door middel van ‘onvoldoende’, ‘voldoende’ of ‘goed’? En wat betekent het als een leerling een ‘7’ of een ‘goed’ scoort? Wat zegt dit over de prestatie van de leerling?

Tot slot zijn er een aantal voorwaarden waar het beoordelingsinstrument aan moet voldoen:

• Zorg dat het een transparant instrument is;
• En zorg dat je beoordelingsinstrument praktisch makkelijk uitvoerbaar is, zodat het een middel blijft om het doel te bereiken en geen doel op zich wordt.

Hulp nodig bij het maken van een goede beoordeling? Neem contact op om te kijken wat ik voor je kan betekenen.

Als je wilt weten of je je doelen bereikt, monitor je deze doelen.  Door te monitoren kun je in de gaten houden of je nog op de goede weg zit. En of je je doel gaat bereiken. Hiervoor is het noodzakelijk om één indicator of meerdere indicatoren te formuleren die betrekking hebben op je doelen. Een indicator is een meetbaar begrip dat een signalerende functie heeft en een aanwijzing geeft over de mate van kwaliteit. Wijkt een indicator af van een afgesproken norm dan is bijsturing mogelijk. Het is dus belangrijk om goede indicatoren te kiezen en geen afgeleide indicatoren te gebruiken. Dan meet je namelijk niet wat je wilt meten en kun je niet meer goed bijsturen om je doelen te bereiken.

(Geen) Goede indicatoren: Lenen versus Lezen

Een interessant voorbeeld is de bibliotheek. Doelen van de bibliotheek zijn onder andere leesbevordering en mediawijsheid. Vaak monitoren bibliotheken echter op ‘Lenen’, waarbij als indicator het aantal uitleningen gebruikt wordt. Dit geeft misschien ook waardevolle informatie, maar zegt niets over of de bevolking daadwerkelijk meer en beter leest en mediawijzer wordt. Het aantal uitleningen is dus een indicator die geen betrekking heeft op de doelen van de bibliotheek. De bibliotheek weet nu niet of er richting de doelen bewogen wordt en kan hier dus ook niet op sturen. Sterker: sommige bibliotheken reageren averechts op ontwikkelingen zoals de e-reader, omdat deze boeken lenen in de weg staat, maar wel goed is voor de leesbevordering.

In plaats van ‘Lenen’ kan de bibliotheek beter monitoren op ‘Lezen’ en ‘mediawijsheid’. Indicatoren verschuiven dan van het aantal uitleningen naar indicatoren die betrekking hebben op het meer (en beter) lezen en het mediawijzer worden van de bevolking.  Bij leesbevordering kun je als indicator denken aan het aantal activiteiten gericht op het signaleren en tegengaan van laag geletterdheid. Bij mediawijsheid kan gedacht worden aan het actief, creatief en sociaal media gebruik naar aanleiding van mediawijsheid activiteiten.

Ik heb nu het voorbeeld van een bibliotheek gegeven, maar het kiezen van de juiste indicator(en) is natuurlijk voor iedere organisatie van belang om het doelbereik goed te kunnen monitoren!

Tips om te meten wat je wilt meten

• Stel jezelf de vraag: Wat is het doel dat we willen behalen?
• Stel jezelf de vraag: Meet ik wat ik wil weten?
• Besef dat alle doelen meetbaar te maken zijn, zelfs de meest abstracte doelen.

Vragenlijsten kun je digitaal uitzetten, maar in bepaalde situaties maak je het je respondenten gemakkelijker als ze het ter plekke op papier in kunnen vullen. Dan moet de data ingevoerd worden. Bij deze zeven tips voor dataverwerking:

1. Werk met een programma dat je kent en aansluit op je behoefte. Zo kun je in Excel data gemakkelijk ordenen en op verschillende  manieren sorteren. Voor vragenlijsten kan dit voldoen. Wil je ingewikkeldere berekeningen maken, kan SPSS een uitkomst zijn.
2. Maak voor de dataverwerking van vragenlijsten een codering aan (bv nee = 0 ja = 1). Dit zorgt ervoor dat antwoorden als hetzelfde worden gezien en de invoer minder gevoelig is voor typefouten. Codering maakt het ook gemakkelijker om te rekenen met de verzamelde data (in dit vb is een gemiddelde van 0,75 75% van de respondenten die ja zegt).
3. Maak een opmerkelijke codering voor overgeslagen vragen, bv -1. Je weet dan dat het geen fout is van de invoerder en opmerkelijke scores kun je gemakkelijk buiten een formule laten vallen.
4. Geef elke vragenlijst/respondent een uniek nummer. Hiermee anonimiseer je de data, maar kun je de bijbehorende vragenlijst nog wel terug vinden.
5. Zorg voor goede instructies voor invoerders, zodat iedereen op dezelfde manier te werk gaat. Laat het invoeren zoveel mogelijk door dezelfde persoon doen, zodat het steeds op dezelfde manier wordt gedaan. Let op: Als de invoerder echter data moet beoordelen, moeten juist meerdere mensen beoordelen.
6. Begin tijdig met het invoeren, zodat het steeds behapbaar blijft. Door het steeds in kleine delen te doen, kun je je beter concentreren (en maak je dus minder fouten).
7. Voer steekproefsgewijs controle uit. Corrigeer ze. Als fouten steeds op dezelfde plek gemaakt worden, moet je hier actie op ondernemen. Fouten maken is menselijk.

Click on the flag to read this article in English

Je bent enthousiast een project gestart en dat loopt enige tijd. Je begint nieuwsgierig te worden naar de effecten. Kom je dichterbij het doel dat je in het begin hebt geformuleerd? Tijd voor een effectmeting dus. Maar je hebt geen nulmeting gedaan. Kun je dan nog steeds de effecten vast stellen?

Als je steeds nieuwe mensen bereikt, kun je een nulmeting houden onder je doelgroep voordat zij voor de eerste keer meedoen. Als dat niet het geval is, wordt wel lastiger en minder nauwkeurig. Je hebt ten slotte de startsituatie niet vastgelegd. Maar het kan nog steeds. Je spreekt in de regel dan van een impactmeting.

Bij een impactmeting achterhaal je de impact die je project (of beleid) heeft gehad op je doelgroep. Het gaat hierbij om subjectieve waarnemingen van je doelgroep en wat heeft het voor hen te weeg gebracht.

Bij een impactmeting kun je op verschillende manieren te werk gaan. Allereerst kun je een documentstudie doen. Wat is er bekend over de impact? In jaarverslagen staan vaak bereikcijfers, in verslagen van vergaderingen en tussentijdse evaluaties kan informatie staan over de betekenis van het project op je doelgroep.

Daarnaast kun je je doelgroep en je samenwerkingspartners vragen naar hun ervaring en mening vragen. Wat zien zij gebeuren? Wat heeft het project betekent? Deel de impact hierbij op in kleinere delen, waardoor het behapbaar is voor je gesprekspartner. Als je voldoende mensen vraagt, krijg je een duidelijk beeld over wat jouw project heeft betekent.

Veel educatieve projecten van belangenorganisaties en non-profitorganisaties (denk aan musea, technocentra, theatergezelschappen) zijn niet zozeer gericht op het aanleren van vaardigheden, maar op het anders laten kijken naar de wereld of een andere houding bewerkstelligen ten opzichte van een bepaald onderwerp. Bijvoorbeeld een meer vragende of onderzoekende houding.

Of zo’n project succesvol is, bekijk je door een verandering in houding te meten. Het gaat namelijk niet over vaardigheden, maar over een manier van kijken naar de wereld om je heen, de attitude van de leerling ten aanzien van dat onderwerp.

Daarnaast is attitude een goede voorspeller voor toekomstig gedrag. Een attitude zegt iets over iemands grondhouding over een onderwerp. Is het interessant? Gaat iemand er in de toekomst iets mee doen? Technocentra zijn daarom geïnteresseerd deze attitude ten opzichte van techniek (positief) te beïnvloeden, omdat dit iets zegt over toekomstige keuzes ten aanzien van techniek (studie/beroep). Als deze attitude beïnvloed wordt bij een leerling, weet hij/zij beter wat wel/niet bij hem/haar past. Zo worden leerlingen geholpen bewustere keuzes te maken voor hun studie- en beroep.

Het meten van houding en de verandering lijkt heel abstract, maar is al op meerdere onderwerpen geconcretiseerd. Uit wetenschappelijk onderzoek blijkt dat de houding (ook wel attitude genoemd) ten opzichte van een bepaald onderwerp bestaat uit een aantal elementen. Kort een paar factoren die vaak terug keren:

1. Kennis: je moet weten wat het is, alvorens er een mening over te kunnen vormen.
2. Belang: het inzien van het belang van een onderwerp voor de maatschappij is onderdeel van het hebben van een positieve attitude ten opzichte van dit onderwerp.
3. Plezier: het hebben van plezier aan activiteiten op het vakgebied is onderdeel van een positieve houding.
4. Toekomst: de leerling moet zichzelf relateren aan het onderwerp en beelden kunnen vormen over zichzelf in relatie tot een bepaald onderwerp.

Om deze factoren te kunnen meten, worden deze vertaald in een aantal elementen. Deze kunnen vervolgens op verschillende manieren gemeten worden. Denk aan observeren, een lijst met stellingen waarbij leerlingen aangeven waarin ze zich het meeste vinden.

Om een verandering in attitude waar te kunnen nemen moet meerdere keren gemeten worden: voor deelname aan een project, kort na afloop van het project om te kijken of er op korte termijn effecten zijn waar te nemen en op lange termijn om te kijken of deze effecten blijvend zijn.

Het instrument om attitude te meten is ontworpen door prof. Dr. J.H. Walma van der Molen. Zie hiervoor de publicatie:

Walma van der Molen, J., Wiegerinck, S. (2008) Eindrapportage VTB Attitude Monitor; De ontwikkeling van een attitudeinstrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs (hier te downloaden)

Wij hebben dit instrument inmiddels verschillende keren ingezet voor het meten van impact en het model erachter als aanzet om langdurige verandering te meten.