Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.

Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.

Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

• Om de legitimiteit van je project, programma of activiteit aan te tonen. Door te monitoren en evalueren krijg je inzicht in de effecten van je project of programma. Met deze effecten kun je aantonen waarom jouw project of programma belangrijk is en dus de legitimiteit aantonen. Dit is belangrijk om zowel intern als extern draagvlak te creëren voor je project.
• Ter verantwoording van het project, programma of activiteit. Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Zij willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel. De resultaten van monitoring en evalueren geven je de informatie in handen waarmee je kunt verantwoorden naar de gemeente of andere subsidieverstrekker.
• Ter verbetering van het project, programma of activiteit. Evalueren kun je ook doen om zelf te leren van je project, programma of activiteit. Je wilt dan tijdens het proces weten of je richting je doel aan het bewegen bent en of je bij moet sturen. Daarnaast krijg je door te monitoren en evalueren inzicht in je succes- en verbeterpunten. Hiermee kun je het huidige project verbeteren en/of de leerpunten meenemen naar een volgend project.
• Om besluitvorming te voeden. Monitoring en evaluatie geeft je essentiële informatie voor het nemen van beslissingen op een weloverwogen manier. Eerder genoemde succesfactoren kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.

De non-profit sector, waaronder de cultuursector, maakt steeds meer kennis met het gebruiken van big data om bezoekers of deelnemers (beter) te bereiken. In het bedrijfsleven wordt al langer gewerkt met big data om het koopgedrag van consumenten te achterhalen. Dit wordt gedaan door online (koop)gedrag precies te volgen en hierop in te spelen. Daarnaast kan klantgedrag gevolgd worden over tijd, doordat mensen een uniek klantnummer of IP-adres hebben. Je krijgt dan inzicht in herhaalbezoeken van bezoekers. Bedrijven krijgen met big data ook inzicht in hun doelgroepen qua leeftijd, geslacht, economische situatie etc. Deze informatie kunnen zij inzetten voor marketingdoeleinden.

Big data zijn databestanden die te groot zijn om met reguliere systemen onderhouden te worden. Het gaat over data die worden opgeslagen door het internet, doordat mensen zelf steeds meer informatie opslaan in de vorm van bestanden, gegevens, foto’s en video’s. Maar ook omdat er steeds meer data automatisch wordt opgeslagen (bijvoorbeeld door online cookies). Ook ticketingsystemen van een museum, bioscoop of theater zijn een bron voor big data.

Big data kan dus veel inzichten verschaffen waarmee je jouw doelgroep (beter) kunt bereiken. Toch zitten er ook wat haken en ogen aan het gebruik van big data:

• Big data is bestaande data. Je verzamelt dus niet zelf data die specifiek bedoeld is voor jouw onderzoeksvraag. Het is lastig om de juiste en relevante informatie eruit te filteren.
• Een gedegen data-analyse vraagt kennis van het domein en datamining. Software zijn slechts tools die alleen bij de juiste toepassing goede resultaten halen. Dat maakt het gebruik van big data erg kostbaar, omdat je altijd een ervaren onderzoeker moet inschakelen.
• De validiteit en betrouwbaarheid van big data is lastig te meten. Vaak worden bijvoorbeeld zoektermen in google gebruikt om in te spelen op de behoeften van consumenten. Je weet echter niet of deze zoektermen ook wel echt de behoeften van de consument weergeven of dat hij/zij om een andere reden het zoekwoord hebben ingevuld.
• Big data kan de privacy van consumenten schaden. Er is een strenge wetgeving rondom het gebruik van big data waar rekening mee gehouden moet worden.

Door deze onzekerheden en kostbaarheid lijkt het analyseren van big data (nog) een lastige  onderzoeksmethode voor de kleine en middelgrote organisaties in de non-profitsector. Toegankelijkere methoden om inzicht te krijgen in je doelgroep zijn bijvoorbeeld observeren, tracking, (groeps-)interviews, scheurkaartjes of vragenlijsten.

Wil je kwantitatieve informatie verzamelen over bijvoorbeeld de populariteit van onderdelen van je tentoonstelling, maar wil je de bezoekers niet belasten met een vragenlijst? Dan kun je kiezen voor tracking als onderzoeksmethode. Tracking is het volgen van bezoekers of klanten via de wifi of bluetooth van hun eigen apparaten (smartphone, tablet, laptop etc.). Het kan ook gedaan worden door mensen een apparaatje mee te geven, waarmee je ze volgt. Het wordt veel in winkels gedaan, maar de techniek is natuurlijk ook beschikbaar voor het museum. Het geeft je kwantitatieve informatie over de looproute, hoelang zij blijven en wat de meest populaire onderdelen van de tentoonstelling.

Bij tracking kun je daadwerkelijke handelingen van bezoekers aan het museum achterhalen, maar het is soms lastig om deze handelingen te interpreteren. Bijvoorbeeld: Als mensen vaak op een bepaald punt stil blijven staan dan lijkt het een teken dat op die plek de tentoonstelling heel interessant is. Maar misschien blijven bezoekers daar wel staan omdat ze daar een goed wifi-signaal hebben met hun telefoon en heeft het dus weinig met de tentoonstelling te maken. Het is belangrijk om rekening te houden met zulke externe factoren. Combineer hiervoor tracking met een kwalitatieve methode van onderzoek, om ook meer informatie over de motivaties van bezoekers voor een bepaalde houding te achterhalen.

Het is belangrijk om van tevoren een analyseplan op te stellen met duidelijke criteria. Door deze lijst interpretatievrij te maken, is de kans kleiner dat er op een subjectieve manier geanalyseerd wordt.

Als je gebruik maakt van het wifi-signaal of bluetooth van de apparaten van bezoekers schaadt je de privacy van je bezoekers nauwelijks, maar als je naast tracking door wifi of bluetooth ook video opnames van bezoekers wilt maken is het wel nodig om toestemming aan deze bezoekers te vragen. Beslis voor jezelf hoe je hier mee omgaat. Het is netjes om je bezoekers te informeren, bijvoorbeeld met een bordje, dat je ze volgt.

Lees meer over hoe musea de effecten van tentoonstellingen kunnen meten.

Bij het organiseren en leiden van een groepsgesprek moet je met andere dingen rekening houden dan bij een individueel interview. Bij groepsinterviews heb je bijvoorbeeld te maken met groepsdynamiek waar je mee om moet gaan. Een aantal tips voor het houden van een groepsgesprek:

1. Begin op tijd met de organisatie van de groepsgesprekken. Anders loop je het risico dat niet voldoende mensen kunnen. Door het groepsinterview ruim van tevoren te plannen, heb je de grootste kans dat iedereen aanwezig kan zijn.

2. Laat iemand het verslag maken die daar ervaring mee heeft. Notuleren bij een groepsgesprek is namelijk ingewikkelder, omdat verschillende mensen aan het woord zijn.

3. Maak video- of geluidsopnamen van het interview als je niet zeker weet of de verslaggever het live bij kan houden bij het maken van een verslag. Zorg er dan voor dat de apparatuur vooraf aanwezig is en klaar staat.

4. Zorg ervoor dat je gesprekspartners zich op hun gemak voelen. Zorg voor een prettige ruimte, iets te drinken en een koekje.

5. Laat iedereen zich voorstellen, zodat de anderen ook weten met wie ze aan tafel zitten. Maak een plattegrond van de tafel met namen en functie / achtergrond als spiekbrief.

6. Zorg ervoor dat iedereen aan het woord komt.

7. Let op de lichaamstaal van de deelnemers.

8. Monitor de tijd en hou je aan de afgesproken tijd. Het is vervelend als je een deel van je vragen niet hebt kunnen stellen.

9. Leg uit wat er gebeurt met de uitkomsten van het gesprek. Ook wat je doet met het verslag dat van het gesprek wordt gemaakt (bv de geluidsopname). Gebruik je dat alleen om zelf iets op te kunnen zoeken of wordt het ook gepubliceerd. Koppel het verslag in het laatste geval in ieder geval terug.

10. Vat tijdens het interview samen en koppel het gezegde terug naar de groep om er zo verzekerd van te zijn dat je het goed begrijpt.

 Meer tips over interviewen? Lees dan ook mijn andere blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?

Click on the flag to read this article in English

De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

In vorige blogs heb ik beschreven hoe je tot de juiste onderzoeksvraag komt en hoe je de juiste onderzoeksmethode kiest. De volgende stap in het onderzoeksproces is de dataverzameling. Bij het verzamelen van data zijn er een aantal dingen waar je rekening mee moet houden. Ik geef je wat tips:

• Bepaal je onderzoekspopulatie. Het is niet altijd nodig om iedereen te spreken om een representatief beeld te krijgen. Zeker bij grote aantallen, zoals bijvoorbeeld het stemgedrag van alle Nederlanders, wordt een representatieve steekproef getrokken.
• Houd tijdens de dataverzameling de representativiteit goed in de gaten (bij kwantitatief onderzoek). Werkt iedereen uit je steekproef ook echt mee? Zijn je subgroepen niet evenredig vertegenwoordigd, dan kun je de missende respondenten alsnog bevragen of besluiten om een bepaalde subgroep weg te laten
• Controleer of je voldoende informatie hebt (bij kwalitatief onderzoek).Blijkt dit niet het geval, dan kun je nog een extra interview afnemen.
• Het registreren van de data moet op zo’n manier gebeuren dat de data overzichtelijk bij elkaar staat en klaar is voor de analyse. Op een grote stapel ingevulde vragenlijsten kun je nog geen analyse loslaten. De beste manier om te registreren is afhankelijk van de onderzoeksmethode die je hebt gebruikt.

Jongeren vormen een belangrijke doelgroep voor veel organisaties en projecten. Of het nu gaat om sportactiviteiten, culturele programma's of sociale initiatieven, het is van essentieel belang om te begrijpen hoe jongeren denken en voelen over deze activiteiten. Hierbij spelen geschikte onderzoeksmethoden een sleutelrol. In deze blog beschrijven we enkele effectieve methoden om waardevolle inzichten van jongeren te verkrijgen.

Begrijpen van de jongeren

Om effectief met jongeren te communiceren, is het van belang om hun wereld te begrijpen. Jongeren bevinden zich in een unieke fase van hun leven, waarin ze nog volop in ontwikkeling zijn. Deze fase brengt ook uitdagingen met zich mee. Denk hierbij aan: minder concentratie, minder probleemoplossend vermogen, lagere overdrachtssnelheid van informatie én hormonen die bijdragen aan heftigere emoties en minder empathisch vermogen.

Trends onder jongeren om toe te passen

Om jongeren effectief te bereiken, is het essentieel om op de hoogte te zijn van de trends die hun gedrag en interesses beïnvloeden. De belangrijkste trends zijn onder andere:

• Jongeren zijn constant verbonden met social media en gebruiken deze kanalen om te communiceren. Maaksocial media daarom onderdeel van je activiteit of programma en kies het juiste kanaal.
• Storytelling is voor jongeren dé manier om beleving en emotie te delen in verhalen die spannend, schokkend of grappig zijn. Jongeren weten wat er speelt in de wereld en maken zich zorgen over bijvoorbeeld klimaat, oorlog en ongelijkheid en kunnen hun mening hierover goed verwoorden.
• Jongeren tonen steeds meer interesse in hun lokale gemeenschap en omgeving. Een beroep doen op hun leefomgeving en de invloed die zij daarop hebben, kan hun betrokkenheid vergroten.
• Jongeren streven naar succes en erkenning. Het is daarom belangrijk om hun interesse te wekken, door ze de mogelijkheden en voordelen van deelname aan een programma te laten zien.
• In de communicatie naar jongeren toe, kan het integreren van spelelementen de boodschap aantrekkelijker maken.
• Bouw een warme band op met de jongeren, door aan te haken bij positieve waarden die hen aanspreken, zoals liefde, vriendschap en geluk.
• Zoek het persoonlijke contact op met de jongeren in hun eigen omgeving en ga naar ze toe.
• Zorg ervoor dat jouw activiteit of programma een goede omschrijving heeft en maak hiervoor gebruik van de taal van de jongeren.
• Je kunt jongeren inspireren en motiveren met rolmodellen, die binnen het vakgebied of de discipline hun ‘held’ zijn.
• Je biedt jongeren perspectief door ze te vertellen wat deelname aan de activiteit of het programma inhoudt, maar maak ook duidelijk wat voor hen de meerwaarde is.

Jongeren zijn goed te bereiken, mits je ze leert kennen en begrijpen. Neem ze serieus en betrek ze.

Onderzoeksmethoden voor jongeren met effectieve benaderingen om goede resultaten te verkrijgen

Bij het uitvoeren van onderzoek onder jongeren is het belangrijk om methoden te kiezen die aansluiten bij hun behoeften en voorkeuren. De volgende elementen zijn daarbij belangrijk:

• Het moet de jongeren weinig tijd kosten.
• Het is makkelijk en laagdrempelig.
• Het is op een locatie waar de jongeren zich bevinden.
• De jongeren moeten het gevoel hebben dat ze serieus worden genomen.
• Beloon ze voor hun medewerking (cadeautje).

Enkele onderzoeksmethoden die aan deze voorwaarden voldoen zijn:

• Observeren

Een manier van onderzoeken waar je de jongeren nauwelijks mee belast is observeren. Het kost hen geen tijd, jij observeert werkelijk gedrag en je bent niet afhankelijk van respons. Door te observeren kun je veel informatie verzamelen. Je kunt echter alleen feitelijk gedrag observeren en geen motivaties achterhalen.

• Scheurkaartjes

Een snelle en makkelijke manier om informatie te verzamelen. Door de jongeren na de activiteit een papiertje te geven met daarop een stelling, hoeven ze alleen nog maar via een scheurtje in het papiertje of door een cijfer te geven laten weten of ze het met de stelling eens zijn. Jongeren kunnen eenvoudig hun mening geven zonder veel tijd of moeite te investeren.

• Digitale vragenlijsten met enquêteur (ter plekke)

Een andere geschikte onderzoeksmethode voor jongeren is een digitale enquête. Deze wordt ter plekke door een enquêteur afgenomen. Deze stelt de vragen en vult de antwoorden in. Deze methode kost meer tijd, maar op deze manier kan men veel informatie verzamelen met minimale inspanning van de jongeren zelf.

Door de jongeren na afloop een cadeautje te geven als bedankje vergroot je de kans dat ze meewerken.

• Interviews

Hoewel tijdrovend, bieden interviews de mogelijkheid om diepgaande informatie en motivaties van jongeren te achterhalen. Dit kost de jongeren echter veel tijd. Aan de andere kant voelen zij zich gehoord en serieus genomen en zal dit hen motiveren om mee te werken. Ook bij deze onderzoeksmethode is het leuk om ze een cadeautje te geven als bedankje.

Het is altijd belangrijk, om bij het kiezen van een onderzoeksmethode met de eerdergenoemde trends onder jongeren en hun voorkeuren rekening te houden.

Het begrijpen en betrekken van jongeren is essentieel voor het succes van projecten en programma's gericht op deze doelgroep. Door gebruik te maken van effectieve communicatiestrategieën en geschikte onderzoeksmethoden kunnen organisaties waardevolle inzichten verkrijgen van jongeren.

Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.

Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.

Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.

Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.

Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.

Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.

Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.

Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:

1. Krijg je inzicht in jezelf en het team. Waar had je misschien dingen anders moet doen? Maar ook: Waarin heb je juist goed werk geleverd?
2. Verkrijg je inzicht in het project, programma of de activiteit. Je krijgt zicht op hoe het project is ontvangen en daarbij informatie over de succesfactoren, maar ook eventuele verbeterpunten komen boven tafel. Met deze informatie kun je het huidige project verbeteren en weet je waar aandachtspunten liggen voor de toekomst.
3. Krijg je inzicht in je d0elbereik en dat van de organisatie: heeft het project de gewenste effecten (worden er meer bezoekers geïnspireerd, veranderen de deelnemers echt van houding t.o.v. een bepaald onderwerp, wordt de interesse gewekt?)
4. Krijg je de juiste informatie in handen om het project te verantwoorden, intern of aan derden. Dit kan een verantwoording zijn aan de interne organisatie met een onderbouwing voor bijvoorbeeld budget. Maar evalueren geeft je ook informatie voor externe verantwoording, zoals aan subsidiegevers. Door middel van een evaluatie kun je laten zien wat je hebt bereikt met het project of de activiteit.
5. Krijg je inspiratie voor nieuwe projecten. Je komt erachter wat de succesfactoren zijn en hoe je die beter kunt inzetten. Ook kom je er bijvoorbeeld achter dat een bepaalde doelgroep niet hebt bereikt met dit project en kunt voor deze doelgroep een nieuwe activiteit bedenken.
6. Geeft voeding voor vernieuwing. Door te evalueren krijg je misschien ideeën waar je nog niet eerder aan hebt gedacht.
7. Worden vervolgacties zichtbaar. Vaak leidt evalueren tot een actie. Dit kan vanalles zijn. Misschien is het nodig om de strategie bij te stellen, nieuwe doelen te formuleren of bij te sturen. Door te evalueren maak je deze vervolgstappen zichtbaar.

Hulp nodig bij evalueren? Ik kan je hierbij helpen!