Voor de beleidsmedewerkers van het sociale domein van de gemeente Roosendaal heb ik twee workshops gegeven om hen te helpen hun subsidieprocessen beter te stroomlijnen en beter zicht te krijgen op de effecten van het beleid en de bijbehorende subsidieafspraken. De eerste workshop ging over het formuleren van doelen, de tweede over het formuleren van indicatoren en mogelijkheden om deze meetbaar te maken.
Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).
Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?
Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.
Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:
Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.
Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:
Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.
Voorbeeld:
Je bent enthousiast een project gestart en dat loopt enige tijd. Je begint nieuwsgierig te worden naar de effecten. Kom je dichterbij het doel dat je in het begin hebt geformuleerd? Tijd voor een effectmeting dus. Maar je hebt geen nulmeting gedaan. Kun je dan nog steeds de effecten vast stellen?
Als je steeds nieuwe mensen bereikt, kun je een nulmeting houden onder je doelgroep voordat zij voor de eerste keer meedoen. Als dat niet het geval is, wordt wel lastiger en minder nauwkeurig. Je hebt ten slotte de startsituatie niet vastgelegd. Maar het kan nog steeds. Je spreekt in de regel dan van een impactmeting.
Bij een impactmeting achterhaal je de impact die je project (of beleid) heeft gehad op je doelgroep. Het gaat hierbij om subjectieve waarnemingen van je doelgroep en wat heeft het voor hen te weeg gebracht.
Bij een impactmeting kun je op verschillende manieren te werk gaan. Allereerst kun je een documentstudie doen. Wat is er bekend over de impact? In jaarverslagen staan vaak bereikcijfers, in verslagen van vergaderingen en tussentijdse evaluaties kan informatie staan over de betekenis van het project op je doelgroep.
Daarnaast kun je je doelgroep en je samenwerkingspartners vragen naar hun ervaring en mening vragen. Wat zien zij gebeuren? Wat heeft het project betekent? Deel de impact hierbij op in kleinere delen, waardoor het behapbaar is voor je gesprekspartner. Als je voldoende mensen vraagt, krijg je een duidelijk beeld over wat jouw project heeft betekent.
De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?
Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.
De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.
Foutenmarge:
Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.
Homogeniteit van de onderzoekspopulatie:
De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.
Click on the flag to read this article in English
Ondanks bezuinigingen op het gebied van kunst & cultuur zijn er ook kansen en mogelijkheden voor kunst & cultuur. Er wordt nog volop geinvesteerd en daar kan op mee gelift worden. Het Brabants Kenniscentrum voor kunst en cultuur (bkkc) wilde daarom weten waar investeringen plaats vinden bij Brabantse gemeenten, welke speerpunten de Brabantse gemeenten hebben; op het gebied van kunst, cultuurbeleid en erfgoed, maar ook op andere beleidsterreinen. Bkkc zoekt aansluiting bij andere beleidsterreinen en zo kunst en cultuur meer in de maatschappij zetten.
Voor dit onderzoek is zeer gedetailleerde informatie in een databestand opgeleverd. Daarnaast is een notitie geschreven met de belangrijkste bevindingen en een gebruikshandleiding voor het bestand. Aan de hand van de notitie en het bestand heeft bkkc belangrijke kansen en mogelijkheden geformuleerd voor de culturele sector en voor gemeenten. Deze publicatie is te bestellen bij bkkc à €20,=.
Aansluitend is een workshop gegeven voor medewerkers van Erfgoed Brabant (medefinancier van het onderzoek) om gericht te kunnen zoeken en vinden in het bestand.
In Rotterdam doen veel basis- en een aantal voortgezet onderwijs scholen mee aan het project Lekker Fit! om leerlingen blijvend een actieve levensstijl bij te brengen. Voor het voortgezet onderwijs heb ik het project samen met een onderzoeksteam geëvalueerd. Bij deze evaluatie is gekeken naar uiteenlopende aspecten, namelijk:
Er is tijdens de evaluatie vooral gelet op verschillen tussen jongens en meisjes.
[elementor-template id="6009"]
Op school worden schoolgruiten (groenten en fruit) uitgedeeld. De dienst Sport & Recreatie van de gemeente Rotterdam financierde dit project om de groenten- en fruitconsumptie van kinderen te stimuleren. Ik heb daarom naar het effect op de groenten- en fruitconsumptie op de lange termijn, gekeken. Met een nul-, effect- en nameting is is vastgesteld dat er blijvend meer groenten en fruit werd geconsumeerd, en niet alleen tijdens het project.
Aangezien de opdrachtgever een beknopte rapportage wilde, zijn de resultaten in een factsheet gepubliceerd.
[elementor-template id="6009"]