Bij het organiseren en leiden van een groepsgesprek moet je met andere dingen rekening houden dan bij een individueel interview. Bij groepsinterviews heb je bijvoorbeeld te maken met groepsdynamiek waar je mee om moet gaan. Een aantal tips voor het houden van een groepsgesprek:
1. Begin op tijd met de organisatie van de groepsgesprekken. Anders loop je het risico dat niet voldoende mensen kunnen. Door het groepsinterview ruim van tevoren te plannen, heb je de grootste kans dat iedereen aanwezig kan zijn.
2. Laat iemand het verslag maken die daar ervaring mee heeft. Notuleren bij een groepsgesprek is namelijk ingewikkelder, omdat verschillende mensen aan het woord zijn.
3. Maak video- of geluidsopnamen van het interview als je niet zeker weet of de verslaggever het live bij kan houden bij het maken van een verslag. Zorg er dan voor dat de apparatuur vooraf aanwezig is en klaar staat.
4. Zorg ervoor dat je gesprekspartners zich op hun gemak voelen. Zorg voor een prettige ruimte, iets te drinken en een koekje.
5. Laat iedereen zich voorstellen, zodat de anderen ook weten met wie ze aan tafel zitten. Maak een plattegrond van de tafel met namen en functie / achtergrond als spiekbrief.
6. Zorg ervoor dat iedereen aan het woord komt.
7. Let op de lichaamstaal van de deelnemers.
8. Monitor de tijd en hou je aan de afgesproken tijd. Het is vervelend als je een deel van je vragen niet hebt kunnen stellen.
9. Leg uit wat er gebeurt met de uitkomsten van het gesprek. Ook wat je doet met het verslag dat van het gesprek wordt gemaakt (bv de geluidsopname). Gebruik je dat alleen om zelf iets op te kunnen zoeken of wordt het ook gepubliceerd. Koppel het verslag in het laatste geval in ieder geval terug.
10. Vat tijdens het interview samen en koppel het gezegde terug naar de groep om er zo verzekerd van te zijn dat je het goed begrijpt.
Meer tips over interviewen? Lees dan ook mijn andere blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?
Click on the flag to read this article in English
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:
Hulp nodig bij evalueren? Ik kan je hierbij helpen!
Je start een project om iets te bereiken. Dan wil je na afloop weten of het is gelukt. Sterker: Gedurende het proces wil je weten of je richting je doel aan het bewegen bent en of je bij moet sturen.
Maar er zijn meer redenen waarom je de effecten van je project wilt meten. De effecten van het project geven je inzicht in je succes- en verbeterpunten en in je doelbereik.
De belangrijkste les die je van het inzicht in de effecten van een project kunt leren is of je het doel bereikt hebt. Heeft je project er daadwerkelijk voor gezorgd dat bijvoorbeeld je dichter bij het bereiken van de beleidsdoelen bent of dat leerlingen echt iets leren van het onderwijsproject? Als je op deze manier naar je resultaten kijkt, dan ben je aan het evalueren. Je houdt de resultaten tegen het licht en bekijkt of de doelen zijn bereikt. Heeft het project het beoogde effect geleverd?
Het inzicht in de effecten van je project geeft je essentiële informatie voor het nemen van beslissingen. Zo krijg je ten eerste inzicht in succesfactoren. Dit kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.
De leerpunten van het verkrijgen van inzicht in effecten van je project nog eens op een rijtje. Aan de hand van de gemeten effecten kun je:
Wil je informatie over het meetbaar maken van de effecten van je project? Lees dan ook eens deze blog.
Om een goed beoordelingsinstrument te ontwikkelen is het belangrijk om de volgende stappen te doorlopen:
Tot slot zijn er een aantal voorwaarden waar het beoordelingsinstrument aan moet voldoen:
Hulp nodig bij het maken van een goede beoordeling? Neem contact op om te kijken wat ik voor je kan betekenen.
Als je wilt weten of je je doelen bereikt, monitor je deze doelen. Door te monitoren kun je in de gaten houden of je nog op de goede weg zit. En of je je doel gaat bereiken. Hiervoor is het noodzakelijk om één indicator of meerdere indicatoren te formuleren die betrekking hebben op je doelen. Een indicator is een meetbaar begrip dat een signalerende functie heeft en een aanwijzing geeft over de mate van kwaliteit. Wijkt een indicator af van een afgesproken norm dan is bijsturing mogelijk. Het is dus belangrijk om goede indicatoren te kiezen en geen afgeleide indicatoren te gebruiken. Dan meet je namelijk niet wat je wilt meten en kun je niet meer goed bijsturen om je doelen te bereiken.
Een interessant voorbeeld is de bibliotheek. Doelen van de bibliotheek zijn onder andere leesbevordering en mediawijsheid. Vaak monitoren bibliotheken echter op ‘Lenen’, waarbij als indicator het aantal uitleningen gebruikt wordt. Dit geeft misschien ook waardevolle informatie, maar zegt niets over of de bevolking daadwerkelijk meer en beter leest en mediawijzer wordt. Het aantal uitleningen is dus een indicator die geen betrekking heeft op de doelen van de bibliotheek. De bibliotheek weet nu niet of er richting de doelen bewogen wordt en kan hier dus ook niet op sturen. Sterker: sommige bibliotheken reageren averechts op ontwikkelingen zoals de e-reader, omdat deze boeken lenen in de weg staat, maar wel goed is voor de leesbevordering.
In plaats van ‘Lenen’ kan de bibliotheek beter monitoren op ‘Lezen’ en ‘mediawijsheid’. Indicatoren verschuiven dan van het aantal uitleningen naar indicatoren die betrekking hebben op het meer (en beter) lezen en het mediawijzer worden van de bevolking. Bij leesbevordering kun je als indicator denken aan het aantal activiteiten gericht op het signaleren en tegengaan van laag geletterdheid. Bij mediawijsheid kan gedacht worden aan het actief, creatief en sociaal media gebruik naar aanleiding van mediawijsheid activiteiten.
Ik heb nu het voorbeeld van een bibliotheek gegeven, maar het kiezen van de juiste indicator(en) is natuurlijk voor iedere organisatie van belang om het doelbereik goed te kunnen monitoren!
Vragenlijsten kun je digitaal uitzetten, maar in bepaalde situaties maak je het je respondenten gemakkelijker als ze het ter plekke op papier in kunnen vullen. Dan moet de data ingevoerd worden. Bij deze zeven tips voor dataverwerking:
Click on the flag to read this article in English
Je bent enthousiast een project gestart en dat loopt enige tijd. Je begint nieuwsgierig te worden naar de effecten. Kom je dichterbij het doel dat je in het begin hebt geformuleerd? Tijd voor een effectmeting dus. Maar je hebt geen nulmeting gedaan. Kun je dan nog steeds de effecten vast stellen?
Als je steeds nieuwe mensen bereikt, kun je een nulmeting houden onder je doelgroep voordat zij voor de eerste keer meedoen. Als dat niet het geval is, wordt wel lastiger en minder nauwkeurig. Je hebt ten slotte de startsituatie niet vastgelegd. Maar het kan nog steeds. Je spreekt in de regel dan van een impactmeting.
Bij een impactmeting achterhaal je de impact die je project (of beleid) heeft gehad op je doelgroep. Het gaat hierbij om subjectieve waarnemingen van je doelgroep en wat heeft het voor hen te weeg gebracht.
Bij een impactmeting kun je op verschillende manieren te werk gaan. Allereerst kun je een documentstudie doen. Wat is er bekend over de impact? In jaarverslagen staan vaak bereikcijfers, in verslagen van vergaderingen en tussentijdse evaluaties kan informatie staan over de betekenis van het project op je doelgroep.
Daarnaast kun je je doelgroep en je samenwerkingspartners vragen naar hun ervaring en mening vragen. Wat zien zij gebeuren? Wat heeft het project betekent? Deel de impact hierbij op in kleinere delen, waardoor het behapbaar is voor je gesprekspartner. Als je voldoende mensen vraagt, krijg je een duidelijk beeld over wat jouw project heeft betekent.
Veel educatieve projecten van belangenorganisaties en non-profitorganisaties (denk aan musea, technocentra, theatergezelschappen) zijn niet zozeer gericht op het aanleren van vaardigheden, maar op het anders laten kijken naar de wereld of een andere houding bewerkstelligen ten opzichte van een bepaald onderwerp. Bijvoorbeeld een meer vragende of onderzoekende houding.
Of zo’n project succesvol is, bekijk je door een verandering in houding te meten. Het gaat namelijk niet over vaardigheden, maar over een manier van kijken naar de wereld om je heen, de attitude van de leerling ten aanzien van dat onderwerp.
Daarnaast is attitude een goede voorspeller voor toekomstig gedrag. Een attitude zegt iets over iemands grondhouding over een onderwerp. Is het interessant? Gaat iemand er in de toekomst iets mee doen? Technocentra zijn daarom geïnteresseerd deze attitude ten opzichte van techniek (positief) te beïnvloeden, omdat dit iets zegt over toekomstige keuzes ten aanzien van techniek (studie/beroep). Als deze attitude beïnvloed wordt bij een leerling, weet hij/zij beter wat wel/niet bij hem/haar past. Zo worden leerlingen geholpen bewustere keuzes te maken voor hun studie- en beroep.
Het meten van houding en de verandering lijkt heel abstract, maar is al op meerdere onderwerpen geconcretiseerd. Uit wetenschappelijk onderzoek blijkt dat de houding (ook wel attitude genoemd) ten opzichte van een bepaald onderwerp bestaat uit een aantal elementen. Kort een paar factoren die vaak terug keren:
Om deze factoren te kunnen meten, worden deze vertaald in een aantal elementen. Deze kunnen vervolgens op verschillende manieren gemeten worden. Denk aan observeren, een lijst met stellingen waarbij leerlingen aangeven waarin ze zich het meeste vinden.
Om een verandering in attitude waar te kunnen nemen moet meerdere keren gemeten worden: voor deelname aan een project, kort na afloop van het project om te kijken of er op korte termijn effecten zijn waar te nemen en op lange termijn om te kijken of deze effecten blijvend zijn.
Het instrument om attitude te meten is ontworpen door prof. Dr. J.H. Walma van der Molen. Zie hiervoor de publicatie:
Walma van der Molen, J., Wiegerinck, S. (2008) Eindrapportage VTB Attitude Monitor; De ontwikkeling van een attitudeinstrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs (hier te downloaden)
Wij hebben dit instrument inmiddels verschillende keren ingezet voor het meten van impact en het model erachter als aanzet om langdurige verandering te meten.
De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?
Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.
De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.
Foutenmarge:
Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.
Homogeniteit van de onderzoekspopulatie:
De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.
Click on the flag to read this article in English
