Online vragenlijst

In Regio Foodvalley is gekozen om de voorkeuren en meningen van inwoners van de regio in kaart te brengen met een zogenoemde Participatieve Waarde Evaluatie (PWE).  De kern van deze methode is dat deelnemers op de stoel van een besluitvormer worden.  De vragen gaan niet over hoeveel zon of wind men op een bepaalde plek wil of waar men voor of tegen is. In de vragenlijst stonden vijf mogelijkheden om het doel van Regio Foodvalley voor het opwekken van duurzame energie te bereiken. De mogelijkheden zijn niét bedoeld als realistische plannen. Het zijn meer prikkelende denkrichtingen die als positief, of juist heel negatief worden ervaren. Vervolgens is deelnemers gevraagd aan te geven waarom ze een bepaalde keuze hebben gemaakt.

Deze methode levert heel veel wensen, zorgen en ideeën op die inwoners hebben bij het opwekken van duurzame energie. Die kunnen volksvertegenwoordigers goed gebruiken bij de moeilijke afwegingen die zij moeten maken als zij besluiten.

De methode is ontwikkeld door de TU Delft, VU Amsterdam en ITS Leeds (meer informatie is te vinden op: www.tudelft.nl/tbm/pwe). 

Via een online platform legden we vijf mogelijkheden om energieopwekking te verduurzamen voor aan de deelnemers.  Deze mogelijkheden zijn niet bedoeld als realistische scenario’s, maar gemaakt om na te denken over de plus- en minpunten van de verschillende mogelijkheden.

Na het geven van informatie over de mogelijkheden nodigden we deelnemers uit om 100 punten te verdelen over de vijf mogelijkheden en hun keuzes tekstueel toe te lichten. De mogelijkheid die hen het meest aansprak gaven zij de meeste punten. De mogelijkheid die hen het minst aansprak de minste punten, of 0 punten.

We vroegen hen hun keuzes uit te leggen. Zo leren wij wat de wensen, zorgen en ideeën zijn van de inwoners van de regio Foodvalley.

De antwoorden van deelnemers worden zowel kwantitatief (statistisch), als kwalitatief (argumenten en inhoudelijk) onderzocht.

De rol van de burger bij veel vragenlijsten is over het algemeen beperkt tot reageren op een plan dat al is opgesteld door deskundigen of beleidsmakers. Sommige burgers vinden dat frustrerend. Zij ervaren dit als een minderwaardige rol. PWE laat dilemma’s zien waar beleidsmakers voor staan. Het nodigt burgers uit om een keuze te maken. Daarmee leveren zij een inhoudelijke bijdrage. In een PWE worden burgers dus eigenlijk op de stoel van een beleidsmaker gezet.

In een PWE geven deelnemers geen zwart-wit oordelen. Zij maken  afwegingen en leggen hun afwegingen uit.

Als laatste is de vragenlijst zo ontworpen dat de communicatie twee kanten op gaat. In de keuzeopties geeft de overheid of besluitvormer informatie en overwegingen mee aan de inwoners. Door het geven van voorkeuren en uiten van zorgen geven inwoners weer informatie aan de overheid of de besluitvormer. Deelnemers maken dus een op informatie gebaseerde keuze. Het online platform geeft veel achtergrondinformatie om meer over een vraagstuk te leren.

Deelnemers van eerdere PWEs geven aan dat zij zich daardoor meer bewust zijn van de dillema’s waarmee overheden te maken hebben. Zo leren burgers bijvoorbeeld over de beperkingen van middelen van de overheid(niet alles is mogelijk) en de voor- en nadelen van de verschillende keuzeopties.

Een belangrijk voordeel is dat je makkelijker kan deelnemen. Deelnemers besteden doorgaans tussen de 20 á 30 minuten voor het invullen van hun keuzes. Zij kiezen zelf waar en wanneer zij de vragenlijst invullen.

Daardoor kunnen niet alleen de gepassioneerde voor- en tegenstanders deelnemen aan de evaluatie van overheidsbeleid. Maar ook inwoners die niet zo snel naar een informatieavond zouden gaan.

Eerdere PWE onderzoeken laten zien dat allerlei verschillende groepen inwoners redelijk gelijk zijn vertegenwoordigd. Omdat het makkelijker is om online deel te nemen, doet een grotere groep burgers mee.

Een nadeel van PWE in vergelijking met bijvoorbeeld bewonersavonden, is dat je de face-to-face communicatie tussen mensen mist. TU Delft stelt vast dat mensen die niet veel tijd hebben en niet openstaan voor fysieke informatieavonden, graag online deelnemen aan de vragenlijst. Aan de andere kant zijn er ook inwoners die wél elkaar liever fysiek ontmoeten, zodat zij argumenten kunnen uitwisselen met andere inwoners en kunnen overleggen met experts en ambtenaren. Daarom is TUDelft van mening dat online meepraten en meedoen, zoals in de PWE, de fysieke methoden niet mogen vervangen. Het moet een aanvulling zijn.

Verschillende methoden voorzien in verschillende behoeften van inwoners.

Aan deze vragenlijst namen 1.798 mensen deel. Dit is een hoog aantal deelnemers voor een vragenlijst die gebruikt maakt van deze methode. Ter vergelijking: In de gemeente Utrecht deden in 2019 aan een vragenlijst met dezelfde methode over de warmtetransitie 619 personen mee. In Súdwest-Fryslân deden dit voorjaar 1376 deelnemers mee.

Bij andere regionale vragenlijsten doen soms meer mensen mee. De Provincie Friesland hield bijvoorbeeld een peiling onder alle inwoners van de Provincie over communicatie rond de Regionale Energiestrategie, 3.091 Friezen deden mee. Deze vragenlijst vroeg 5 minuten tijd. Vragenlijsten die veel tijdsinvestering vergen hebben vaak minder deelnemers.

Bij nationale peilingen zien we dat de cijfers vaak niet veel hoger zijn dan bij peilingen in de gemeente en/of regio. De maandelijkse peiling van stemgedrag van het programma EenVandaag is bijvoorbeeld gebaseerd op een steekproef van 1000 personen.

Een vragenlijst is representatief als de deelnemersgroep een goede doorsnede is van de populatie die het representeert: in dit geval de inwoners van Regio Foodvalley. Het gaat dan om de kenmerken van de steekproef en de inwonerspopulatie, die relevant zijn voor het onderwerp.

Welke kenmerken zijn relevant? Stel dat de verwachting is dat mannen en vrouwen verschillende ideeën hebben over de energietransitie, dan is het belangrijk dat mannen en vrouwen gelijk vertegenwoordigd zijn in de vragenlijst. Maar als mannen en vrouwen ongeveer dezelfde voorkeuren hebben over de energietransitie, dan is het voor de representativiteit geen probleem als de verdeling van mannen en vrouwen in de steekproef niet overeenkomt met de populatie.

Kenmerken die niet relevant zijn voor het onderwerp hoeven dus niet gelijk verdeeld te zijn over de steekproef en de populatie om representativiteit te garanderen. Als bijvoorbeeld het aantal roodharige mensen in de steekproef relatief groot is ten opzichte van de populatie, dan is dit geen probleem als we aannemen dat haarkleur geen invloed heeft op voorkeuren voor de energietransitie.

Wij hebben in de vragenlijst een aantal controlevragen toegevoegd, op basis hiervan kunnen we vaststellen welke kenmerken relevant zijn op basis van ons eigen onderzoek.

Als aanvulling hierop: de kenmerken waarover geen informatie beschikbaar is, kan ook niet gebruikt worden om te bepalen of onze steekproef representatief is.
Stel nu dat we te maken hebben met een kenmerk dat ongelijk verdeeld is in de steekproef en de populatie, en dat dit kenmerk relevant blijkt voor de voorkeuren van inwoners. Dan is het belangrijk verder onderzoek te doen. In dit onderzoek zien we bijvoorbeeld dat er relatief weinig laagopgeleiden hebben meegedaan. Stel dat laagopgeleiden significant minder punten toekennen aan een keuzemogelijkheid dan hoogopgeleiden. In dat geval is de steekproef niet representatief voor de populatie op het kenmerk opleidingsniveau.
TUDelft laat zien op welke delen er een onder- of over representatie te verwachten is. Het zou namelijk jammer zijn om op basis van een ondervertegenwoordiging van een groep de waarde van de bijdrages van andere groepen te verkleinen. Daarom kijkt TUDelft altijd of zij voorkeuren ook per groep in kaart kunnen brengen. Dat doen zij door vragen te stellen als: ‘wat vinden huizenbezitters belangrijk?’ ‘hebben mensen met een laag inkomen meer/minder zorgen?’.

Lees het complete verhaal over representativiteit in het rapport over de uitkomsten van het onderzoek (pdf, 2 MB).

Als we vaststellen dat een (persoons)kenmerk relevant is voor voorkeuren en keuzes. En deze kenmerken zijn onder- of oververtegenwoordigd dan. Dan kan TUDElft kijken hoe groot dit probleem is door herweging.

Hoe gaat dit in zijn werk?
In dit geval deden minder laagopgeleiden mee. Herweging houdt dan in dat er een hoger gewicht wordt toegekend aan de voorkeuren van laagopgeleiden en een lager gewicht aan de voorkeuren van hoogopgeleiden. Dat gebeurt tot het punt dat het gewicht van de voorkeuren van laag- en hoogopgeleiden gelijk is in de steekproef en de populatie.

Waarom zou je dit doen?
Op deze manier kun je testen of het voor de conclusies van het onderzoek uitmaakt dat de steekproef niet representatief is. Je kunt kijken of, wanneer de groepen wel representatief zouden zijn, dit een ander resultaat zou geven.
Een voorwaarde voor herwegen is dat er voldoende laagopgeleiden hebben meegedaan aan het onderzoek. Als er geen laagopgeleiden hebben meegedaan, dan kun je niet herwegen.

Er is geen wetenschappelijke consensus over het minimale aantal mensen dat in een subgroep nodig is om verantwoord te kunnen herwegen. Nog een voorbeeld: aan het onderzoek namen bijvoorbeeld 52 jongeren tot 25 jaar deel. Dit is een relatief laag aantal ten opzichte van de andere leeftijdsgroepen. Wanneer je gaat herwegen, neem je aan dat de 52 jongeren voor wat betreft hun voorkeuren over de energietransitie, een goede afspiegeling zijn voor de jongeren in Regio Foodvalley.

TUDelft hanteert hier als norm dat zij kijken naar de diversiteit van die 52 jongeren. Als de groep van 52 jongeren voldoende divers is kijkend naar andere kenmerken (zoals woonplaats, betrokkenheid bij duurzame energie en /of opleidingsniveau) dan kunnen zij herwegen. Als dat niet het geval is, is herwegen niet verantwoord. Lees het complete verhaal over representativiteit in het rapport over de uitkomsten van het onderzoek (pdf, 2 MB).