Met InternetSpiegel brengen we de werkbeleving van medewerkers in jouw organisatie in kaart. Dat doen we door middel van wetenschappelijk onderbouwd medewerkersonderzoek waarbij wordt gewerkt met wetenschappelijk gevalideerde en praktisch bewezen vragenlijsten over bijvoorbeeld uitstroom, werkbeleving en werkdruk. In dit blog gaat Thomas Hettema, adviseur bij Venster (ICTU), dieper in op de wetenschappelijke werkwijze van InternetSpiegel. Ook neemt hij jullie mee in hoe deze wetenschappelijke werkwijze is toegepast op een van de meest gebruikte onderzoeksmodellen van InternetSpiegel, de Werkbelevingsscan.

Met InternetSpiegel kunnen organisaties binnen de sectoren openbaar bestuur en veiligheid en hogescholen meten hoe medewerkers hun werk beleven, in iedere fase van hun employee journey. Het InternetSpiegel medewerkersonderzoek is een gedegen medewerkersonderzoek waarbij gewerkt wordt met gevalideerde, wetenschappelijk en praktisch bewezen vragenlijsten, inclusief benchmarks.    

Het belang van een wetenschappelijk onderbouwd medewerkersonderzoek

Bij InternetSpiegel staan we voor kwaliteit. Niet alleen in de vragenlijsten, maar ook voor wat er met de uitkomsten van het onderzoek gedaan wordt. Daarom werken we vanuit een wetenschappelijke benadering. Deze benadering kent twee kanten. Enerzijds zorgt onze aanpak ervoor dat de vragenlijsten die we hebben, valide en van goede kwaliteit zijn. We weten daarmee immers dat de vragen die we stellen, meten wat ze beogen te meten. Anderzijds houdt de wetenschappelijke benadering in dat we onze vragenlijsten altijd vanuit wetenschappelijke modellen bezien. Dit zorgt voor inzicht in verklarende mechanismen, en daarmee goede handvatten voor organisaties om iets met de resultaten te doen.  

Hoe we deze werkwijze toepassen bij InternetSpiegel, lees je hieronder. We nemen je mee in het proces en vertellen hoe we onze wetenschappelijke benadering hebben toegepast op de Werkbelevingsscan. Met de Werkbelevingsscan kunnen organisaties het algeheel welzijn van hun medewerkers onderzoeken. Dit model is een van de meest gebruikte onderzoeksmodellen van InternetSpiegel.   

Fase 1: Het startpunt  

Het startpunt bij het ontwikkelen van nieuwe vragenlijsten en modules is tweeledig. ‘Enerzijds kijken we naar actuele thema’s in de samenleving. Dus wat speelt er in de maatschappij en bij organisaties dat invloed heeft op het werk?’, aldus Hettema. ‘Zo hebben we ons in een recent onderzoek om nieuwe modules te ontwikkelen, verdiept in diversiteit, hybride werken, werkdruk en werken voor de publieke zaak. Dit zijn thema’s die zeker ook de afgelopen tijd relevant waren voor organisaties en dat voorlopig ook blijven.’ Ook gehele vragenlijsten worden onder de loep genomen. 

Naast dat InternetSpiegel altijd met een open blikt kijkt naar wat er speelt in de samenleving, krijgen ze ook regelmatig input terug uit de praktijk. ‘Onder meer van organisaties die meedoen met InternetSpiegel. We zijn dan ook altijd in gesprek met Effectory (op dit moment de uitvoerende partij van de InternetSpiegel medewerkersonderzoeken) om op de hoogte te blijven van wat er speelt in organisaties en de feedback die wordt gegeven op de vragenlijsten’.  

Na de oriëntatiefase maken de onderzoekers een inschatting van het vraagstuk. ‘In feite kan dat twee kanten op. Of we besluiten dat het passend is om losse modules of een geheel model te ontwikkelen.’ Daarnaast scherpt InternetSpiegel regelmatig hun modellen aan tijdens een zogeheten APK. ‘We implementeren dan nieuwe inzichten. Dit hebben we in 2022 gedaan voor de Werkbelevingsscan. In 2023 heeft er een APK voor de Exitmonitor plaatsgevonden.’  

 Werkbelevingsscan  

Met de Werkbelevingsscan heeft InternetSpiegel onlangs een APK uitgevoerd. Onderzoekers hebben gekeken wat er speelt in de bredere omgeving en naar wat Effectory terugkreeg van organisaties. Deze externe geluiden zijn vervolgens naast de Werkbelevingsscan gelegd. Onderzoekers concludeerden toen dat de werkwijze en diverse thema’s, geactualiseerd moesten worden. Hierbij was het belangrijk dat er kritisch gekeken werd naar het gehele onderzoeksmodel van de Werkbelevingsscan.

Fase 2: Een duik in de literatuur  

Eenmaal het startpunt bepaald, is het tijd voor de onderzoekers van InternetSpiegel om in de literatuur te duiken. ‘In deze fase kijken we of er relevante onderzoeken zijn gedaan voor datgeen wat we nader willen onderzoeken. Ook gaan we in gesprek met contacten van universiteiten die ons kunnen adviseren’, vertelt Hettema. ‘We gaan op zoek naar nieuwe inzichten, maar ook naar eventueel interessante modellen die we kunnen implementeren.’   

 Op het moment dat een model opnieuw onder de loep wordt genomen, of wanneer InternetSpiegel besluit een extra model toe te voegen aan het medewerkersonderzoek, gaan de onderzoekers op zoek naar een theoretisch model. ‘Dit levert ons inspiratie voor enerzijds conceptuele modellen en daarmee ook voor de vragenlijst.’  

 Vervolgens ontwerpen de onderzoekers losse modules. ‘We werken bij InternetSpiegel vanuit het principe dat je, om een onderwerp goed te kunnen meten, minstens drie vragen moet stellen per thema. Echter gaan we soms uit van meer vragen, bijvoorbeeld omdat één thema bestaat uit meerdere dimensies. Zo wordt prestaties van de organisaties gemeten aan de hand van drie dimensies, met ieder twee vragen per dimensie.’  

 Om tot deze drie vragen per module te komen, worden in de validatiestudie in het Flitspanel meer vragen gesteld die over één thema gaan. ‘Zo kunnen we tijdens het analyseren beter zien welke van deze vragen het meest overeenkomen met eenzelfde onderwerp.  Als we besluiten om een geheel onderzoeksmodel te valideren en opnieuw door te rekenen, zoals tijdens de APK, gaan we nog een stapje verder. Dan kijken we in de literatuur ook nog welke thema’s van invloed zijn op elkaar, zodat we dit ook mee kunnen nemen met het opstellen van vragen .’   

Werkbelevingsscan  

Tijdens het actualiseren van de Werkbelevingsscan zijn de onderzoekers in deze fase in diverse modellen gedoken. Het Job Demans-Resources model was het best passend om te gebruiken voor onderzoek naar de totale werkbeleving van medewerkers (zie dit artikel voor een nadere uitleg). Hierin worden prestaties van medewerkers verklaard door hun positieve, dan wel negatieve welzijn. Hoe het gesteld is met het welzijn van medewerkers kan vervolgens weer verklaard worden door de baaneisen enerzijds, en energiebronnen anderzijds. Met dit model als uitgangspunt is aan de hand van verschillende theoretische concepten invulling gegeven aan het model.   

Fase 3: Testen vragenlijsten  

Hettema noemde eerder het Flitspanel. ‘Dit is een medewerkerspanel van en voor de (semi-) publieke sector, in beheer bij ons programma, waar zo’n 10.000 betrokken medewerkers in zitten. Aan hen leggen we onze conceptuele modellen voor in de vorm van een vragenlijst. Dat doen we onder meer om de validiteit van onze onderzoeken te waarborgen. Dus: meten we wat we willen meten?’ ’

 Niet alleen de validiteit wordt met het Flitspanel in kaart gebracht, ook wordt met deze stap het conceptuele model in de praktijk getest. Hettema: ‘Dit is van belang om een beeld te krijgen van de doorrekening van het veronderstelde conceptuele model. Dus: leidt A tot B en B tot C?’   

 Werkbelevingsscan  

Ook het Flitspanel was onderdeel van de APK van de Werkbelevingsscan. Van 12 juli tot en met 29 juli 2022 heeft de vragenlijst in het Flitspanel uitgestaan. De doelgroep bestond uit medewerkers van alle sectoren binnen de (semi-) publieke sector.   

 Fase 4: Analyse  

In deze fase is het tijd om te analyseren of er gemeten wordt wat InternetSpiegel wil meten. ‘Vanuit de literatuur hebben we bepaalde vragen geselecteerd waarvan theoretisch verondersteld wordt dat deze een bepaald thema beslaan’, licht Hettema toe. ‘Echter weten we niet of dat in de praktijk op eenzelfde manier wordt geïnterpreteerd door respondenten.’  

 Het doorspitten van de resultaten uit het Flitspanel helpt dan ook bij het testen van de validiteit. ‘Het analyseren op validiteit houdt in dat we de vragen (vanuit de theorie) die over één thema gaan, naast de ingevulde antwoorden leggen van respondenten. Zo kijken we of dit klopt.’ Om dit te versimpelen, geeft Hettema een simpel voorbeeld aan de hand van fruit en groenten. ‘We kijken of de vragen die gaan over fruit, daadwerkelijk worden ingevuld door respondenten vanuit het oog op fruit en niet vanuit het oog op groenten.’    

 Werkbelevingsscan  

In het geval van het actualiseren van de Werkbelevingsscan bestond het analyseren van de validiteit uit twee onderdelen. Er is onder meer een exploratieve factoranalyse uitgevoerd. Dit is een methode om verkennend te bekijken welke vragen op eenzelfde manier worden geïnterpreteerd door respondenten. Vervolgens is een confirmatieve factoranalyse uitgevoerd. Met deze analysemethode specificeren we de eerder gekozen vragen die uit de exploratieve factoranalyse naar voren kwamen, om zo onze eerder gemaakte keuzes te toetsen en te beoordelen op samenhang.   

Hier zie je een confirmatieve factoranalyse. Dit is de vervolgstap op de exploratieve factoranalyse. In de exploratieve factoranalyse kijken we verkennend welke vragen bij welke modules passen, en of de vragen die we voor werkdruk hebben opgesteld, daadwerkelijk een construct/module vormen. Vervolgens toetsten we de keuzes die we in modules hebben gemaakt via een confirmatieve factoranalyse.  

Fase 5: Implementatie  

Na de analyse is het tijd voor de implementatie. Dit is de laatste stap in deze werkwijze. ‘Er ligt niet langer een conceptueel model, maar een theoretisch model dat betrouwbaar en valide is. Daarmee voldoet het aan de eisen van InternetSpiegel om opgenomen te worden in ons medewerkersonderzoek.’   

 Werkbelevingsscan  

Gekeken naar de APK van de Werkbelevingsscan zijn in deze implementatiefase een tweetal dingen doorgevoerd: zo heeft de scan een vernieuwde opzet als het gaat om het theoretisch model, maar zijn er ook nieuwe modules aan de vragenlijst toegevoegd. Dat betekent dat de Werkbelevingsscan actueler is gemaakt door recente wetenschappelijke inzichten en maatschappelijke ontwikkelingen te implementeren in de vragenlijst. Ook is het model toegankelijker geworden voor gebruikers zodat organisaties gemakkelijker hun eigen onderzoek kunnen samenstellen.  

De Werkbelevingsscan is vernieuwd door het Job Demands-Resources Model (JDR-model) hierin toe te passen. Door het theoretisch model voor organisaties inzichtelijker te maken, kan het onderzoek gemakkelijker worden samengesteld. Bovendien kunnen er concretere handvatten geboden worden aan organisaties. Om als organisatie een zo compleet mogelijk beeld te krijgen van de werkbeleving, adviseren wij om altijd de Werkbelevingsscan te bezien vanuit de balans van het model. Het is daarbij van belang dat zowel de energiebronnen als de baaneisen worden meegenomen.   

 Meer weten over de Werkbelevingsscan? Lees dan dit artikel.   

Meer weten over InternetSpiegel?  

Meer weten over de modellen van InternetSpiegel of ontdekken wat we voor jouw organisatie kunnen betekenen? Neem dan contact op via internetspiegel@ictu.nl.   

Venster biedt InternetSpiegel aan in samenwerking met Effectory.