Betrouwbaarheid RI&E-gegevens

Een van de criteria waar een RI&E aan moet voldoen is ‘betrouwbaarheid’. Een betrouwbare RI&E betekent dat de gepresenteerde gegevens een correct beeld geven van de gevaren en risico’s op de werkplek.  

In veel RI&E-rapportages wordt nauwelijks op de betrouwbaarheid van de verkregen gegevens ingegaan. Vaak wordt vermeld dat met enkele medewerkers is gesproken, niet wordt aangegeven met hoeveel en of met sommige sleutelfiguren interviews zijn gehouden. Zelden wordt er ingegaan op de grootte van de respons op een enquête in relatie tot het totale aantal medewerkers en of deze de respons voldoende groot is om daar significante betrouwbare conclusies uit te trekken.  

Betrouwbaarheid binnen een RI&E betekent dat de resultaten een juist en representatief beeld geven van de werkelijke arbeidsomstandigheden. Om dit te bereiken moeten zowel metingen van objectieve feiten als metingen van subjectieve waardes worden ingezet. Metingen van objectieve feiten richten zich op de niet-persoonlijke belevingen van arbeid belastende factoren. Metingen van subjectieve waardes hebben betrekking op de persoonlijke belevingen van arbeid belastende factoren.

Bij het uitvoeren van een RI&E kunnen veel zaken geconstateerd worden door op de locatie rond te lopen en te kijken naar zaken als de brandveiligheid van het gebouw, de vluchtwegen, het aantal blusmiddelen, de machineveiligheid, de ruimteventilatie en plaatselijke ventilatievoorzieningen. Ook worden dan de werkzaamheden geobserveerd: hoe werknemers met machines werken, hoe ze achter hun beeldschermen zitten, of men de juiste persoonlijke beschermingsmiddelen draagt, enz. Bij bepaalde arbeid belastende werkzaamheden kunnen metingen worden gedaan, zoals naar de blootstelling aan geluid, trillingen, gevaarlijke stoffen, biologische agentia, EM-velden e.d. Met behulp van bepaalde methodes kan objectief de fysieke belasting in kaart worden gebracht van de werkzaamheden. 

Bij het uitvoeren van deze metingen is het belangrijk dat goed gekalibreerde meetapparatuur wordt gebruikt en dat de onnauwkeurigheid (spreiding) van de meetresultaten wordt aangegeven. Bovenbeschreven observatie- en meetmethodes kunnen niet worden gebruikt voor arbeid belastende factoren die van de persoonlijke beleving van de medewerkers afhangen, dus om de risicoperceptie van zaken bij medewerkers in kaart te brengen.  

Dit betreft niet alleen de psychosociale arbeidsbelasting onderwerpen zoals werkdruk, de balans werk en privé, taakeisen/energiebronnen en ongewenst gedrag. Het betreft ook zaken als de mate waarin zij vinden voldoende over de risico’s in hun werk te zijn voorgelicht, de stijl van leidinggeven, de beleving van het binnenklimaat, de ervaren geluidshinder, de begeleiding bij ziekte, ontplooiingsmogelijkheden, de bekendheid met meldingsprocedures voor ongevallen of ongewenst gedrag, alarmeringsregelingen, het arbobeleid en of arbozaken in het werkoverleg en tijdens functioneringsgesprekken voldoende aan de orde komen. 

Om de persoonsgebonden belevingen in kaart te brengen, worden vaak gesprekken/interviews gehouden, of worden enquêtes afgenomen. Bij het houden van gesprekken kunnen medewerkers bevraagd worden naar hun beleving van genoemde arbeid belastende factoren. Dit geeft niet altijd een goed beeld omdat sommige medewerkers in gesprekken niet alles durven te zeggen, ook niet tegen externen. Denk aan zaken als pesten en intimidatie. Mensen schamen zich daar vaak voor.  

Anonieme enquêtes bieden in dat geval vaak een veiliger alternatief. In de veiligheid van die anonimiteit van vragenlijsten (enquêtes) zullen zij zich wel meer durven te uiten over het ervaren van ongewenst gedrag en werkdruk dan via gesprekken en interviews. De vragenlijsten moeten dan natuurlijk wel door elke medewerker zelf worden ingevuld, het gaat immers om hun persoonlijke beleving van genoemde factoren. De werkbelevingen verschillen immers van persoon tot persoon. 

Een vragenlijst over werkbeleving die slechts door een medewerker op centraal niveau namens de hele groep wordt ingevuld is niet representatief voor de beleving over dit onderwerp van de individuele medewerkers en heeft daarom niet veel betekenis. Sommige branche-RI&E ’s werken echter wel zo (de one-user-instrumenten). Daarmee wordt dan dus niet aan het criterium ‘betrouwbaarheid’ voldaan. 

Markant is de opvatting van de Nederlandse Arbeidsinspectie (NLA) hierin die bij herhaling stelt dat een responspercentage van 50% vereist is: 

• In de Zelfinspectietool ten behoeve van PSA stelt de NLA dat minstens de helft van de medewerkers moet hebben meegedaan aan het PSA-onderzoek.
• In de NLA Werkinstructie ‘Werkstress door werkdruk voorkomen en beperken’ staat als vereiste: ‘Het aantal werknemers dat heeft meegewerkt aan het werkstress onderzoek voor de RI&E is representatief (meer dan 50% respons en /of respons aangevuld middels interviews).’
• In de BIM (Basisinspectiemethode Werkstress door werkdruk staat): ‘Als een vragenlijst alleen wordt gebruikt om informatie over werkdruk te verzamelen, moet deze zijn ingevuld en ingeleverd door minstens de helft van de bevraagde medewerkers.’ 

Met deze statements wordt volledig voorbijgegaan aan het statistische uitgangspunt dat hoe groter de populatie waaronder de enquête wordt uitgezet, des te kleiner het responspercentage hoeft te zijn om met eenzelfde betrouwbaarheid iets over de resultaten te kunnen zeggen. Dus de genoemde 50% heeft geen enkele basis. Bij kleinere afdelingen is een hoger responspercentage nodig, bij grotere afdelingen is een veel kleiner responspercentage voldoende. Het simpelweg hanteren van een vaste responsdrempel, zoals 50%, is niet correct en kan leiden tot misleidende conclusies. 

De enquêtes moeten uiteraard onder een vertegenwoordiging (representatieve dwarsdoorsnede) van alle functiegroepen in de organisatie worden gehouden: de medewerkers op de werkvloer, de stafafdelingen, het management, enz. Als bij kleinere afdelingen de resultaten herleidbaar zijn op de individuele medewerkers, kan dit worden voorkomen door de respons van verschillende (kleinere) afdelingen bij elkaar op te tellen in een totaalscore. 
In de wetenschap wordt vaak een betrouwbaarheid van 95% aangehouden. In de veiligheidskunde/arbeidshygiëne hoeft zo’n hoge betrouwbaarheid niet. In de NEN-EN 689 voor blootstellingsmetingen aan gevaarlijke stoffen is gekozen voor een 70% betrouwbaarheid. 

In onderstaande tabel staan de vereiste aantal respondenten aangegeven bij een eis van 95% en een eis van 70% betrouwbaarheid bij verschillende groepsgroottes (berekend met de steekproefcalculator; zie onder). 

Duidelijk blijkt uit de getallen dat bij de eis van 70% betrouwbaarheid veel kleinere aantallen respondenten nodig zijn dan bij 95% om met eenzelfde betrouwbaarheid de resultaten te kunnen duiden. Het is dus belangrijk om bij het bepalen van de vereiste respons te kijken naar de gewenste betrouwbaarheid en de grootte van de populatie. 

Bij deze beoordeling moet ook gekeken worden naar de samenstelling van de populatie: bijvoorbeeld kantoorpersoneel versus productiepersoneel. Voor beide doelgroepen geldt de eis van 70% betrouwbaarheid en niet alleen voor het totaal, omdat bij een ongelijke verhouding in die twee deelpopulaties anders nog geen goed betrouwbaar beeld ontstaat.  

Interessanter dan het presenteren van deze gegevens is om na te gaan waarom de respons zo laag was: is men enquête-moe, heeft men niet meegedaan omdat men vanuit het verleden de ervaring heeft dat er toch niets met de resultaten gebeurt, waren de enquêtevragen onvoldoende of niet toegespitst op de werksituaties, was de enquête zeer gebruiksonvriendelijk opgezet, was de vragenlijst op papier/online, bestond de mogelijkheid voor de medewerkers vragen te stellen ter voor verduidelijking, is rekening gehouden met anderstaligen, digibeten, laaggeletterden in werknemerspopulatie? Is het moment van de enquête wel geschikt (zoals niet in de drukste periode of tijdens reorganisatie)? Dit soort vervolgonderzoek kan waardevolle inzichten bieden voor verbetering. 

Een vervolg kan wel zijn het een en ander tijdens het werkoverleg te bepreken. Soms wordt daarna nog een extra stap gezet: ‘verifiëren van de betrouwbaarheid van de respons’. Dit kan door tijdens de rondgang at random verschillende medewerkers te vragen of zij wel of niet aan de enquête hebben meegedaan en vervolgens te achterhalen waarom die medewerkers de vragenlijst niet hebben ingevuld.  

Ook kan ervoor gekozen worden tijdens het werkbezoek een groepsgesprek te houden met medewerkers en met hen de resultaten van de enquête door te spreken. Deze verificatie is wel van belang omdat het kan zijn dat juist de ontevreden medewerkers de enquête hebben ingevuld, terwijl de tevreden medewerkers achterwege zijn gebleven. Dan zou de enquête onterecht een negatief beeld geven. 

Aan de andere kant kan het ook wel eens zo zijn dat medewerkers wel erg ontevreden zijn maar de enquête toch niet hebben ingevuld omdat zij eerder ervaren hebben (althans in hun beleving) dat er toch niets met de resultaten van de enquête wordt gedaan. 

Anders dan bij enquêtes kan men bij het houden van interviews gaandeweg het traject bijsturen. Als bij de interviews (onder genoemde representatieve dwarsdoorsnede van de organisatie) blijkt dat er geen nieuwe gegevens worden genoemd, kan men eerder stoppen en dus het aantal interviews beperken. Wel geldt zoals eerder gesteld het mogelijke nadeel dat niet alle medewerkers in interviews het achterste van hun tong laten zien. Bovendien geldt dat het afnemen van interviews veel meer tijd kan vragen dan het houden van een enquête. 

Bij het houden van interviews met werknemers moet ook gekeken worden of een juiste doorsnede van de populatie genomen is, zoals willekeurige selectie van deelnemers aan het interview, blind geselecteerd door de onderzoeker en niet gekozen door de leidinggevende. 

Voordelen van het houden van interviews zijn onder andere:  

• het verkrijgen van meer kwalitatieve informatie;
• de mogelijkheid om de diepte in te gaan en zo meer te weten te komen over de achterliggende oorzaken van de aangegeven knelpunten;
• ideeën over oplossingsrichtingen komen al naar voren. 

Deze benadering kan overigens ook gevolgd worden bij het brengen van locatiebezoeken. In een groot kantoor hoeven niet alle werkruimtes bekeken te worden. Als tijdens de bezoeken aan de verschillende kantoorruimtes blijkt dat telkens dezelfde zaken worden geconstateerd, dan kunnen daarna ruimtes worden overgeslagen. Dit kan ook breder worden getrokken, bijvoorbeeld naar filialen van bankgebouwen, winkelketens e.d. 

Naast betrouwbaarheid is validiteit essentieel. Een valide methode meet precies wat bedoeld is. Valide vragen zorgen ervoor dat de uitkomsten inzicht bieden in de werkelijke risico’s. Als een vragenlijst niet de juiste vragen bevat, geeft dat ook geen goed beeld van de situatie. Betrouwbaarheid en validiteit gaan hand in hand. Alleen door representatief te meten en valide vragen te stellen, kan een goed beeld van de situatie worden verkregen. 

Zowel de betrouwbaarheid als de validiteit zijn achteraf te meten door van alle antwoorden op de vragenlijst de cronbach’s alpha en een factoranalyse te maken met een statistisch computerprogramma als SPSS. 

Betrouwbaarheid is essentieel om met een RI&E een waardevolle diagnose van de arbeidsbelastende factoren te verkrijgen. Zowel metingen van objectieve feiten als van subjectieve belevingen moeten met zorg worden uitgevoerd en de verkregen resultaten moeten zorgvuldig worden geanalyseerd. Het hanteren van representatieve steekproeven, kritische evaluatie van de respons en het vermijden van misleidende rapportages dragen allemaal bij aan het verkrijgen van een betrouwbare RI&E die de werkelijke gevaren en risico’s binnen een organisatie weergeeft. 

Met dit artikel wordt een pleidooi gehouden om in de RI&E veel beter rekening te gaan houden met de betrouwbaarheid van de verkregen resultaten. Dat betekent dat soms ook duidelijk gesteld moet worden dat de enquête op basis van een te lage respons geen betrouwbaar beeld gegeven heeft van de arbeidsbelastende factoren en dat die gegevens dan ook niet in de RI&E worden opgenomen (of wél maar dan alleen als indicatie die nader geverifieerd moet worden). Op een andere wijze zal dan vervolgonderzoek naar de persoonlijke belevingen van betreffende arbeidsbelastende factoren moeten worden gedaan. 

Bron: RIE maken.nl