Handleiding Dilemma’s

Naast intelligentietest hebben integriteitstesten een voorspellende waarde op arbeidsprestaties. Lees hier de handleiding Dilemma’s.

1. Inleiding

“Goede mensen hebben geen wetten nodig om verantwoordelijk te handelen, terwijl slechte mensen de wetten weten te omzeilen.” Plato (427-347 v. Chr.)

De term integriteit komt van het Latijnse woord “integritas”. Ronnes (2001) licht toe dat de term vertaald mag worden als ‘heelheid’ of ongedeerdheid of onbedorven toestand. Musschenga (2008) beschrijft een integer persoon als een consistente persoon. Een integer persoon handelt naar zijn opvattingen en beloftes.

Onder een integere houding verstaat Ronnes (2001) een houding waarin eerlijkheid, zorgvuldigheid, openheid, respect, trouw, duidelijkheid en het kunnen vertrouwen van deze persoon zich manifesteren. Dit straalt een integere persoon uit naar anderen om zich heen. Iemand die bovenstaande hoog in het vaandel heeft staan zal anderen in hun waarde laten. “Integer handelen betekent: de ander heel laten en zelf heel blijven in het handelen. Niet tornen aan het gedrag van de ander, niet kwetsen wat heel is in de ander noch in zichzelf” (Ronnes, 2001).

Vanuit de gedachte een vragenlijst te maken dat betrekking heeft op de integriteit van een persoon is het onderzoek naar de (Morele) Dilemma’s gestart. Integer gedrag zou ook gezien kunnen worden als moreel gedrag. De Vries (2009) omschrijft integriteit als volgt: ‘Integriteit heeft betrekking op de mate waarin personen oprecht, rechtvaardig en bescheiden zijn en hebzucht vermijden. Personen die hoog scoren op Integriteit zijn niet geneigd anderen te manipuleren voor persoonlijk gewin en regels te overtreden en zijn relatief ongeïnteresseerd in weelde luxe, sociale status en privileges. Personen die laag scoren zetten zichzelf op de eerste plaats, zijn gehecht aan materiële zaken, kunnen de verleiding moeilijker weerstaan om regels te overtreden als ze er zelf beter van worden en zullen eerder vleien als dit helpt om persoonlijke doelen te realiseren.’

Op de site van bureau integriteitsbevordering openbare sector (BIOS) zijn veel definities met betrekking tot integriteit te vinden. Hieronder een opsomming van enkele definities:

• Integriteit verwijst naar een relatie tussen (1) iemands uitingen en gedragingen op verschillende tijdstippen (consistentie), (2) op verschillende plaatsen, in verschillende rollen en contexten (coherentie) en (3) tussen diens uiterlijke, waarneembare uitingen en gedragingen en innerlijke denkbeelden en gevoelens en tussen diens verbale uitingen en diens gedragingen (correspondentie).
• Integrity now stands for complying in an exemplary way with specific moral standards.
• De meest voorkomende betekenis is dat integriteit gezien wordt als onkreukbaarheid of rechtschapenheid. Centraal staat dat betrokkene zich niet laat leiden door oneigenlijke belangen. Hij of zij handelt in het belang van de organisatie of de samenleving en laat zich daarvan niet afleiden door eigen belang of door specifieke groepsbelangen. De functionaris is onomkoopbaar, onbaatzuchtig.
• Je bent integer indien wat je doet of nalaat overeenkomt met daarvoor geldende normen, waarden en regels.
• Het handelen overeenkomstig de (daarvoor) geldende morele waarden en normen en de daarmee samenhangende (spel)regels’.
• Integriteit staat voor zorgvuldig, uitlegbaar en standvastig handelen. Zorgvuldig betekent dat medewerkers steeds opnieuw kritisch en systematisch reflecteren op hun kernverantwoordelijkheden en zich voortdurend vragen stellen. Uitlegbaar betekent dat medewerkers kunnen aangeven hoe hun handelen past bij hun kernverantwoordelijkheden en kerntaken, bij de kernwaarden regels, richtlijnen, wetten en andere bindende voorschriften van hun organisatie. Standvastig betekent dat medewerkers hun rug recht houden bij weerstanden en verleidingen (BIOS, 2012)

1.1 Theoretische achtergrond vragenlijst Dilemma’s

Naast intelligentietest hebben integriteitstesten een voorspellende waarde op arbeidsprestaties (Bloemers & van der Molen, 2004). Om deze reden, en omdat integriteit een steeds belangrijker thema wordt in het bedrijfsleven heeft Ixly besloten om vragenlijsten te ontwikkelen die aangeven hoe iemand zich gedraagt in situaties waarbij een beroep op integer gedrag wordt gedaan.
Integriteit wordt in het bedrijfsleven een steeds belangrijker thema. In 2010 heeft Nationale Nederlanden onderzoek gedaan naar de impact van diefstal, inbraak en oplichting in het MKB en de groot zakelijke markt. Hieruit is gebleken dat maar liefst driekwart van de ruim 1300 ondervraagde bedrijven in 2010 te maken heeft gehad met een of meerdere delicten. Binnen de detailhandel ligt dit percentage zelfs op 94%. Opvallend is dat het gevaar zeker niet alleen van buitenaf komt, diefstal door het eigen personeel wordt het meest genoemd als delict. Bijna 4 op de 10 ondernemers heeft hiermee te maken. 28% van de ondervraagden ervaart diefstal door eigen personeel als een opkomend probleem (Nationale Nederlanden, 2010). Winkeliers hebben in ons land het afgelopen jaar 1,26 miljard euro misgelopen als gevolg van diefstal, interne fraude en fouten. Dit is een toename van 6,6% ten opzichte van vorig jaar. Zo blijkt uit de jaarlijkse Global Retail Theft Barometer, het onderzoek naar winkelcriminaliteit in 43 landen wereldwijd. Het merendeel van de schade komt voor rekening van winkeldieven en stelende medewerkers. Bijna een derde (370 miljoen euro) wordt gestolen door eigen medewerkers (Lodge Service, 2012). In de kranten lees je hier echter weinig over. Dan Ariely geeft in zijn boek dan ook aan ; Een kleine groep mensen maximeert het eigen belang, een grote groep mensen liegt een klein beetje. De eerste groep haalt de pers maar de tweede groep zorgt voor de omvangrijkste schade (Ariely, 2012).

Voor de ontwikkeling van de vragenlijst Dilemma’s is er allereerst in de literatuur gezocht naar informatie over het meten van dilemma’s. Een integriteitsdilemma heeft als gevolg dat een persoon zijn heelheid verliest of in twijfel trekt. Dit houdt in dat een persoon die geconfronteerd wordt met een dilemma, een afweging moet maken tussen conflicterende verplichtingen en belangen. Een dilemma is aanwezig als twee waarden, normen of ambities aanwezig zijn die elkaar uitsluiten. Integriteit openbaart zich in de keuze die een persoon maakt bij een dilemma. Met name de motivatie en onderbouwing van de keuze die gemaakt wordt bij een dilemma is van belang. Volgens Thomas Nagel zijn er vijf verschillende typen morele criteria die ervoor kunnen zorgen dat er strijdige eisen ontstaan.

Obligations: Iemand is gebonden aan sociale, juridische en morele verplichtingen, zoals een overeenkomst of een belofte, waar men zich aan moet houden en het gedrag op aanpast.

Rights/Rechten: Rechten zijn de juridische, sociale of ethische principes van vrijheid of het recht, dat wil zeggen de rechten van de fundamentele normatieve regels.

Utility/Nuttigheid: De nuttigheid en het belang van je werk voor jezelf, de organisatie.

Personal Commitment: Je persoonlijke betrokkenheid, je interactie die wordt bepaald door verplichtingen. Deze verplichtingen kunnen wederzijds, maar ook zelf opgelegd zijn, die expliciet worden vermeld, of misschien niet. Er kan onderscheid gemaakt worden tussen de inzet van een persoon als lid van een groep of organisatie, of een persoonlijke inzet, wat vaak een behoefte is aan je zelf of voor je persoonlijke groei.

Perfectionist ideals: Perfectionisme kan een probleem worden als iemand wil dat iedereen volgens jouw idealen leeft en handelt of jouw perfectionistische idealen in strijd zijn met de algemene regels binnen een maatschappij (Jeurissen & Musschenga, 2002).

Het model waar de eerste versie van de vragenlijst op gebaseerd is gaat uit van de keuzes die iemand volgens Jeurissen en Musschenga kan maken bij een dilemma. Onderstaand model is gebruikt om de antwoorden op de dilemma’s te formuleren.

• Iemand kan kiezen voor één van de waarden, normen of idealen (één van de waarden of gedragsverplichting wordt gehonoreerd).
• Iemand kan niets doen, dit resulteert waarschijnlijk in een situatie waarin geen van de waarden, normen of gedragsverplichting wordt gerealiseerd.
• Iemand kan zoeken naar een compromis. Dat is niet in alle gevallen mogelijk. Bij een compromis worden beide waarden of gedragsverplichting gedeeltelijk gerealiseerd. De persoon schiet in deze te kort.
• Iemand kan een compromis optimaliseren, waarin zoveel mogelijk de beide waarden en gedragsverplichtingen worden gerealiseerd. Hierdoor is het mogelijk een optimale situatie te krijgen (Jeurissen & Musschenga, 2002).

2. Ontwikkeling Dilemma’s

In dit hoofdstuk wordt de geschiedenis van de vragenlijst Dilemma’s in kaart gebracht.

2.1 Theoretische achtergrond vragenlijst Dilemma’s

De dilemma’s van de eerste versie van de vragenlijst zijn gebaseerd op veel voorkomende integriteitsschendingen, denk hierbij aan corruptie, fraude, diefstal, wangedrag in de vrije tijd of misbruiken van informatie. De eerste versie van de vragenlijst bestond uit zeven dilemma’s. Om te onderzoeken wat de beste antwoordschaal bij de dilemma’s zou zijn bestond deze testversie uit items met verschillende antwoordschalen. Bij sommige dilemma’s moest de respondent een antwoord kiezen uit de aangeboden oplossingen. Bij andere dilemma’s moesten de respondenten aangeven in hoeverre zij het eens of oneens waren met de aangeboden oplossingen bij de dilemma’s. De eerste versie van de vragenlijst werd ingevuld door 141 respondenten. Aan de hand van frequentietabellen is de data geanalyseerd. Hieruit bleek dat items waarbij gebruik gemaakt was van een antwoordschaal lopend van ‘helemaal oneens’ naar ‘helemaal eens’ voor de meeste spreiding zorgden. Ook werd duidelijk dat niet zozeer de keuzes die iemand maakte bij de dilemma’s onderscheidend zijn maar dat het vooral gaat om de overwegingen of de redenen achter de keuze. In de literatuur werd dit tevens terug gevonden op de site van BIOS. Daar wordt een integer persoon omschreven als iemand die:

• Zorgvuldig en verantwoordelijk omgaat met bevoegdheden, middelen en informatie en het algemeen belang dat hij dient, leidend laat zijn;
• In staat is om verleidingen te weerstaan en te voorkomen dat hij in verleidelijke situaties terecht komt;
• De regels naar de letter en de geest interpreteert;
• Een zorgvuldige afweging maakt van de legitieme rechten, belangen en verwachtingen, ook in situaties waarbij het niet (onmiddellijk) duidelijk is wat de juiste keuze is;
• Bereid is om zijn overwegingen (vooraf dan wel achteraf) te toetsen en daarover verantwoording af te leggen (BIOS, 2012).

Dit concept zijn we verder gaan uitwerken en vormde de basis voor de tweede versie van de vragenlijst Dilemma’s.

2.2 Ontwikkeling tweede versie van de vragenlijst

Bij de analyse van de eerste versie is duidelijk geworden op welke manier de dilemma’s het beste bevraagd konden worden. Bij de tweede versie was het van belang te ondervinden op welke wijze de resultaten konden worden gerapporteerd. Bij de constructie van deze versie is bij het formuleren van de items bij de dilemma’s het model wat Jeurissen en Musschenga (2002) beschrijven centraal blijven staan. Daaraan toegevoegd zijn items die iets aangeven over de overwegingen die een persoon kan hebben om een bepaalde keuze te maken. De toegevoegde overwegingen zijn in te delen in de volgende categorieën: Flexibel omgaan met regels en normen versus rigide omgaan met regels en normen en keuze maken waarbij het eigen belang voorop staat versus een keuze maken waarbij het algemene belang voorop staat. De tweede versie van de vragenlijst bestond uit 16 dilemma’s en is afgenomen bij 73 respondenten. Op de data is een frequentie analyse uitgevoerd en is de interne consistentie van de schalen berekend. Hieruit bleken de items waarbij naar een keuze werd gevraagd het wederom niet goed te doen, de spreiding was niet optimaal. Er is gekozen om het model van Jeurissen en Musschenga (2002) los te laten en verder te gaan met de items die vragen naar de overwegingen van de keuzes. Om de spreiding in de antwoorden verder te vergroten is er gekozen om de items ipsatief te maken.

2.3 Ontwikkeling derde versie van de vragenlijst

De 16 dilemma’s van de tweede versie zijn ongewijzigd gebleven. De items bij deze versie zijn ipsatief gemaakt. Bij de analyse van de tweede versie is inhoudelijk gekeken naar de items die bij hebben gedragen aan de spreiding. Tevens is er aan de hand van de interne consistentie en item rest correlatie gekeken welke items inhoudelijk bij elkaar hoorden. Hieruit zijn de volgende vier schalen gedestilleerd: Belang, Keuzes maken, Regels en Verantwoordelijkheid nemen. De items van de derde versie plotten op een of meerdere van deze vier schalen. Deze versie werd ingebouwd in de Test-Toolkit en is enige tijd data verzameld.

2.4 Ontwikkeling vierde versie van de vragenlijst

Aan de constructie van de vierde versie van de vragenlijst Dilemma’s is een uitgebreide analyse vooraf gegaan. Deze analyse worden besproken in de paragrafen 2.4.1 en 2.4.2.

2.4.1 Studie 1. Item selectie op basis van betrouwbaarheden.

De Dilemma vragenlijst (versie drie) is ingevuld door 159 personen. Het overgrote deel van deze personen is lager opgeleid, van 8 personen is het opleidingsniveau niet bekend. De groep bestaat voor 26 procent uit vrouwen en voor 74 procent uit mannen. De gemiddelde leeftijd is 43 jaar (SD =10), van 10 personen is de leeftijd onbekend.

Om in eerste instantie te bepalen of en welke items bij een bepaalde schaal horen, hebben we de Cronbach’s alpha van de vier schalen Keuzes Maken, Regels, Verantwoordelijkheid Nemen en Belang bekeken. Hieruit is gebleken dat de alpha’s, voor een eerste testversie met een kleine normgroep, relatief hoog zijn (Tabel 2.1).

Tabel 2.1: Betrouwbaarheden van schalen op basis van alle items.

Bij het analyseren van de schalen hebben we gekeken naar de r_bps (feitelijk de correlatie tussen het betreffende item met de som van correlaties van alle overige items) en de waarde van de Cronbach’s alpha als het item niet meegenomen zou worden in de berekening van alpha. Bij de selectie van items voor een bepaalde schaal zijn we stapsgewijs te werk gegaan. Allereerst hebben we de items met een negatieve r_bps waarde (wat inhoudt dat een item negatief bijdraagt aan de schaal) verwijderd. In de volgende stap hebben we de items met r_bpswaarden van onder de 0,1 (wat betekent dat een item nauwelijks bijdraagt aan de schaal) verwijderd. In de laatste stap hebben we de items die onvoldoende spreiding vertoonden (met skewness waarden van kleiner dan -2 of groter dan 2) verwijderd. De betrouwbaarheden na deze stappen zijn weergegeven in Tabel 2.2.

Tabel 2.2 Betrouwbaarheden van schalen van de 16 dilemma’s.

Vervolgens is de focus verlegd van item niveau naar dilemma niveau. Hierbij is op basis van de gevormde schalen gekeken welke dilemma’s veel goede items leverden en welke dilemma’s niet. Bij 6 van de 16 dilemma’s bleken weinig items overeind te blijven in de betrouwbaarheidsanalyses. Besloten is om met de overige 10 dilemma’s verder te gaan. Deze keuze had wel gevolgen voor de betrouwbaarheden van de schalen (Tabel 2.3), die allemaal iets lager werden. De dalingen waren klein en ongeveer even groot voor alle vier de schalen (tussen de 0.02 en 0.04).

Tabel 2.3 Betrouwbaarheden van schalen van de 10 dilemma’s.

2.4.2 Studie 2. Item selectie op basis van MGM.

Om structuur in de data te ontdekken zijn we overgegaan op een factoranalyse, weer op basis van de data van 159 personen. Een PCA factor analyse is in dit geval niet de juiste methode, mede door de constructie van de vragenlijst: veel items hebben meerdere ladingen op meerdere schalen, waardoor er sprake is van onderlinge samenhang van de items. De Multiple Group Method (MGM), waarbij van te voren aangegeven dient te worden op welke factoren (schalen) je verschillende items verwacht te laden, is in dit geval een betere methode. Deze analyse, de Multiple Group Methode (MGM) toetst of de indeling van items in schalen correct is. Er wordt berekend of een item inderdaad een hogere correlatie heeft met zijn eigen schaal dan met een andere schaal. De reden dat er gekozen is voor de MGM is dat deze analyse toepasbaar is bij het testen van een specifieke hypothese (Nunnally, 1978). Aangezien we willen weten of de eerdere gemaakte indeling van de items in de 4 schalen overeenstemt met de huidige data, wordt de voorkeur gegeven aan deze methode. Voor meer informatie over deze procedure zie Stuive, Kiers, Timmerman & Ten Berge (2008). Specifiek bij de MGM die hier is uitgevoerd is dat er gebruik is gemaakt van de formule van Steiger (1980) om de significantie te bepalen van de verschillen tussen afhankelijke correlaties (Steiger, 1980).

De 94 items die zijn overgebleven na de hierboven beschreven studie 1 werden in het MGM model gestopt. Zoals gezegd is er een groot aantal items dat ladingen op verschillende schalen heeft; aan de hand van de correlaties van de items met de verschillende schalen is bekeken bij welke schaal het item daadwerkelijk behoort. Een voorbeeld: het item waarbij de kandidaat moet kiezen tussen de stellingen “De zeiler heeft zelf het risico genomen en daarom is het zijn eigen verantwoordelijkheid.” en “Iemand in nood moet je redden, ook al is hij door eigen schuld in de problemen gekomen.” Laden op de schalen Keuzes maken en Verantwoordelijkheid nemen. Uit de MGM analyse bleek dat dit item een correlatie van 0.25 met de schaal Keuzes maken had, en een correlatie van 0.14 met de schaal Verantwoordelijkheid nemen. Op basis hiervan is dit item ingedeeld bij de schaal Keuzes maken. Op deze manier hebben we naar de correlaties van alle items met de verschillende schalen gekeken en de indeling van items naar schalen gemaakt.

Aangezien bij deze analyse ieder item bij één schaal werd ingedeeld is het aantal items weer afgenomen. Omdat maar weinig items bij de schaal Keuzes maken bleken te horen, is besloten om enkele items toe te kennen aan twee schalen. Naast dat ze werden toegekend aan de schaal waarmee ze de hoogste correlatie hadden werden ze ook toegekend aan de schaal Keuzes maken. In Tabel 2.4 staan de betrouwbaarheden van de vier schalen na indeling op basis van de MGM vermeld.

Tabel 2.4 Betrouwbaarheden van schalen op basis van MGM analyse.

Uit deze analyse bleek verder dat 8 van de 94 items wellicht niet op de juiste plek waren ingedeeld. Ze correleerden significant hoger met één van de andere schalen. Voor ieder van deze 8 items is gekeken met welke schaal zij hoger correleerden en of ze logischerwijs verplaatst konden worden naar de betreffende schaal. Op deze wijze werden 5 van de 8 items naar een andere schaal verplaatst. Bijvoorbeeld het item waar de kandidaat moet kiezen tussen de stellingen “Er wordt heel veel software illegaal gebruikt, dus blijkbaar kan het gewoon” en “Het is illegaal, dus verboden, en u moet hier niet aan meewerken” bij het Dilemma Software. In eerste instantie hadden we dit item bij de schaal Toepassen van regels ingedeeld, maar aan de hand van de MGM analyse bleek het item beter bij de schaal Belangenafweging te horen. Aangezien de correlatie van de overige drie items wel hoog genoeg was met de eigen schaal en zij inhoudelijk niet overeenkwamen met een van de andere schalen, is ervoor gekozen deze drie items bij hun oorspronkelijke schaal ingedeeld te laten.

Uit bovenstaande analyses is gebleken dat we een gedegen vragenlijst hebben ontwikkeld die ingezet kan worden in het HRM werkveld. In de huidige versie van de vragenlijst dilemma’s wordt er gerapporteerd op basis van 10 dilemma’s met in totaal 50 items. We streven er echter naar om de psychometrische kwaliteiten van de vragenlijst te blijven verbeteren; bijvoorbeeld door middel van hogere betrouwbaarheden van de schalen. Om deze reden is besloten om onderzoeksitems toe te voegen aan de vragenlijst. Aan vijf van de tien overgebleven dilemma’s is een extra itempaar toegevoegd. Ook zijn er twee onderzoeksdilemma’s toegevoegd met elk vijf itemparen.

3. Normeringsonderzoek Dilemma’s

3.1 Beschrijving normgroep

De vragenlijst Dilemma’s beschikt over een selectie normgroep die bestaat uit 159 personen. In totaal hebben we gegevens over het opleidingsniveau van 151 kandidaten. De verdeling van de opleidingsniveaus is weergegeven in Tabel 3.1.

Tabel 3.1: Verdeling opleidingsniveau’s (N=159).

Van het totaal aantal kandidaten bestaat ongeveer 26 % uit vrouwen en 74 % uit mannen. Van 149 personen was zowel geslacht als leeftijd bekend. Deze verdeling wordt weergegeven in Tabel 3.2. Een Chi²-test wijst uit dat mannen en vrouwen gelijk verspreid zijn over de leeftijdsgroepen.

Tabel 3.2: Verdeling geslacht en leeftijd (N=149).

De herkomst van de kandidaten is vermeld in Tabel 3.3. De meeste van de kandidaten komen uit de provincie Zuid-Holland.

Tabel 3.3: Herkomst kandidaten (N=159).

In Tabel 3.4 staan de branches waarin de kandidaten werkzaam zijn, vermeld. Voor de normgroep geldt dat de meeste kandidaten (van wie we gegevens hebben over de branche) werkzaam zijn in de Openbaar bestuur – Veiligheid en rechtspraak.

Tabel 3.4: Branches (N=150).

Omdat het aantal respondenten beperkt is, en vooral afkomstig zijn uit de branche Openbaar bestuur, spreken we van een voorlopige normgroep. In vervolgstudies zal de normering als eerste verdere aandacht krijgen.

4. Betrouwbaarheid Dilemma’s

De betrouwbaarheid van een vragenlijst geeft een indicatie van de nauwkeurigheid van het instrument. Het begrip heeft betrekking op de reproduceerbaarheid van de gemeten uitkomsten; in hoeverre komen de resultaten van een meting met het instrument bij een tweede keer (en derde keer, enzovoorts) overeen, of in hoeverre komen de uitkomsten bij een vergelijkbare set items overeen.

De betrouwbaarheid van een vragenlijst kan op verschillende manieren worden bepaald. Zo kan dezelfde vragenlijst voor een tweede maal bij dezelfde persoon afgenomen worden waarna de resultaten van deze twee metingen met elkaar vergeleken kunnen worden (test-hertest betrouwbaarheid). Ook kunnen de scores op de ene helft van de test vergeleken worden met de scores op de andere helft van de test (split-half betrouwbaarheid). De meest gebruikte betrouwbaarheidsmaat voor een vragenlijst als dilemma’s is Cronbach’s alfa (α-coëfficiënt). Dit is een maat voor interne consistentie (Nunnally, 1978). In Tabel 4.1 worden de betrouwbaarheden van de uiteindelijke vier schalen vermeld.

Tabel 4.1: Betrouwbaarheden van definitieve schalen Dilemma vragenlijst (N=159).

De betrouwbaarheid van deze schalen is beperkt als het gaat om selectie doeleinden maar volstaat voor adviesdoeleinden

5. Validiteit Dilemma’s

De validiteit van een test geeft een indicatie van de mate waarin het instrument daadwerkelijk het construct meet dat het pretendeert te meten. Oftewel: meet een persoonlijkheidstest ook daadwerkelijk persoonlijkheid. In het geval van de Dilemma vragenlijst geldt: meet de vragenlijst daadwerkelijk de motieven waar iemand zich door laat leiden bij morele dilemma’s? Meer specifiek dient de validiteit aan te geven of iedere schaal meet wat het pretendeert te meten.
Om de validiteit van de Dilemma vragenlijst vast te kunnen stellen wordt in de eerste plaats naar de test zelf gekeken, de interne validiteit. Een andere manier om de validiteit van een test te bepalen is door de test te vergelijken met andere tests, die het criterium vormen. Hiervoor heeft een onderzoek plaatsgevonden waarmee de externe validiteit van de vragenlijst Dilemma’s onderzocht is.

5.1 Interne validiteit: De schaalstructuur van de vragenlijst Dilemma’s

Op dit moment wordt er data verzameld met de nieuwste versie van de vragenlijst. Zodra er data beschikbaar is wordt informatie over de interne structuur toegevoegd.

5.2 Externe validiteit: Relevante onderzoeken

Om een uitspraak te kunnen doen over de externe validiteit is een onderzoek uitgevoerd met de Werkgerelateerde Persoonlijkheidsvragenlijst (WPV) en de Morele waarden vragenlijst. Kijk voor meer informatie over deze vragenlijsten op: https://www.ixly.nl/kennisbank/.

5.2.1 Onderzoek met de WPV

Van de 159 kandidaten die de Dilemma vragenlijst hebben ingevuld waren er 132 die ook de WPV hadden ingevuld. Dit gaf ons de kans om de relatie tussen de schalen van de Dilemma vragenlijst en een aantal schalen van de WPV te onderzoeken. Door deze relatie te onderzoeken kunnen we meer zeggen over de begripsvaliditeit: begripsvaliditeit heeft betrekking op het theoretische begrip waarmee de test een verklaring wil geven voor het testgedrag. Met andere woorden, we kunnen voorspellen welke schalen van de WPV op theoretische gronden zou moeten correleren met de schalen van de Dilemma vragenlijst. Deze voorspellingen staan hieronder beschreven.

Verwachtingen
De verwachting is dat de schaal Belang positief zal correleren met de schalen Zorgzaamheid en Vertrouwen van de WPV. Daarnaast verwachten we de schaal negatief zal correleren met de schalen Status en Dominantie van de WPV.

We verwachten ook een positieve correlatie tussen de schaal Keuzes Maken en de schalen Onafhankelijkheid en Weloverwogen van de WPV.

Tevens is de verwachting is dat er een positieve correlatie gevonden zal worden tussen de schaal Regels en de factor Structuur van de WPV, en dan met name de schaal Conformisme.

Als laatste verwachten we een positieve correlatie tussen de schaal Verantwoordelijkheid Nemen en de schalen Onafhankelijkheid, Zelfvertrouwen en Volharding van de WPV.

In Tabel 5.1 staan de verwachte en gevonden correlaties van de schalen van de Dilemma vragenlijst en de schalen uit de WPV.

Tabel 5.1: Correlaties tussen de Dilemma vragenlijst en de WPV (N=132)

Omschrijving van psychometrische kwaliteiten en de resultaten
Het onderzoek is gedaan onder 132 personen waarvan 96 mannen (72,7%) en 36 vrouwen (27,3%). De gemiddelde leeftijd binnen deze groep is 45,4 jaar met een minimum van 24 jaar en een maximum van 60 jaar (van 7 personen is de leeftijd onbekend). Van de respondenten hadden 88 personen (71,2%) middelbaar beroepsonderwijs als opleidingsniveau (van 5 personen, 3,8 %, was het opleidingsniveau onbekend). De meeste respondenten waren afkomstig uit de provincies Brabant (19,7 %) en Zuid-Holland (18,2 %).

Uit Tabel 5.1 blijkt dat onze verwachtingen deels zijn uitgekomen, deels niet. Voor de schalen Keuzes Maken en Regels geldt dat de verwachte positieve correlaties ook uit de analyses naar voren komen, hoewel de correlatie tussen Keuzes Maken en Onafhankelijkheid en de correlatie tussen Regels en Conformisme niet significant waren. Voor de schaal Verantwoordelijkheid Nemen vinden we duidelijk de positieve relaties met Zelfvertrouwen en Volharding. De correlatie tussen Verantwoordelijkheid Nemen en Onafhankelijkheid is opvallend genoeg negatief (tegen onze verwachting in), maar niet significant. Voor de schaal Belang geldt dat alle drie de verwachte correlaties gevonden zijn (waarvan echter maar 1 significant). Samenvattend kunnen we zeggen dat 9 van de 10 verwachte correlaties gevonden zijn, waarvan 5 significant.

5.2.2 Onderzoek met de Morele Waarden vragenlijst

Een tweede onderzoek is uitgevoerd met de Morele Waarden vragenlijst, ook een vragenlijst die uitgegeven wordt door ixly. In de Morele Waarden vragenlijst worden andere factoren die te maken hebben met de integriteit van een persoon gemeten, namelijk Normbesef, Bescheidenheid, Oprechtheid en Vermijden van Materialisme. We hebben resultaten van 156 respondenten die zowel de vragenlijst Dilemma’s als de Morele waarden vragenlijst hebben ingevuld. In tabel 5.2 worden de correlaties tussen de schalen van de vragenlijst Dilemma’s en de Morele waarden vragenlijst weergegeven.

Tabel 5.2: Correlaties tussen de Dilemma vragenlijst en de Morele Waarden vragenlijst (N=156)

De correlaties tussen de schalen van de verschillende vragenlijsten zijn goed te verklaren. De hoogste correlaties vinden we over het algemeen bij de schaal Normbesef: het hanteren van bepaalde normen is vaak leidend bij de keuzes in morele dilemma’s. Normbesef heeft de hoogste correlatie dan ook met de schaal Regels: personen die een groter normbesef hebben zijn over het algemeen dus ook strikter in het hanteren van die normen (regels) bij morele dilemma’s. Ook de positieve correlaties tussen Keuzes Maken en Verantwoordelijkheid Nemen enerzijds en Oprechtheid anderzijds zijn verklaarbaar. Het is te verwachten dat personen die oprecht zijn ook oprecht zijn in hun keuzes en achter hun keuzes staan, dat wil zeggen verantwoordelijkheid nemen voor hun genomen keuzes.

Conclusies
Uit de beschreven resultaten blijkt dat er sprake is van samenhang tussen de schalen van de vragenlijst Dilemma’s en de schalen van de WPV en Morele Waarden vragenlijst. Deze resultaten dragen bij aan de externe validiteit van de vragenlijst.

5.3 Verder onderzoek

Zoals aangegeven bij de constructie van de vragenlijst Dilemma’s streven we ernaar om de psychometrische kwaliteiten van de vragenlijst te blijven verbeteren. Ook zullen wij verder gaan met het onderzoek naar de validiteit van de vragenlijst Dilemma’s. Dit zal parallel lopen met de verdere ontwikkelingen van de overige vragenlijsten van Ixly die iets kunnen aangeven over de integriteit van een persoon: de open integriteitsvragenlijst en de Morele waarden vragenlijst. Verder zullen wij onderzoek doen naar de predictieve validiteit van de vragenlijst. Hierbij willen we onderzoeken of mensen met een lage score op de vragenlijst Dilemma’s bij ambigue situaties vaker minder integer gedrag vertonen ten opzichte van personen met een hogere score op de vragenlijst.

6. Toepassing, interpretatie en gebruik Dilemma’s

6.1 Toepassingsmogelijkheden

De vragenlijst kan in een situatie ingezet worden waarbij het van belang is meer te weten te komen over hoe en waarom een persoon bepaalde beslissingen neemt in morele dilemma’s. De vragenlijst kan ingevuld worden door een ieder die deel uitmaakt van de Nederlandse beroepsbevolking. Bij selectiesituaties geeft deze vragenlijst een indicatie van de mate waarin de sollicitant integer gedrag zal gaan vertonen.

6.2 Materiaal en instructies voor de testafname

Materiaal
De vragenlijsten die ixly biedt worden afgenomen in de Test-Toolkit. Dit is een online systeem dat aan professionals en consultants op het terrein van Human Resource Management een set kwalitatieve instrumenten biedt. De Test-Toolkit is te bereiken via https://www.ixly.nl/test-toolkit/Consultants krijgen, bij het afsluiten van een abonnement op de Test-Toolkit, een gebruikersnaam toegewezen. De vragenlijst in de Test-Toolkit is dus niet bereikbaar voor mensen die geen abonnement hebben. Consultants kunnen hun kandidaten één of meerdere tests/vragenlijsten toewijzen. Vanuit de Test-Toolkit worden de kandidaten per e-mail geïnformeerd. In deze e-mail staan de inloggegevens van de kandidaat en informatie over de betreffende test(s) en vragenlijsten.

Instructie
De kandidaat kan met de verkregen inloggegevens inloggen via http://www.ixly.nl/test-toolkit/. Op de openingspagina staat kort uitgelegd wie de test(s) heeft klaargezet en de werking van de toolkit. Ook staat er een algemene openingsvragenlijst klaar waar de kandidaat demografische gegevens invult. Er wordt aangegeven dat de gegevens anoniem verwerkt worden en alleen voor onderzoeksdoeleinden gebruikt zullen worden. Na de openingsvragenlijst krijgt de kandidaat een overzicht van alle tests die voor hem of haar zijn klaargezet en daarbij een korte uitleg per test. De kandidaat kan de tests in willekeurige volgorde maken.

Omdat de vragenlijst Dilemma’s een persoonlijkheidsvragenlijst is, wordt deze zonder tijdsdruk afgenomen. Dit houdt in dat de kandidaat zoveel tijd als nodig krijgt voor het invullen van de vragenlijst. Het maken van de vragenlijst duurt ongeveer 30 minuten. Bij de instructie van de vragenlijst wordt wel benadrukt dat het belangrijk is dat er niet te lang over de vragen moet worden nagedacht: de eerste ingeving dient ingevuld te worden. Ook krijgen kandidaten in de instructie mee antwoorden te geven op basis van algemene situaties, en niet op basis van uitzonderingen. Deze beide instructies zijn van belang om een zo betrouwbaar mogelijk beeld van de persoonlijkheid van een kandidaat te krijgen. Aangezien de vragenlijst online wordt afgenomen, krijgen kandidaten altijd standaard instructies.

De Dilemma vragenlijst bestaat uit 12 dilemma’s. Hoe de kandidaat de vijf antwoordmogelijkheden kan interpreteren wordt uitgelegd aan de hand van een voorbeeld. Na het invullen van de test worden de resultaten automatisch weggeschreven in de database van de Test-Toolkit.

De vragenlijst Dilemma’s hoeft niet in een gecontroleerde omgeving afgenomen te worden. Dit is mogelijk omdat het zelfreflectie vragenlijst betreft en er geen goede of foute antwoorden zijn. De kandidaat kan de Dilemma vragenlijst thuis maken wat tijdens selectie procedures tijd en ruimte scheelt.

6.3 Vereiste kennis voor het gebruik van de vragenlijst

Testgebruiker
Als de vragenlijst Dilemma’s door een professional gebruikt wordt om anderen te adviseren, dan moet gegarandeerd worden dat:

• Diegene inzicht heeft in integriteit in organisaties en kennis heeft van deze handleiding.
• Diegene competent, gekwalificeerd, gelicenseerd of geautoriseerd is om psychologische tests te gebruiken voor de verschillende terreinen, zoals assessment, coaching, het geven van trainingen en Human Resource Management, waarin hij/zij werkzaam is. En daarnaast kennis heeft van psychometrie. Eén en ander in overeenstemming met de in het betreffende land geldende wet-en regelgeving.
• Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale beroepsstandaarden en professionele ethiek.
• Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale wet- en regelgeving, instructies en richtlijnen en alle andere toepasselijke overheids- of semi-overheidsregels.
• Diegene het product enkel en alleen zal gebruiken voor de organisatie waar hij/zij werkzaam voor is of voor zijn/haar eigen bedrijf, in eigen naam en voor eigen rekening. Het is niet toegestaan het product te verkopen, leasen, kopiëren, geven, te overhandigen of over te dragen op welke manier dan ook aan welk bedrijf of persoon dan ook, behalve voor het gebruik van de producten en diensten als integraal onderdeel van de dienstverlening aan cliënten of voor gebruik binnen de organisatie die de directe werkgever van de professional is.
• Voor bepaalde diensten of producten zal Ixly uw betrouwbaarheid en kennis als professional testen voordat diegene toegang tot deze service of producten krijgt. Ixly behoudt zich het recht voor zonder opgaaf van reden iemand toegang te weigeren.

Kandidaat
De Ixly Test-Toolkit is zeer gebruiksvriendelijk. Van de kandidaat wordt gevraagd in staat te zijn om een computer op te starten, een internetpagina te bezoeken en een muis te bedienen. Wanneer een kandidaat over deze vaardigheden beschikt is het mogelijk om de vragenlijst Dilemma’s in te vullen in de Test-Toolkit. Wanneer de instructies en vragen van de vragenlijst aan de kandidaat worden voorgelezen, bijvoorbeeld in het geval van blinde en slechtziende kandidaten, is het van belang dat de voorlezer over de genoemde vaardigheden beschikt.

6.4 Beperkingen van de vragenlijst

Het is niet mogelijk om met de Dilemma’s vragenlijst direct “integriteit” te meten. Aan de hand van de resultaten van de vragenlijst kan een indicatie gegeven worden van de kans dat iemand moreel of immoreel gedrag zal vertonen in ambivalente situaties.

6.5 Betekenis van de schalen

Belangenafweging
De schaal Belangenafweging laat zien wat voor u de doorslag geeft bij het omgaan met een dilemma: het algemene belang of het eigenbelang. Als u hier laag op scoort, handelt u vooral uit persoonlijk belang. U kiest de veilige weg, en vindt het vooral belangrijk om zelf niet slechter van de situatie te worden. Als u hier hoog scoort, handelt u vooral uit algemeen belang, ook als u hierdoor persoonlijke risico’s loopt.

Keuzes maken
Deze schaal laat zien of u iemand bent die makkelijk keuzes maakt. Als u hier laag op scoort, betekent dit dat u het maken van duidelijke keuzes vermijdt. U kiest vaak voor het veilige midden. Als u hoog scoort op deze schaal, bent u stellig en niet bang om keuzes te maken. Bij een vragenlijst zoals deze kiest u vaak voor de extremere opties.

Toepassen van regels
Deze schaal geeft aan in welke mate u belang hecht aan regels. Als u hier laag op scoort, geeft dat aan dat u vrij flexibel bent. Het doel heiligt voor u de middelen. Als u hoog scoort, bent u meer rigide. Vóór alles wilt u vasthouden aan de regels.

Verantwoordelijkheid nemen
Deze schaal geeft aan in welke mate u verantwoordelijkheid neemt. Als u laag scoort op deze schaal legt u de verantwoordelijkheid graag bij anderen en gaat u moeite liever uit de weg. Als u hoog scoort op deze schaal accepteert u de verantwoordelijkheid voor situaties en uw acties.

6.6 Interpretatie van de scores

De vragenlijst Dilemma’s wordt gerapporteerd in stenscores. Deze schaal loopt van 1 tot 10. Stenscores zijn een vorm van standaardscores met een gemiddelde van 5,5 en een standaarddeviatie van 2. Stenscores geven een beeld van hoe een bepaalde score zich verhoudt tot het gemiddelde van alle scores. Stenscore 4, 5, 6 en 7 liggen allemaal binnen 1 standaarddeviatie van het gemiddelde. Stenscore 2, 3 en 8, 9 liggen tussen 1 en 2 standaarddeviatie van het gemiddelde. Stenscore 1 en 10 liggen meer dan 2 standaarddeviaties van het gemiddelde. De gemiddelde score in de normgroep ligt precies op de grens van de vijfde en zesde sten. De percentages die horen bij de afzonderlijke stenscores zijn opgenomen in Tabel 6.1.