Handleiding Werkgerelateerde Persoonlijkheidsvragenlijst Compact

De verkorte Werkgerelateerde Persoonlijkheidsvragenlijst, afgekort de WPV Compact, is een persoonlijkheidsvragenlijst die voor het werkveld van Human Resource Management (HRM) is ontwikkeld door Ixly.

Inleiding

De verkorte Werkgerelateerde Persoonlijkheidsvragenlijst, afgekort de WPV Compact, is een persoonlijkheidsvragenlijst die voor het werkveld van Human Resource Management (HRM) is ontwikkeld door Ixly. Deze vragenlijst is op basis van onderzoek met de reguliere WPV N van Ixly ingekort om de tijdsduur voor kandidaten te beperken. De WPV Compact bevat, net als de WPV, vijf factoren die zijn onderverdeeld in 25 schalen. De WPV Compact kan uitsluitend in adviessituaties worden ingezet. Deze handleiding betreft dan ook de WPV Compact in adviessituaties. De WPV kan in iedere adviessituatie ingezet worden waarbij het nodig is inzicht te krijgen in iemands persoonlijkheid, zoals alle vormen van loopbaanadvies, -coaching en -ontwikkeling.

Deze handleiding volgt de structuur van het beoordelingssysteem van de Cotan (2009) voor de kwaliteit van tests:

1. Inleiding
2. Uitgangspunten van de testconstructie
3. Testmateriaal
4. Handleiding voor testgebruikers
5. Normen
6. Betrouwbaarheid
7. Begripsvaliditeit
8. Criteriumvaliditeit

Omdat de WPV Compact gebaseerd is op de WPV worden de ontstaansgeschiedenis en de ontwikkeling van de WPV eerst besproken; in sectie 1.2.4 wordt de constructie van de WPV Compact besproken. Grote delen van deze versie van de handleiding zijn gebaseerd op eerdere handleidingen, zonder dat dit overal expliciet is aangegeven.

Leeswijzer

Voor uw gemak hebben wij een leeswijzer opgesteld. Deze leeswijzer geeft een korte beschrijving en daarbij de belangrijkste conclusies van elk hoofdstuk. Zo krijgt u eenvoudig en snel inzicht in de informatie die relevant is voor het gebruik van de WPV Compact.

De Werkgerelateerde Persoonlijkheidsvragenlijst Compact, afgekort WPV Compact, is een persoonlijkheidsvragenlijst die voor het werkveld van Human Resource Management (HRM) is ontwikkeld door Ixly B.V. De WPV Compact bevat vijf factoren, die op hun beurt weer in 25 factoren zijn onderverdeeld.

1. Uitgangspunten bij de testconstructie

In dit hoofdstuk wordt een aantal theorieën over persoonlijkheid besproken. Het Five Factor Model (de ‘Big Five’), dat ten grondslag ligt aan de WPV, wordt nader toegelicht. Hieruit voort komt de beschrijving over hoe persoonlijkheid gemeten kan worden. Afsluitend wordt de definitie van persoonlijkheid gegeven, zoals die met betrekking tot de WPV wordt bedoeld.
Dit hoofdstuk brengt de ontstaansgeschiedenis van de reguliere WPV, en vervolgens van de WPV Compact, in kaart. In het eerste stadium werd het gebruiksdoel gedefinieerd: het construeren van een brede, werkgerelateerde persoonlijkheidsvragenlijst, die de informatiebehoefte van psychologen bij selectie, doorstroming en loopbaanadvies zo volledig mogelijk dekt. In het tweede stadium vonden de eerste analyses en de itemselectie voor de ProSiD-PI 35 plaats. Dit is een Six Dimensional Personal Inventory met 35 schalen, een eerste versie van de WPV. Na een aantal jaren van dataverzameling met de ProSiD-PI 35 en hernieuwde statistische analyses ontstond uiteindelijk de huidige WPV en WPV Compact met zijn vijf-factorstructuur. In Bijlage 1.4 worden alle schalen en factoren van de WPV Compact overzichtelijk weergegeven, besproken en afgebakend.

2. Testmateriaal

In dit hoofdstuk wordt de testomgeving en het testmateriaal van de WPV Compact beschreven. De instructie bij de vragenlijst valt hier te lezen, de getoonde voortgangsindicator wordt besproken en er wordt verwezen naar een voorbeeldrapport van de WPV Compact. Zowel de instructieteksten en de vragen, als de rapportage zijn op taalniveau B1. Gemiddeld is men vijftien tot twintig minuten bezig met het invullen van de WPV Compact. In dit hoofdstuk wordt tevens aangegeven hoe er onjuist gebruik van de software kan worden voorkomen en er wordt inzicht gegeven in het scoringssysteem van de WPV Compact.

3. Handleiding voor testgebruikers

De WPV Compact kan in elke situatie worden ingezet waarbij het van belang is meer te weten te komen over iemands persoonlijk in werksituaties. De vragenlijst kan ingevuld worden door iedereen die deel uit maakt van de Nederlandse beroepsbevolking. In dit hoofdstuk worden de toepassingsmogelijkheden en ook de beperkingen van de vragenlijst besproken en wordt ingegaan op de vereiste kennis voor het gebruik van de test. Tevens wordt er een instructie gegeven voor de testleider. Het grafische deel van de rapportage wordt weergegeven in stenscores. In dit hoofdstuk wordt ingegaan op de interpretatie van deze scores. Om de interpretatie van de WPV Compact te illustreren licht een psycholoog toe hoe hij de test bij loopbaanadvies toepast. Dit doet hij aan de hand van een tweetal voorbeeldcasussen. Tot slot worden er ingegaan op relevante informatie bij de interpretatie en wordt er informatie gegeven over de software.

4. Normen

Bij de WPV Compact gaat het om een normgerichte interpretatie. De normpopulatie is een representatie van de beroepsbevolking van Nederland met betrekking tot de achtergrondvariabelen opleiding, leeftijd, geslacht, werksituatie en provincie. De WPV Compact is voor adviessituaties genormeerd. Dit hoofdstuk beschrijft de samenstelling van de normgroep en de normeringsprocedure en geeft informatie over de interpretatie van de gestandaardiseerde scores. In Bijlage 4.3 staan de normtabellen bij de vragenlijst.

5. Betrouwbaarheid

Om uitspraken te kunnen doen over de betrouwbaarheid van de WPV Compact is de interne consistentie (Cronbach’s alfa) voor iedere factor en schaal berekend. De vragenlijst bestaat uit homogene, betrouwbare en stabiele schalen. De alfa’s zijn over het algemeen hoog tot zeer hoog te noemen en voldoen ruimschoots aan het criterium van de Cotan (2009) wat betreft de hoogte van de interne consistentie van instrumenten die bedoeld zijn voor adviessituaties (> .80).

6. Begripsvaliditeit

De WPV Compact laat een solide interne structuur zien. De correlaties tussen de schalen laten goede convergente en divergente validiteit zien. De factoren correleren niet te hoog met elkaar, wat aanduidt dat de vijf factoren voldoende onafhankelijk van elkaar zijn en een eigen bijdrage leveren. MGM- en PCA analyses toonden aan dat gekozen schaal- en factorstructuur goed ondersteund werd in de normgroep, bovendien zijn de item-restcorrelaties allemaal hoog tot zeer hoog.
De hypotheses over verschillen tussen groepen op basis van achtergrondvariabelen (geslacht, leeftijd, opleiding, werksituatie en etniciteit) werden grotendeels bevestigd. Ook de hypotheses over verschillen in scores tussen personen die de WPV Compact in selectiesituaties hadden ingevuld en de normgroep werden bevestigd. Dit gold ook voor verschillen tussen kandidaten van het UWV en de normgroep. Bovendien waren de betrouwbaarheden bij deze UWV groep en de normgroep nagenoeg gelijk. Al deze bevindingen geven aan dat de schalen en factoren reële verschillen tussen groepen kunnen ‘detecteren’ en dat de beoogde constructen, inclusief reële verschillen tussen groepen, worden gemeten. Onderzoek toont verder aan dat de WPV Compact geen culturele bias vertoont: er is praktisch geen sprake van itembias (DIF).
De externe validiteit wordt aangetoond door zowel convergente als divergente bevindingen met soortgenotentests. De meerderheid van deze hypotheses voor convergente validiteit met de BFI en HEXACO-PI-R werden bevestigd. Ook was er ruime ondersteuning voor divergente validiteit, omdat de schalen en factoren hogere correlaties lieten zien met de factoren en facetten waar wel hypotheses over opgesteld waren dan met de factoren en facetten waar geen hypotheses over opgesteld waren.
Tevens wordt in dit hoofdstuk aangetoond dat de WPV N en de WPV Compact equivalent zijn, wat betekent dat de begripsvaliditeit voor de ene versie ook ondersteuning biedt voor de andere versie, en vice versa. Twee onderzoeken naar begripsvaliditeit van de WPV N worden daarom hier ook besproken.

7. Criteriumvaliditeit

In dit hoofdstuk worden twee onderzoeken beschreven die ondersteuning bieden voor de predictieve validiteit van de WPV N. De schalen en factoren van de WPV N bleken bij leerling-verpleegkundigen en bij recruiters en accountmanagers voorspellende waarde te hebben.

1. Uitgangspunten van de testconstructie

1.1. Theoretische uitgangspunten

1.1.1. Theorie persoonlijkheid

De term ‘persoonlijkheid’ komt van het Latijnse woord Persona, dat ‘masker’ betekent. Wanneer we persoonlijkheid strikt als masker definiëren, zouden we het kunnen zien als het aspect van onszelf dat we aan de buitenwereld tonen (Hergenhahn, 1980). Vele theoretici hebben zich al over het concept persoonlijkheid gebogen. De persoonlijkheidstheorie van Freud (2008, 1918) – met de driedeling van persoonlijkheid in het ID, het Ego en het Superego – is misschien wel de bekendste. Ook de theorieën van Maslow (1943), Jung (1964) en Rogers (1951) zijn bij velen bekend. Het bespreken van al deze theorieën valt buiten het doel en bereik van deze handleiding maar de geïnteresseerde lezer verwijzen we door naar het standaardwerk over persoonlijkheidstheorieën van Hergenhahn (1980).

Er is veel discussie over de precieze definiëring van persoonlijkheid. Er bestaan dan ook een groot aantal verschillende definities, uiteenlopend van simpele varianten tot complexe technische definities met wiskundige formules. Een aantal voorbeelden:

• Persoonlijkheid is te beschrijven als ‘een verzameling kenmerken van de wijze waarop situaties door een persoon worden onderscheiden, geïnterpreteerd en gewaardeerd. Deze interpretatie en waardering zijn van invloed op het gedrag dat een persoon in de desbetreffende situatie zal vertonen’ (Hoekstra, Ormel & Fruyt, 1996).
• Persoonlijkheid is ‘de inhoud van wat er over iemand gezegd wordt met de bedoeling een specifieke verklaring voor zijn of haar gedrag te geven. Het in de definitie betrekken van degene die een uitspraak doet over de persoon is van belang daar iemands persoonlijkheid veelal voor een groot deel afhangt van de beoordelende persoon en van de beoordeelde persoon zelf’ (Hofstee, Brokken & Land, 1981).

Tegenwoordig is de overheersende theorie in onderzoek naar persoonlijkheid het ‘Five Factor Model’ (Allport & Odbert, 1936; Cattell, 1943). Deze theorie wordt ook wel de ‘Big Five’ genoemd (Goldberg, 1981). Het principe van het ‘Five Factor Model’ ligt het dichtst bij het principe van de WPV.

Het Five Factor Model (FFM)
Het FFM komt voort uit lexicaal onderzoek. Hierbij gaat men ervan uit dat alle individuele verschillen tussen mensen die van belang zijn, in taal kunnen worden uitgedrukt. Concreet houdt dit in dat eigenschapadjectieven uit het Amerikaanse woordenboek zijn verzameld door Allport en Odbert (1936) en later door Cattell (1943), om daarmee een zo compleet mogelijke afspiegeling van de menselijke persoonlijkheid weer te geven. Deze verzameling bleek te kunnen worden beschreven door middel van een vijf-factorenmodel. Dit is het resultaat van principale componentanalyse op eigenschapadjectieven, verzameld door zelfbeoordeling en/of beoordeling door anderen. Hierna werd een (varimax)rotatie van deze componenten uitgevoerd naar een assenstand waarbij de componenten zo goed mogelijk te interpreteren zijn. De assenstand is optimaal als de adjectieven een zo hoog mogelijke lading op een van de componenten hebben en een verwaarloosbare lading op de overige componenten. De componenten worden vervolgens geïnterpreteerd aan de hand van de items met de hoogste lading.

De theorie van het FFM stelt dat er vijf hoofdfactoren of dimensies zijn van persoonlijkheidstrekken waarop mensen van elkaar kunnen verschillen en met elkaar kunnen worden vergeleken. De vijf factoren van het FFM zijn (Allport & Odbert, 1936; Cattell, 1943):

1. Extraversie (Extraversion)
2. Vriendelijkheid (Agreeableness)
3. Zorgvuldigheid (Conscientiousness)
4. Neuroticisme (Neuroticism)
5. Openheid (Openness to experience)/ Cultuur/ Intellect /Autonomie

Ontwikkeling en stabiliteit van persoonlijkheidsfactoren
Tijdens de adolescentie is het mogelijk dat scores van een persoon op de vijf factoren nog enigszins veranderen. Vanaf het dertigste levensjaar blijkt dat er over het algemeen geen veranderingen meer plaatsvinden (McCrae & Costa, 1994). Vanaf dat moment correleren opeenvolgende testscores in hoge mate met elkaar. Een persoon heeft vanaf die leeftijd dus een stabiel profiel (McCrae & Costa, 1994). McCrae en Costa (1994) vonden opmerkelijke stabiliteit binnen de factoren bij longitudinaal onderzoek. Ook werd deze stabiliteit gevonden bij cross-sectioneel onderzoek. Veranderingen zijn niet onmogelijk, bijvoorbeeld als er ingrijpende gebeurtenissen plaatsvinden in het leven van een persoon, maar over het algemeen kunnen we stellen dat het persoonlijkheidsprofiel van een persoon relatief stabiel is.

Sekseverschillen
Er bestaan verschillen in scores op het FFM tussen mannen en vrouwen. Deze verschillen worden binnen verschillende culturen gezien. Vrouwen scoren gemiddeld hoger op de factor Vriendelijkheid (Sociabiliteit) en lager op de factor Stabiliteit (de Dusschooten, 2004). Ook scoren vrouwen gemiddeld hoger op de facetten Zorgzaamheid en Contactbehoefte, die vallen onder de dimensies Vriendelijkheid en Extraversie, respectievelijk (Beutel & Marini, 1995). Mannen scoren gemiddeld hoger op de facetten Status en Invloed, beiden horend bij de dimensie Extraversie (Aries, 1976). Uit onderzoek naar de samenhang van persoonlijkheidskenmerken met het bereikte opleidingsniveau blijkt eveneens dat er verschillen tussen mannen en vrouwen bestaan. De samenhang van persoonlijkheid met opleidingsniveau is hier groter bij mannen dan bij vrouwen (van Eijck & de Graaf, 2001).

1.1.2. Het meten van persoonlijkheid in de praktijk

Persoonlijkheid kan gemeten worden met een psychologische test. Dit begrip is te beschrijven als:

Deze uitspraak is gebaseerd op een objectieve en vergelijkende verwerking van de reacties en prestaties van de onderzochte op een aantal zorgvuldig uitgekozen opdrachten of vragen, dat op een gestandaardiseerde manier aan hem/haar wordt voorgelegd (Drenth, 1981). De reacties van de persoon vormen de testinformatie op basis waarvan een uitspraak gedaan wordt. Deze testinformatie kan op verschillende manieren verkregen worden, bijvoorbeeld door zelfbeoordeling, observatie, instrumentele meting of objectieve documentatie (Drenth, 1981).
De persoonlijkheidsvragenlijst is een voorbeeld van een psychologische test. Het belangrijkste onderscheid dat wordt gemaakt in getest gedrag is tussen tests voor prestatieniveau en tests voor gedragswijze (Drenth & Sijtsma, 2006). Een test voor prestatieniveau, waarbij testvragen goed of fout worden beantwoord, vraagt een maximale prestatie van de onderzochte persoon. Bij een test voor gedragswijze is echter niet een vooraf bekende ‘goed/fout-sleutel’ beschikbaar. Aangezien bij tests voor gedragswijze geen sprake is van een ‘test’ in de betekenis van ‘proeve van bekwaamheid’ spreken we in deze context vaak over ‘vragenlijst’ (Drenth & Sijtsma, 2006).

Al sinds de jaren twintig van de vorige eeuw worden persoonlijkheidsvragenlijsten veel gebruikt in de praktijk. Er werd lange tijd geen duidelijk verband gevonden in onderzoek tussen criteria van goed werkgedrag en de uitkomst van de vragenlijsten (Salgado & de Fruyt, 2005). Er bestond een duidelijk onderscheid tussen de praktijk en het onderzoek. Ondanks dit gegeven bleven persoonlijkheidsvragenlijsten in de praktijk populair. Naast gebruik in de (geestelijke) gezondheidszorg, als zogenaamde psychodiagnostiek, kunnen ze ook in het veld van HRM/selectiepraktijk worden gebruikt.

Essentieel bij het gebruik van een persoonlijkheidsvragenlijst in het werkveld van HRM is de predictieve validiteit: in hoeverre heeft persoonlijkheid een voorspellende waarde voor de (toekomstige) werkprestatie? De laatste jaren blijkt uit onderzoek dat persoonlijkheidsvragenlijsten een voorspellende waarde hebben bij personeelsselectie. Zo is in verschillende studies de voorspellende waarde van de factoren van het FFM aangetoond. Twee van de vijf factoren, Extraversie en Zorgvuldigheid, blijken bijzonder goede voorspellers voor werkprestatie te zijn (Schultz & Schultz, 2002). Per onderzoeksgroep blijken de voorspellende waarden te verschillen. Uit onderzoek van Barrick en Mount (1991) naar het FFM en werkprestaties blijkt dat Zorgvuldigheid een voorspeller is voor alle onderzochte groepen. Uit dezelfde studie komt naar voren dat Extraversie en Vriendelijkheid voorspellers zijn voor managementbanen en dat Openheid onder andere naar voren komt als voorspeller bij trainers. Extraversie blijkt vooral een voorspellende waarde te hebben voor de prestatie in beroepen waarbij sociale interactie en verkoop centraal staan (Barrick & Mount, 1991). De uiteindelijke conclusie van Barrick en Mount (1991) is dat vooral Zorgvuldigheid een goede voorspeller voor werkprestatie zou zijn. Ze stellen bovendien dat het FFM een goed middel is bij onderzoek naar persoonlijkheid op de werkvloer. Ditzelfde blijkt uit een kleinschaliger onderzoek door Tett, Rothstein en Jackson (1991, in Salgado & de Fruyt, 2005).

WPV
Het initiatief binnen Ixly tot het ontwikkelen van een persoonlijkheidsvragenlijst kwam voort uit de praktijk: er was behoefte aan een persoonlijkheidsvragenlijst specifiek ontwikkeld voor gebruik binnen het werkveld van HRM. De persoonlijkheidsvragenlijsten die tot dan toe binnen dit werkveld gebruikt werden, voldeden niet aan de behoefte van de assessmentpsychologen van destijds Orga Advies. Een belangrijke reden hiervan was dat men veel vragenlijsten wilde combineren om de relevante informatie van verschillende schalen te kunnen gebruiken. Maar er was ook veel overlap in deze vragenlijsten, bijvoorbeeld, iedere vragenlijst had wel elementen van dominantie en extraversie. (Veel gebruikte vragenlijsten destijds waren, EPPS (Tjoa, 1993); GLTS: (Akkerman & Buijk, 1994); GPP/GPI (Gordon, 1963) en de NVP (Luteijn et al., 1985). De doelstelling bij de ontwikkeling van deze vragenlijst was om een zo compleet mogelijke vragenlijst te maken, waarin alle aspecten van persoonlijkheid die relevant zijn voor de werksituatie werden opgenomen, zonder overlap tussen de verschillende schalen. Daarnaast was er de behoefte om de relatief tijdsintensieve vragenlijsten die tot dan toe gebruikt werden voor het verkrijgen van een persoonlijkheidsprofiel te kunnen vervangen door één vragenlijst waaruit eenzelfde persoonlijkheidsprofiel gedestilleerd zou kunnen worden, maar binnen een korter tijdsbestek. De eis was tevens dat deze vragenlijst zou voldoen aan de criteria van betrouwbaarheid en validiteit zoals die door de Cotan gesteld worden.

Persoonlijkheid zoals die met betrekking tot de WPV wordt bedoeld, is als volgt te definiëren:

Met ‘gedrag’ bedoelen we de instrumentele acties die een persoon uitvoert. Ordelijkheid en Vriendelijkheid zijn hier voorbeelden van. Gedrag omvat ook de cognitieve acties, ook wel ‘covert behaviour’ genoemd (zie bijvoorbeeld Thoresen & Mahoney, 1974). Denk hierbij aan zaken als Zorgzaamheid en Originaliteit.

Assessmentpsychologen gaven aan dat ze in de praktijk behoefte hadden aan ‘smalle’ constructen bij een persoonlijkheidsvragenlijst. Hiermee worden psychologische constructen bedoeld die niet op meerdere persoonskenmerken duiden. De psychologen vinden differentiatie erg belangrijk: ze willen dus zo veel mogelijk constructen om differentiatie te verkrijgen. Samengestelde constructen zijn met name bij middenscores lastig te interpreteren. De ‘Dominantie’ schaal van de NVP omvat zowel zelfvertrouwen, initiatief nemen en leiding willen geven. In de praktijk kan dat lastig zijn. De WPV is ontwikkeld voor praktijkdoeleinden waarbij er voor is gezorgd dat er geen relevante differentiaties verloren gaan, die van belang kunnen zijn bij een werkgerelateerde persoonlijkheidsvragenlijst.

1.2. Ontwikkeling

Dit hoofdstuk beschrijft de ontstaansgeschiedenis van de WPV. De ontwikkeling van deze vragenlijst wordt in verschillende ontwikkelingsstadia beschreven. In het eerste stadium wordt het gebruiksdoel gedefinieerd en wordt de opzet van de vragenlijst beschreven, in het tweede stadium vinden de eerste analyses en de itemselectie plaats voor de ProSiD-PI 35² en in het derde stadium wordt weergegeven wat de structuur van de WPV is en hoe deze tot stand is gekomen. Tenslotte wordt in sectie 1.2.4 de constructie van de WPV Compact besproken.

1.2.1. Eerste stadium: ontstaansgeschiedenis

In 1998 kwam er in de selectiepsychologiepraktijk behoefte aan een persoonlijkheidsvragenlijst die is afgestemd op het werkveld van HRM: een werkgerelateerde persoonlijkheidsvragenlijst. In opdracht van Ixly (destijds Orga) werd een onderzoeksteam samengesteld dat de informatiebehoefte op dit gebied in kaart moest brengen. Er werden twintig psychologen benaderd, waarvan de helft werkzaam was bij Ixly en de andere helft werkzaam was bij andere adviesbureaus. De behoefte bleek uit te gaan naar een persoonlijkheidsvragenlijst die rapporteert op schalen die in zekere mate iets over werkprestaties of -competenties van een persoon zeggen. Als er één persoonlijkheidsvragenlijst zou kunnen worden ontwikkeld die dit doel kon dienen en er geen andere persoonlijkheidsvragenlijsten afgenomen hoefden te worden, zou dit veel test afnametijd schelen. Na volledige inventarisatie van de behoeften werd het gebruiksdoel en de doelgroep gedefinieerd.

Gebruiksdoel
Het doel was het construeren van een brede, werkgerelateerde persoonlijkheidsvragenlijst die de informatiebehoefte van psychologen bij selectie, doorstroming en loopbaanadvies zo volledig mogelijk dekte. Nevendoelen hierbij waren dat de vragenlijst gebaseerd moest zijn op wetenschappelijke modellen en dat constructie verliep volgens wetenschappelijke methoden, waardoor het resultaat zou voldoen aan de criteria van de Cotan.

Doelgroep
De doelgroep van de WPV is de gehele Nederlandse beroepsbevolking. Dit bracht de volgende eisen met zich mee:

• Volledigheid;
• Relevantie: toegepast op de werksituatie;
• Breed inzetbaar: van laag tot hoog opleidingsniveau en voor verschillende functies;
• Nauwe definitie van de psychologische constructen waarmee eenduidige uitspraken gedaan kunnen worden. Bovendien maakt dit automatische rapportage mogelijk.

Aan de eerder genoemde groep psychologen werd, onafhankelijk van elkaar, gevraagd om zo veel mogelijk constructen te noemen die naar hun mening werkgerelateerd zijn en/of volgens hen van toepassing zijn in een HRM-gerelateerde persoonlijkheidsvragenlijst. Alle genoemde begrippen zijn kritisch bekeken waarna er 80 constructen overbleven. Vervolgens werden deze begrippen geoperationaliseerd wat resulteerde in ongeveer achthonderd items. Bij het formuleren van de items van de WPV zijn de criteria van Hofstee (1991) uitgangspunt geweest:

• formuleer items in de derde persoon enkelvoud
• formuleer in observeerbare termen
• vermijd bepalingen van hoedanigheid
• vermijd suggestieve formuleringen
• vermijd moeilijke woorden en zinnen
• vermijd ontkenningen
• vermijd idiomatische formuleringen
• vermijd racistische, seksistische, etnocentrische en androcentrische uitdrukkingen
• vermijd items die in hoofdzaak bestaan uit een persoonlijkheidsbeschrijvend adjectief, substantief of een combinatie daarvan
• vermijd specificaties
• schrijf onberispelijk Nederlands

Tijdens de operationalisatie naar itemniveau is er tevens gezocht naar verklarende signaalwoorden die een voorspellende waarde van het desbetreffende begrip zouden weergeven. De term ‘signaalwoord’ is een werkterm bij de itemconstructie, om naar enkelvoudige begrippen te gaan. Voorbeelden van signaalwoorden zijn ‘leiding nemen’ voor dominantie en ‘met mensen omgaan’ voor sociabiliteit. “Neemt vaak het woord in een gesprek” kan daarentegen als operationalisatie duiden op dominantie, maar ook op sociabiliteit. Er is namelijk geen duidelijk signaalwoord. Er werd naar gestreefd om een signaalwoord in een item op slechts één construct betrekking te laten hebben. Respondenten blijken bij het beantwoorden van vragen op signaalwoorden te reageren. Dit bleek uit eerdere observaties van het onderzoeksteam. Bij zowel de Carrièrewaardenvragenlijst, de vragenlijst voor Persoonlijke Flexibiliteit en de Mobiliteitsindicator had het onderzoeksteam de indruk dat men eerder geneigd is te reageren op betekenis van woorden dan op zinnen. In lijn met bovenstaande criteria van Hofstee (1991) en in verband met een eventueel later gebruik van de lijst door derden in een 360-graden variant werd er voor gekozen de items in de derde persoon te formuleren. Mede ook omdat er aanwijzingen bestaan dat een persoon zichzelf neutraler beoordeelt als de items in de derde persoon staan (Hendriks, Hofstee & de Raad, 1998).

Alle items zijn in dit stadium van de ontwikkeling ook aan een aantal buitenlandse personen voorgelegd dat de Nederlandse taal voldoende beheerst maar deze niet als moedertaal heeft. Met behulp van de resultaten hiervan zijn alle spreekwoordelijke en typisch Nederlandse items aangepast. Deze 800 items zijn door een eerste onderzoeksgroep (N=150), in een pen-en-papier versie, ingevuld. Deze groep bestond enerzijds uit loopbaanadvies-kandidaten van Orga en anderzijds uit vrijwilligers die via verschillende media geworven zijn, onder meer via een advertentie in een huis-aan-huis-blad. Representativiteit was op dat moment minder van belang, omdat vooral het doel was de vragenlijsten in te korten. Aan de hand van analyses van deze resultaten heeft er een verfijning plaatsgevonden waarbij vooral gekeken werd naar hoge inter-itemcorrelaties zodat smalle constructen ontstonden. Uiteindelijk bleven er 430 items over, behorende bij 35 constructen.

1.2.2. Tweede stadium: ProSiD-PI 35

Met de 35 constructen en de 430 bijbehorende items werd het onderzoek voortgezet. Om duidelijkheid te behouden noemen we de constructen, die worden gevormd door de items, vanaf dit punt ‘schalen’. Welke schalen dit zijn is weergegeven in Bijlage 1.1. Om structuur te creëren zijn deze schalen theoretisch ingedeeld in factoren: Ambitie, Werkhouding, Emotionele stabiliteit, Extraversie, Altruïsme en Cultuur. De factor Werkhouding komt overeen met de factor Zorgvuldigheid van het FFM, de factor Emotionele stabiliteit met Neuroticisme, Extraversie heeft dezelfde benaming, de factor Altruïsme komt overeen met de factor Vriendelijkheid en de laatste FFM factor Openheid is bij deze versie van de WPV opgesplitst in de factoren Ambitie en Cultuur. Het is belangrijk in te zien dat deze factoren binnen het model van deze versie van de WPV vooral een overkoepelende, theoretische functie hebben. Dat de namen van de vijf factoren van het FFM zijn aangepast, komt ten eerste omdat het een werkgerelateerde persoonlijkheidsvragenlijst is waarbij de nieuwe benamingen toepasselijker zijn. Ten tweede is er voor gekozen om mensen altijd op hun positieve kant te beoordelen, waardoor bijvoorbeeld Neuroticisme is aangepast in de positieve tegenhanger Emotionele stabiliteit. Ten derde wordt bij het FFM ook met de inhoud, validiteit en onafhankelijkheid van de factor Openheid geworsteld (zie Garcia et al., 2005). Een opsplitsing in de twee nieuwe factoren Ambitie en Cultuur is theoretisch beter te onderbouwen. Bij de indeling in factoren is rekening gehouden met het werkgerelateerde karakter van de persoonlijkheidsvragenlijst, waarbij de factoren gemakkelijk interpreteerbaar moeten zijn voor assessmentpsychologen in het HRM-werkveld.

In 2001 was de eerste versie van de WPV een feit: ProSiD-PI 35. Om de validiteit en betrouwbaarheid van de ProSiD-PI 35 te onderzoeken is deze in 2002 afgenomen bij 350 personen. De steekproef bestond uit werknemers van een viertal organisaties: een groot ICT bedrijf, een landelijk uitzendbureau, een fabriek voor medische toepassingen en een marketing adviesbureau. De HR adviseurs van deze organisaties nodigden medewerkers uit om deze vragen in te vullen. Naast de WPV werden een viertal persoonlijkheidsvragenlijsten afgenomen die als criterium dienden. Deze vier persoonlijkheidsvragenlijsten waren:

• Nederlandse Persoonlijkheid Vragenlijst (NPV: Luteijn, Starren & van Dijk, 1985)
• Edwards Personal Preference Schedule (EPPS Nederlandse bewerking: Tjoa, 1993)
• Guilford LTP Temperament Survey (GLTS: Akkerman & Buijk, 1994)
• GPP/GPI (Gordon, 1963)

De ProSiD-PI 35 werd voor twee groepen genormeerd, te weten: normgroep Selectie (personen waarbij de vragenlijst in een selectiesituatie is afgenomen) en een normgroep Advies (personen waarbij de vragenlijst in een adviessituatie is afgenomen). Om uitspraken te doen over de betrouwbaarheid van de ProSiD-PI 35 werd de interne consistentie (Cronbach’s alfa) per schaal, per normgroep berekend. Voor de normgroep Selectie lag de interne consistentie (α) van de schalen tussen .68 en .91. Voor de normgroep Advies lag de interne consistentie van de schalen tussen .74 en .92. In het derde stadium wordt besproken welke stappen er zijn gezet om de interne consistentie van een aantal schalen te verhogen.

1.2.3. Derde stadium: Structuur van de WPV

Na een aantal jaren van dataverzameling met de ProSiD-PI 35 in de praktijk van de opdrachtgevers van Ixly, voornamelijk kleine en middelgrote assessmentbureaus met een spreiding door Nederland, en hernieuwde statistische analyses, is in 2008 de laatste versie van de WPV geconstrueerd. De WPV heeft voor de gebruikers na de naam ProSiD-PI 35 eerst nog de naam ProSiD-PI 25 gedragen. Ook met deze versie is data verzameld die zijn meegenomen in de analyses. Bij de WPV is het aantal vragen nog meer ingeperkt in vergelijking tot de ProSiD-PI 35 en de ProSiD-PI 25; dit na een nieuw ontwikkeld onderliggend model dat de indeling in factoren, schalen en items statistisch ondersteunt (zie de hieronder beschreven stappen). De wijzigingen van de ProSiD-PI 35 naar de ProSiD-PI 25 zijn opgenomen in Bijlage 1.1, de wijzigingen van de ProSiD-PI 25 naar de WPV zijn opgenomen in Bijlage 1.2. De WPV bevat 25 schalen met 276 items.
Bij de ontwikkeling van een psychologische test ontwerpt men vanuit de theorie een test. Vervolgens toetst men of de test voldoet aan de vooraf gestelde eisen. Er zijn niet direct grote hoeveelheden data beschikbaar waarop men analyses kan uitvoeren die helpen bij de verbetering van de test. Tijdens de ontwikkeling van een psychologische test wordt er dan ook vaak ‘achterstevoren’ gewerkt. Na jaren van dataverzameling kan de test pas echt goed in elkaar gezet en geherstructureerd worden. Pas dan is een goede statistische onderbouwing mogelijk. Dit proces heeft ook bij de ontwikkeling van de WPV plaatsgevonden. Er bestond een veelgebruikte vragenlijst, de ProSiD-PI 35, met een goede theoretische basis en waarmee veel data is verzameld. Deze vragenlijst kon nu door middel van statistische analyses aangepast en verbeterd worden, hetgeen resulteerde in de huidige versie van de WPV. Hoe dit proces bij de WPV heeft plaatsgevonden wordt hieronder stapsgewijs besproken.

Stap 1: De theoretische indeling van de factoren, schalen en items van de ProSiD-PI 35 werd grondig bestudeerd. Er werd naar de schalen gekeken van een tijdelijke versie, Versie X. Versie X bestond uit een aantal onderzoeksitems die als onderdeel van een andere vragenlijst waren ingebouwd, maar waar in de praktijk niet op gerapporteerd is. Bij een groep met N = 17950 zijn de scores op deze items, die samen schalen vormden, berekend en onderzocht. Versie X bevatte 171 items.

Stap 2: Over de schaalscores van ‘Versie X’ werd een factoranalyse gedaan. Hierbij is gebruik gemaakt van Principale Componenten Analyse (PCA) met Varimaxrotatie. Op basis van deze analyse bleek een vijf factorstructuur het best verdedigbaar.

Stap 3: Vervolgens zijn voor elk item correlaties berekend met de factorscores die waren verkregen uit stap 2. Op basis van deze correlaties werd elk item bij één van de vijf factoren ingedeeld.

Stap 4: Per factor werd over de bijbehorende items weer een factoranalyse uitgevoerd om de items in schalen in te delen. Hierbij is weer gebruik gemaakt van PCA met Varimaxrotatie. Het aantal schalen binnen een factor is bepaald aan de hand van scree plots (een grafische weergave van de hoeveelheid verklaarde variantie door opeenvolgende factoren) en aan de hand van de interpreteerbaarheid van de gevonden oplossingen. De indeling van items in schalen geschiedde vervolgens op basis van de componentladingen en op basis van theoretische overwegingen. De reden om de indeling in schalen per factor uit te voeren in plaats van over alle items tegelijk, was een verwachte beperking van het aantal elementen waarover de PCA werd uitgevoerd. Deze beperking maakt de gevonden oplossing stabieler (beter repliceerbaar) en eenvoudiger te interpreteren.

Stap 5: Na indeling van de items in schalen werden er via ‘trial and error’ nog aanpassingen gedaan, om de volgende schaalkenmerken te optimaliseren:

• Niet te veel items in één schaal.
• Zo hoog mogelijke betrouwbaarheid.
• Iedere schaal correleert duidelijk met één factor.
• Zo weinig mogelijk plafondeffecten.

Deze optimalisatie heeft geleid tot verwijdering van items die niet substantieel bijdroegen aan de betrouwbaarheid van een schaalscore, of wanneer ze laadden op een tweede factor. Hierbij is steeds gestreefd naar minimalisatie van plafondeffecten door items met een lage gemiddelde score zo veel mogelijk te handhaven en het aantal items in een schaal niet te klein te laten worden. Bodemeffecten bleken niet aanwezig te zijn, dus deze zijn verder buiten beschouwing gelaten. In een enkel geval zijn schalen samengevoegd wanneer bleek dat de samenstelling een eendimensionale schaal opleverde.
Stap 6: Na optimalisatie van de schalen is over de verkregen schaalscores opnieuw een factoranalyse (PCA) uitgevoerd om de schalen opnieuw in factoren in te delen. Dit omdat de geoptimaliseerde schalen op bepaalde punten verschilden van de schaalscores van ’versie X’ (stap 1). Nu bleek een structuur met zes factoren het best verdedigbaar.

Stap 7: Een laatste factoranalyse van de factoren is gedaan aan de hand van een Multiple Group Method (MGM) in plaats van de bekendere PCA. De reden hiervoor is dat de MGM toepasbaar is bij het testen van een specifieke hypothese (Nunnally, 1978). Aangezien we wilden weten of de eerder gemaakte indeling van de schalen in de zes factoren overeenstemde met de huidige data, werd de voorkeur gegeven aan deze methode; de hypothese is immers dat de structuur hetzelfde is als bij de data-analyse over eerdere datasets. Voor meer informatie over deze procedure zie Stuive, Kiers, Timmerman en ten Berge (2008). Kenmerkend voor de MGM die hier is uitgevoerd, is dat er gebruik is gemaakt van de formule van Steiger (1980) om de significantie te bepalen van de verschillen tussen afhankelijke correlaties.

De analyse is in eerste instantie gedaan voor de Advies- en Selectiegroep samen. Uit deze analyse bleek dat er nog enkele items niet op de juiste plek waren ingedeeld doordat ze significant hoger bleken te correleren met één van de andere schalen. Dit was goed te verklaren en de betreffende items zijn van plek veranderd of verwijderd. Het ging in totaal om twintig items. Na verplaatsing of verwijdering en een enkele toevoeging om plafondeffecten te voorkomen, werd de MGM opnieuw uitgevoerd. Deze analyse is zowel voor de Selectiegroep als de Adviesgroep gedaan. De resultaten hiervan zijn in Bijlage 1.3 opgenomen. Er bleken voor iedere groep nog twee items niet significant hoger met hun ‘eigen’ schaal te correleren. Er is voor gekozen om de items in hun eigen ’schaal’ te laten zitten, omdat de betreffende schalen qua interpretatie dicht bij elkaar liggen. Een overzicht van verschillen en overeenkomsten tussen de ProSiD-PI 35 en de WPV is opgenomen in Bijlage 1.1 en Bijlage 1.2.

Stap 8: Er is ook een MGM-analyse uitgevoerd op de indeling van de schalen in de factoren, voor zowel de Selectiegroep als de Adviesgroep. Bij deze analyse bestond de zes-factorstructuur nog. Er was bekend geworden, door middel van PCA en scree plots, dat bij deze samenstelling zowel een vijf- als zesfactorstructuur verdedigbaar zou zijn. Uit de MGM uitgevoerd met vijf factoren bleek het goed te onderbouwen om de factor Ambitie op te splitsen en onder te brengen bij de factoren Invloed en Gedrevenheid, waardoor de huidige vijf-factorstructuur ontstond. Een overzicht van veranderingen die hebben plaatsgevonden bij de indeling van de schalen in factoren zijn opgenomen in Bijlage 1.1 en Bijlage 1.2. In Tabel 1.1 is de uiteindelijke factor- en schaalstructuur van de WPV weergegeven. Dezelfde indeling in schalen en factoren wordt gehanteerd in de WPV Compact, alleen zijn de schalen en factoren gebaseerd op minder items. In Bijlage 1.4 worden alle factoren en schalen overzichtelijk weergegeven, besproken en afgebakend: ook deze beschrijvingen gelden voor zowel de WPV als de WPV Compact.

Download hier de bijlagen

1.2.4. Constructie WPV Compact

In de praktijk bleek dat jongeren en personen met een opleiding op basisniveau moeite hadden met de tijdsduur en het taalniveau van de WPV. Voor deze twee groepen is een korte versie van de WPV ontwikkeld, de WPV Compact. De WPV Compact moest aan de volgende doelstellingen voldoen:

• Equivalent zijn aan de WPV
• Iedere schaal moet minimaal een alfa van .80 hebben
• De invultijd mag maximaal dertig minuten zijn.
• Het taalniveau van de items mag maximaal B1 zijn.

Hieronder wordt beschreven hoe de WPV Compact tot stand is gekomen. Omdat één van de doelstellingen was om een verkorte equivalent van de WPV te ontwikkelen, hebben alle besproken analyses plaatsgevonden op de (gewogen) adviesnormgroep van de reguliere WPV. De kenmerken van deze groep zijn weergegeven in Tabel 1.2.

Als eerste is gekeken welke schalen van de WPV mogelijk gevoelig zouden zijn voor een plafondeffect. In totaal bleken vijf schalen mogelijk plafond effecten te hebben wanneer te veel items verwijderd zouden worden: Contactbehoefte, Vernieuwing, Originaliteit, Ordelijkheid en Nauwkeurigheid. Daarom is besloten om deze vijf schalen niet in te korten. Voor de overige twintig schalen werd per schaal de betrouwbaarheid berekend. Hierbij is vooral gekeken naar de item-rest correlaties van de items en wat de bijdrage van een item was aan de betrouwbaarheid van de schaal. Vervolgens werden de items met de laagste item-restcorrelaties en die het minst bijdroegen aan de betrouwbaarheid verwijderd. Bij het verwijderen van de items is ervoor gewaakt dat de inhoud van de resterende items hetzelfde (gehele) domein besloeg als de oorspronkelijke items. Dit wordt verder behandeld in de volgende sectie Studie naar equivalentie WPV en WPV Compact. Wanneer een schaal substantieel was ingekort, werd de betrouwbaarheid van de schaal opnieuw berekend en werd gekeken of er geen plafondeffect was ontstaan. Als de betrouwbaarheid lager was geworden dan .80 of wanneer er een plafondeffect was ontstaan, werden er items in de schaal teruggeplaatst. Per schaal werd dit proces herhaald, totdat er geen plafondeffect was en de betreffende schaal een α had van .80 of hoger.

Vervolgens zijn de items gecheckt op taalniveau. Taalniveau B1 kan bijna iedereen begrijpen (zo’n 95% van de bevolking). Ook mensen die geen hoge opleiding hebben gehad en voor hun werk nooit hoeven te lezen. Taalniveau B1 wordt ook wel “eenvoudig Nederlands” genoemd. De taalniveaus zijn vastgelegd in het Common European Framework of reference for languages (CEFR). Van de items van de WPV bleek het taalniveau: 30% B2, 59% B1, 9% A2 en 1% A1. Dit is gecheckt met een instrument van Stichting Accessibility, Expertisecentrum voor toegankelijke ICT. Het niveau van de items was dus al merendeels op B1 niveau of lager. Van 30% van de items is vervolgens een hertaling gemaakt, waarbij zoveel mogelijk de oorspronkelijke signaalwoorden zijn gehandhaafd. Indien dat niet mogelijk was, is een synoniem gebruikt dat wel op B1 taalniveau ligt. De tekstuele aanpassingen zijn soms marginaal, zoals: “Vertrouwt zelden iemand op voorhand”. werd: “Vertrouwt nooit iemand meteen.” Sommige items bevatten iets andere woorden, zoals: “Neemt weloverwogen beslissingen.” wordt: “Denkt goed na over beslissingen.”. De betekenis is getracht zoveel mogelijk gelijk te houden.

In totaal werden 79 items verwijderd uit de WPV. De uiteindelijke WPV Compact bevat 197 items, allen maximaal op B1 taalniveau. In Tabel 1.3 staat vermeld hoeveel items iedere schaal bezit. Omdat de ervaring is dat de gemiddelde invultijd per item 7 seconden bedraagt, is de verwachting dat het invullen van de vragenlijst gemiddeld 22 minuten bedraagt en daarmee binnen de doelstelling van 30 minuten valt. In Bijlage 1.5 worden alle items van de WPV Compact gegeven. Zo kan de gebruiker een beeld krijgen van de inhoud van de items en de inhoud van de schalen.

Studie naar equivalentie WPV en WPV Compact
Nadat de ontwikkeling van de WPV Compact voltooid was is er onderzocht in hoeverre de WPV en de WPV Compact equivalent zijn. Het mag bijvoorbeeld niet zo zijn dat een verkorte versie niet meer het hele inhoudsdomein van de WPV dekt, omdat er een bepaalde subset van items verwijderd is. Hieronder wordt het correlationeel onderzoek waarmee dit is aangetoond besproken.

Aangezien de WPV Compact alleen een adviesnormgroep bevat is de analyse uitgevoerd op de data van de adviesnormgroep van de reguliere WPV (zie Tabel 1.2). In het databestand van de WPV adviesnormgroep zijn, naast iedere kolom met de ruwe schaalscores van de originele WPV schalen, twee nieuwe kolommen toegevoegd: één kolom met ruwe schaalscores van de schalen van de WPV Compact, en één kolom met de ruwe schaalscores van de overige items die niet in de WPV Compact zitten maar wel in de WPV.
Om een compleet beeld te krijgen van de equivalentie zijn er voor elke schaal van de WPV en de WPV Compact twee verschillende correlaties berekend: de correlaties tussen de oorspronkelijke schalen en de verkorte schalen, en de correlaties tussen de verkorte schalen en de overige schaalscores (zie Tabel 1.4).

De eerste kolom betreft de correlaties tussen de schalen van de verkorte versie en de schalen van de oorspronkelijke versie. De tweede kolom laat de correlaties tussen de schalen van de verkorte versie en de verwijderde items uit de schalen van de oorspronkelijke versie zien. Over het geheel genomen laat het correlatiepatroon zien dat beide versies exact dezelfde constructen meten. De enige correlatie die enigszins lager correleert, is die van de schaal Energie. De verkorte versie van deze schaal correleert .82 met de oorspronkelijke versie.

Ook is er na het verwijderen van de items weer een MGM analyse uitgevoerd. Zo is onderzocht of de interne structuur intact is gebleven na het verwijderen van de items. De resultaten van het MGM onderzoek over de indeling van items in schalen is opgenomen in Bijlage 1.6. Geen enkel item liet een significant hogere correlatie met een andere schaal zien dan de eigen schaal. Er correleerden slechts 15 van de 197 items (7.6%) ook met andere schalen naast de eigen schaal, maar zonder significant verschil in hoogte (gele cellen). De overige items correleerden allemaal het hoogst met de eigen schaal, waarbij deze correlatie significant verschilde van de correlaties met de overige schalen.
De resultaten van het MGM onderzoek over de indeling van schalen in factoren is opgenomen in Bijlage 1.7. Geen enkele schaal liet een significant hogere correlatie met een andere factor zien dan de eigen schaal. Er correleerden 6 van de 25 schalen (24%) ook met andere schalen naast de eigen schaal, maar zonder significant verschil in hoogte (gele cellen). De overige schalen correleerden dus het hoogst met de eigen schaal, waarbij deze correlatie ook significant verschilde van de correlaties met de overige schalen.

Omdat de lengte van een vragenlijst en de volgorde van items invloed kan hebben op het invulgedrag van personen, is er ook onderzoek gedaan naar de equivalentie van de twee vragenlijsten bij een groep die zowel de WPV als de WPV Compact hebben ingevuld. Op basis van de correlaties tussen beide versies en de overeenkomst in de interne structuur konden we concluderen dat beide versies inderdaad equivalent zijn. Dit onderzoek wordt uitgebreid besproken in Hoofdstuk 6, Begripsvaliditeit.

Op basis van de genoemde onderzoeken kan worden aangenomen dat het verwijderen van de items uit de WPV er niet voor gezorgd heeft dat er andere constructen gemeten worden in de WPV Compact. Zo is er dus een test ontwikkeld die hetzelfde meet als de WPV en die goede betrouwbaarheid heeft, maar met een kortere tijdsduur. Er mag dus verwacht worden dat het validiteitsonderzoek dat met de reguliere WPV gedaan is ook ondersteuning biedt voor de validiteit van de WPV Compact. Er is echter ook uitvoerig onderzoek gedaan naar de validiteit met de WPV Compact, waarvan verwacht mag worden dat deze ook weer de validiteit van de reguliere WPV ondersteund.

2. Testmateriaal Werkgerelateerde Persoonlijkheidsvragenlijst Compact

2.1. Inleiding

In dit hoofdstuk zal het testmateriaal van de WPV Compact worden besproken. Zoals in Hoofdstuk 1, Uitgangspunten van de testconstructie, aangegeven is de WPV Normatief vragenlijst eerder beoordeeld door de Cotan. Het testmateriaal heeft toen de beoordeling ‘Goed’ gekregen. Het testmateriaal van de WPV Compact verschilt, afgezien van het aantal items en de stelling van de vraag (eerste persoonsenkelvoud), niet van de WPV Normatief. Omdat de WPV Compact echter nog nooit door de Cotan beoordeeld is wordt hier het testmateriaal voor de WPV Compact besproken.

2.2. Materiaal en instructie voor de testafname

Materiaal
Alle vragenlijsten die Ixly aanbiedt worden afgenomen in de Test Toolkit. Dit is een online applicatie die aan professionals en consultants op het terrein van Human Resource Management een set kwalitatieve instrumenten biedt. De portal is in principe te bereiken vanaf elke computer of laptop en in iedere browser. Adviseurs loggen in met een gebruikersnaam en een wachtwoord. Vervolgens maken zij een kandidaat in het systeem aan, waaraan zij verschillende testen kunnen toewijzen, waaronder de CW-n. Na het toewijzen van de test nodigt de adviseur de kandidaat uit om de test te maken. De kandidaat krijgt de uitnodiging per email, met daarin een unieke link naar de testomgeving.

Voor de handleiding voor de adviseurs, zie Bijlage 2.1.

Instructie
Wanneer de kandidaat op de unieke link in de e-mail heeft geklikt dan komt hij/zij in zijn/haar testomgeving waarin alle toegewezen tests klaar staan. De kandidaat start met een openingsvragenlijst waarin gevraagd wordt wat informatie te geven over achtergrondvariabelen zoals leeftijd, geslacht en opleiding. Deze gegevens worden uitsluitend voor onderzoeksdoeleinden gebruikt. Voordat de kandidaat start met het invullen van de WPV Compact krijgt hij een duidelijke instructie aangeboden. In de instructie worden onder andere de volgende punten benoemd:

• Er zijn geen goede of foute antwoorden, het is belangrijk dat er eerlijk antwoord gegeven wordt
• De vragenlijst wordt zonder tijdsdruk afgenomen, de gemiddelde invultijd ligt tussen 20 en 30 minuten
• Een voorbeelditem
• Uitleg over de betekenis van de antwoordbolletjes
• Strategie die gevolgd moet worden indien de kandidaat het antwoord niet weet
• Waarborging van de anonimiteit van de gegevens

Bij de instructie wordt benadrukt dat het belangrijk is een werksituatie voor ogen te nemen. Met deze instructie wordt aan de kandidaat een referentiekader geboden, waarvan aangetoond is dat dit een positief effect heeft op de betrouwbaarheid en validiteit van de resultaten (Lievens, De Corte en Schollaert, 2008). Verder wordt in de instructie aangegeven dat er niet te lang over de vragen moet worden nagedacht: de eerste ingeving dient ingevuld te worden. Onderzoek heeft namelijk aangetoond dat een langere antwoordtijd samen kan hangen met een lagere betrouwbaarheid en validiteit van de resultaten (zie Wagner-Menghin, 2002). Ook krijgen kandidaten de instructie mee antwoorden te geven op basis van algemene werksituaties en niet op basis van uitzonderingen. Deze instructies zijn van belang om een zo betrouwbaar mogelijk beeld van de persoonlijkheidskenmerken van een kandidaat te verkrijgen. Omdat de WPV Compact online wordt afgenomen, krijgt iedere kandidaat dezelfde standaardinstructies (zie Figuur 2.1).

 

Figuur 2.1. Kandidaat-instructie WPV Compact

 

Als de kandidaat is gestart met het invullen van de vragenlijst is het op iedere pagina mogelijk om de instructie te raadplegen door op de ‘Instructies’ knop te klikken rechtsboven of rechtsonder in het scherm (zie Figuur 2.2).

 

Figuur 2.2. Instructies op te vragen tijdens het maken van de vragenlijst

Items
De WPV Compact bestaat uit 197 uitspraken die voor iedere kandidaat qua inhoud, vorm en volgorde hetzelfde zijn. Met deze uitspraken kan een persoon het in bepaalde mate eens of oneens zijn. Dit kan aangeven worden op een vijfpunts-schaal die loopt van ‘Zeer mee oneens’ tot ‘Zeer mee eens’. De items zijn geformuleerd in Taalniveau B1 en vrij van dubbele ontkenningen en kwetsende inhoud. Het taalniveau is onder meer getoetst met instrumenten voor het bepalen van het leesniveau van Bureau Taal en de Stichting Accessibility, expertisecentrum voor toegankelijke ICT. Zoals aangegeven in Hoofdstuk 1, Uitgangspunten van de testconstructie, zijn de richtlijnen van Hofstee (1991) aangehouden bij de formulering van de items. Na het formuleren van de items zijn deze gescreend op racistische, etnocentrische, seksistische of kwetsende inhoud. Deze bleken niet aanwezig.

Voorkomen onjuist gebruik van de software
De WPV Compact hoeft niet in een gecontroleerde omgeving afgenomen te worden. Dit is mogelijk aangezien het een zelfreflectietest betreft en er geen goede of foute antwoorden zijn. De kandidaat kan de vragenlijst thuis maken.

De kandidaat heeft de mogelijkheid om de vragenlijst tussentijds af te sluiten. De antwoorden die tot dan toe gegeven zijn worden per pagina opgeslagen op de server. Bij beantwoording van alle vragen op een pagina en het klikken op de volgende knop worden de antwoorden van de betreffende pagina verstuurd naar de server. Op deze manier is het niet mogelijk om de software te verlaten zonder dat de reeds gegeven antwoorden zijn opgeslagen. Om hierin fouten te voorkomen is het alleen mogelijk om naar een volgende pagina te gaan als alle vragen op de betreffende pagina beantwoord zijn. Een kandidaat krijgt een melding als niet alle vragen op de pagina beantwoord zijn. Zo wordt voorkomen dat er gegevens worden verstuurd indien er ‘per ongeluk’ op de volgende knop geklikt wordt.

Het is voor de testgebruiker niet noodzakelijk om verdere voorzorgsmaatregelen te treffen ten aanzien van het voorkomen van fouten. Zo hoeven andere programma’s bijvoorbeeld niet afgesloten te worden tijdens het invullen van de test. Ook hoeven de voorzorgsmaatregelen die genoemd worden door de Cotan (2009) (overbodige functies en sneltoetsen uitschakelen, de toegang tot de harde schijf afsluiten en het onmogelijk maken andere (niet-bedoelde) software op te starten) niet getroffen te worden. Deze kunnen immers geen effect hebben op het invullen van de vragenlijst en de scoring. Ook dit betekent weer dat de invloed van externe factoren op het invullen van de test beperkt is, waardoor de omstandigheden van het invullen van de test voor iedereen nagenoeg gelijk zal zijn. Wel is er een aantal minimum systeemeisen, deze zullen worden besproken in Hoofdstuk 3, Handleiding voor testleiders.

Als een kandidaat de vragenlijst tussentijds heeft verlaten kan hij deze weer opstarten door naar de link te gaan uit de uitnodigingsemail. In eerste instantie wordt het overzichtsscherm getoond, achter de naam van de vragenlijst is een ‘doorgaan’ knop zichtbaar. Door op deze knop te klikken verschijnen de instructies opnieuw. Na de instructies komt de kandidaat op de pagina waar hij gebleven was met het invullen van de vragen en kunnen de resterende vragen ingevuld worden (zie Figuur 2.3).

 

Figuur 2.3. Doorgaan met een vragenlijst

Er is voor gekozen om de kandidaat niet de mogelijkheid te bieden om tijdens het maken van de vragenlijst terug te bladeren. Dit biedt een verbetering ten opzichte van pen-en-papier testen, waar dat wel mogelijk is. De kandidaten wordt aangeraden niet te lang bij antwoorden stil te staan en vanuit de eerste ingeving te antwoorden. Dit wordt niet bevorderd door de kandidaten de mogelijkheid te bieden eerder gegeven antwoorden te bekijken. Bij terugbladeren heeft de kandidaat immers de mogelijkheid consistentie in zijn antwoorden te brengen die geen weerspiegeling vormt van de natuurlijke antwoordtendens.

Alle bovengenoemde kenmerken van de instructies en de inrichting van het testsysteem zorgen ervoor dat de invloed van externe factoren op de totstandkoming van scores vrijwel uitgesloten is.

Scoringssysteem
De omzetting van de ruwe scores naar standaardscores is volledig geautomatiseerd. Er kunnen hierbij dus geen fouten optreden door verkeerde interpretatie van de testleider. Om fouten door verkeerde invoer van de testontwikkelaars van Ixly te voorkomen worden strenge procedures gevolgd voordat een vragenlijst voor klanten beschikbaar is. Deze procedure staat beschreven in het kwaliteitshandboek dat is opgesteld in het kader van de ISO 9001 certificering. Kortweg komt deze procedure er op neer dat de vragenlijst voor publicatie op vijf verschillende manieren wordt ingevuld:

1. Bij alle vragen wordt het meest linker bolletje aangevinkt
2. Bij alle vragen wordt het meest rechter bolletje aangevinkt
3. Iedere pagina wordt van links naar rechts ingevuld (5,4,3,2,1)
4. Iedere pagina wordt van rechts naar links ingevuld (1,2,3,4,5)
5. Iedere pagina wordt zigzaggend ingevuld (2,4,2,4,2)

Op deze manier wordt gegarandeerd dat alle antwoordopties een keer aan bod komen en dat voor iedere schaal zowel hoge, lage en gemiddelde scores worden nagekeken. De procedure wordt door verschillende ontwikkelaars uitgevoerd. Een ontwikkelaar maakt het testprotocol, een tweede ontwikkelaar vult de vragenlijsten op de in het testprotocol gespecificeerde manieren in en een derde ontwikkelaar checkt de resultaten aan de hand van de gegeneerde rapporten en de normtabellen. Wanneer de procedure foutloos is doorlopen wordt de vragenlijst beschikbaar gesteld voor klanten.

Beveiliging van de test, het testmateriaal en testresultaten
De vragenlijst wordt door een adviseur voor de kandidaat klaargezet. De kandidaat ontvangt per mail een unieke link en kan daarmee inloggen in het systeem. Het is de verantwoordelijkheid van de adviseur dat het juiste email-adres wordt ingevoerd, zodat de link bij de kandidaat terecht komt.

In theorie zou het mogelijk zijn om screenshots te maken van de items, echter alleen de testontwikkelaars van Ixly hebben toegang tot de indeling van de items in de schalen, de ladingen van de items en de normgegevens. De beheermodule waarin deze gegevens opgeslagen zijn is toegankelijk met een unieke combinatie van gebruikersnaam en wachtwoord die regelmatig verandert. Omdat er geen goede en foute antwoorden zijn en omdat gegevens over de structuur en scoring van de vragenlijst niet openbaar toegankelijk zijn worden er geen schadelijke gevolgen verwacht van het eventueel kopiëren van de items.
Nadat de vragenlijst door de kandidaat is ingevuld ontvangt de adviseur een melding dat de resultaten beschikbaar zijn. De rapportage waarin de resultaten vermeld staan is beschikbaar in de omgeving van de adviseur en dus alleen benaderbaar met de unieke combinatie van gebruikersnaam en wachtwoord van de betreffende adviseur. Wij bieden adviseurs de mogelijkheid om teksten in het rapport aan te passen, maar de scores op de factoren, schalen en competenties kunnen nooit aangepast worden.

Ixly is sinds 2014 ISO 27001-gecertificeerd. Dit betekent dat er volgens bepaalde richtlijnen met (strikt) vertrouwelijke informatie om wordt gegaan wat onder andere zorgt voor een veilige waarborging van de testresultaten. Alle gegevens worden anoniem en encrypted opgeslagen in een (met SSL certificaten) afgeschermde database: deze database staat op een andere server dan waar de web-applicatie staat. Externe partijen (zoals software developers) werken met anonieme data, waardoor de privacy van kandidaten gewaarborgd is.

Verder houdt ISO 27001-certificatie in dat er jaarlijks een externe audit plaatsvindt, en er ieder kwartaal een risicoanalyse en continuiteitsplan gemaakt worden. Verder worden data-integriteit en beveiligingsincidenten continu bewaakt. Voor meer informatie over de inhoud van ISO 27001, zie deze link.

3. Handleiding voor testgebruikers

3.1 Inleiding

In dit hoofdstuk, Handleiding voor testgebruikers, zal de toepassing, interpretatie en het gebruik van de WPV Compact worden besproken. Er wordt ingegaan op de toepassingsmogelijkheden, de vereiste kennis bij interpretatie en de beperkingen van de vragenlijst. De interpretaties van de testscores zullen aan de hand van enkele casussen verhelderd worden.

3.2 Toepassingsmogelijkheden

De WPV Compact kan in elke situatie ingezet worden waarbij het van belang is om meer te weten te komen over iemands persoonlijkheid. De vragenlijst kan ingevuld worden door eenieder die deel uitmaakt van de Nederlandse beroepsbevolking. De WPV Compact is ontwikkeld om ingezet te kunnen worden bij loopbaanadvies. De vragenlijst geeft een beeld van iemands persoonlijkheid in werksituaties. Zodoende kan er een beeld gevormd worden over welke functies aansluiten bij iemands persoonlijkheid. De exacte constructen die met de WPV Compact vragenlijst worden gemeten worden weergegeven in Bijlage 1.4. Uitgebreidere informatie over de doelgroep wordt in Hoofdstuk 1, Uitgangspunten van de testconstructie, gegeven.

3.2.1 Beperkingen van de test

In hoeverre de WPV Compact geschikt is voor uitgesproken (poli)klinische settings (patiënten), is vooralsnog onduidelijk. Er is tot nu toe nog geen onderzoek gedaan binnen deze setting. Tevens is de WPV Compact nog niet getoetst bij jongeren met minder dan een jaar werkervaring en ook niet onder schoolpopulaties in de leeftijd van 15 jaar en jonger. De verwachting is dat in deze doelgroep de resultaten minder betrouwbaar zijn omdat mogelijk nog onvoldoende zelfkennis is ontwikkeld in relatie tot werk. Onderzoek zal moeten uitwijzen of de WPV Compact ook toepasbaar kan zijn binnen deze settings. Het zou een mooie aanvulling zijn als hier informatie over bekend wordt. Deze groepen vallen niet onder de doelgroep (beroepsbevolking), maar dit neemt niet weg dat de WPV Compact mogelijk toepasbaar kan zijn binnen deze settings.

3.3 Aanwijzingen voor de testleider

Alle informatie die de kandidaat nodig heeft om de vragenlijst goed in te kunnen vullen staat beschreven in de instructie. Mocht de testleider vooraf al informatie willen verstrekken over het invullen van de vragenlijst, dan kan het volgende gezegd worden:

• De vragenlijst geeft een beeld van uw persoonlijkheid in werksituaties. Op die manier kan er gerichter naar een functie gezocht worden, namelijk die aansluiten op uw persoonlijkheid.
• Bij het invullen van de vragen is er geen goed of fout. Het gaat erom dat u aangeeft welk antwoord bij u het best passend is.
• Denk bij het beantwoorden niet te lang na over een antwoord.
• Wees bij het invullen spontaan, denk niet teveel na over eerder gegeven antwoorden.
• Durf te kiezen voor uitersten.
• Neem bij het invullen werksituaties voor ogen. Het gaat er immers om uw persoonlijkheid in werksituaties.
• Vul de vragenlijst in een rustige omgeving in zodat u zich kunt concentreren.
• Probeer de vragenlijst in één keer in te vullen. Ga de vragenlijst dus pas invullen als u in ieder geval een half uur de tijd heeft.

Bij de geteste moeten enkele basis computervaardigheden aanwezig zijn om de vragenlijst te kunnen invullen. De kandidaat moet:

1. In staat zijn om via de browser een internetpagina te kunnen vinden
2. In staat zijn om de gebruikersnaam en het wachtwoord in te voeren op de inlogpagina
3. In staat zijn om met gebruikmaking van de muis of het toetsenbord door de portal te navigeren (bijvoorbeeld op de starknop te klikken, de antwoordbolletjes aan te vinken en op volgende te klikken).

De vragenlijsten zijn toegankelijk gemaakt voor mensen met een handicap. De teksten kunnen worden voorgelezen door een zogenaamde “screen reader”. Lettergrootte, contrast en kleuren kunnen worden aangepast met behulp van (standaard) browserinstellingen. De kandidaat kan er bovendien voor kiezen om de vragen alléén met behulp van een toetsenbord invullen, als het gebruik van een muis moeilijkheden oplevert.

Verder is er geen specifieke voorkennis of opleiding van de kandidaat vereist. Ook is het niet nodig dat kandidaten oefenen voordat ze de vragenlijst gaan invullen. Juist de spontane reacties zijn belangrijk voor een zo optimaal mogelijk resultaat (zie Wagner-Menghin, 2002). In de instructie die de kandidaat leest voordat de vragenlijst ingevuld wordt, staat een voorbeeldstelling. Door de informatie van de testleider, de instructie van de vragenlijst en de voorbeeldstelling heeft de kandidaat genoeg informatie om de vragenlijst goed in te kunnen vullen. Wel is een minimale taalbeheersing vereist op B1 niveau (zie voor verder specificatie van het taalniveau Hoofdstuk 1, Uitgangspunten van de testconstructie).

3.4 Vereiste kennis voor het gebruik van de test

Als de WPV Compact door een professional gebruikt wordt om anderen te adviseren, dan moet gegarandeerd worden dat:

• Diegene competent, gekwalificeerd, gelicenseerd of geautoriseerd is om psychologische tests te gebruiken voor de verschillende terreinen, zoals assessment, coaching, het geven van trainingen en Human Resource Management, waarin hij/zij werkzaam is. Eén en ander in overeenstemming met de in het land geldende wet- en regelgeving
• Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale beroepsstandaarden en professionele ethiek.
• Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale wet- en regelgeving, instructies en richtlijnen en alle andere toepasselijke overheids- of semi-overheidsregels.
• Diegene het product enkel en alleen zal gebruiken voor de organisatie waar hij/zij werkzaam voor is of voor zijn/haar eigen bedrijf, in eigen naam en voor eigen rekening. Het is niet toegestaan het product te verkopen, leasen, kopiëren, geven, te overhandigen of over te dragen op welke manier dan ook aan welk bedrijf of persoon dan ook, behalve voor het gebruik van de producten en diensten als integraal onderdeel van de dienstverlening aan cliënten of voor gebruik binnen de organisatie die de directe werkgever van de professional is.

Ixly controleert de betrouwbaarheid en kennis van de professionals voordat er toegang verleent wordt tot de service of producten. Ixly behoudt zich het recht voor zonder opgaaf van reden iemand toegang te weigeren.

Hoewel de gebruiker niet gecertificeerd hoeft te zijn is het zeker aan te bevelen een training testinterpretatie bij Ixly te volgen voordat men de WPV Compact professioneel gaat inzetten bij advies vraagstukken. Deze trainingen worden ongeveer eens per kwartaal aangeboden door Ixly. Tijdens deze training komen onder andere relevante theorieën over persoonlijkheid aan bod, wordt er ingegaan op de constructie en de structuur van de vragenlijst en wordt er aandacht geschonken aan de interpretatie van de resultaten.

3.5 Interpretatie scores

3.5.1 Tekstuele weergave van de scores

Het rapport van de WPV Compact vragenlijst is opgebouwd uit een tekstuele en een grafische weergave van de resultaten. Voor een goede interpretatie van de resultaten is het belangrijk te weten wat de betekenis van de factoren en schalen is. Om het overzichtelijk te houden, is het overzicht hiervan opgenomen in Bijlage 1.4.

Het tekstuele gedeelte bestaat uit een beschrijving van de persoonlijkheid van de kandidaat zoals deze uit de test naar voren komt. Elke schaal wordt in een alinea besproken. De tekst die verschijnt is afhankelijk van de testscores van de kandidaat: er is dus sprake van een automatische rapportgenerator. Er zijn in totaal vijf mogelijke tekstblokken per schaal, namelijk voor sten 1 en 2, 3 en 4, 5 en 6, 7 en 8 en 9 en 10. De schalen worden per factor besproken. Zo hebben adviseurs meteen een volledige beschrijving van de persoonlijkheid van de kandidaat, wat hen kan helpen bij de interpretatie.

De teksten van de automatische rapportgenerator van de WPV Compact zijn oorspronkelijk in 2001 en 2002 geschreven door een drietal ervaren assessmentpsychologen, met gemiddeld tien jaar ervaring. Het uitgangspunt was daarbij zoveel mogelijk beschrijvend te zijn en dicht bij de betekenis van de schaal en de items te blijven. Voor zover mogelijk zijn de teksten positief geformuleerd, dus ook de lage scores en scores in het midden. Medio 2010 heeft er een bewerking van de rapportteksten plaats gevonden. Het doel was de teksten te herschrijven naar B1 taalniveau te herschrijven, voor de WPV Compact. Daarbij heeft BureauTaal ondersteuning geboden: de uiteindelijke herschreven teksten zijn door hen beoordeeld op taalniveau.

3.5.2 Grafische weergave van de scores

De WPV wordt gerapporteerd in stenscores. Deze schaal loopt van 1 tot 10. Stenscores zijn een vorm van standaardscores met een gemiddelde van 5.5 en een standaarddeviatie van 2. Stenscores geven een beeld van hoe een bepaalde score zich verhoudt tot het gemiddelde van alle scores. Stenscore 4, 5, 6 en 7 liggen allemaal binnen 1 standaarddeviatie van het gemiddelde. Stenscore 2, 3 en 8, 9 liggen tussen 1 en 2 standaarddeviatie van het gemiddelde. Stenscore 1 en 10 liggen meer dan 2 standaarddeviaties van het gemiddelde. De gemiddelde score in de normgroep ligt precies op de grens van de vijfde en zesde sten. Voor een voorbeeldrapport, zie Bijlage 3.1. De percentages die horen bij de afzonderlijke stenscores zijn opgenomen in Tabel 3.1.

Als men een stenscore van 8 op een bepaalde schaal scoort betekent dit dat men tussen 1 en 2 standaarddeviaties hoger scoort dan het gemiddelde en dat 6.7% (4.4 + 2.3) van de personen uit de normgroep een hogere score hebben behaald. Er is voor een rapportage op stenscores gekozen omdat deze makkelijk te interpreteren en te begrijpen zijn en voor de toepassing van de WPV Compact gedetailleerd genoeg. Een mogelijk nadeel is dat stenscores wel eens verward worden met schoolcijfers. Een stenscore van bijvoorbeeld 5 is niet een onvoldoende, maar betekent een ‘gemiddelde’ score die in de normgroep veel voorkomt. Het is dus van belang dat de adviseurs en loopbaanbegeleiders weten hoe ze deze scores moeten interpreteren. Tijdens de training testinterpretatie wordt uitgebreid stil gestaan bij stenscores en hoe deze geïnterpreteerd dienen te worden.

Elke factor krijgt ook een stenscore in het rapport. Dit is niet een gemiddelde van de schalen in een bepaalde factor maar de factoren zijn afzonderlijk genormeerd. De interpretatie van de stenscores voor de schalen en de factoren komt overeen. Zie voor meer informatie over de kenmerken van stenscores en hoe deze berekend worden Hoofdstuk 4, Normen.

3.5.3 Competentiemodel bij de WPV

Bij de WPV Compact wordt met een competentiemodel gewerkt. Door de behoefte vanuit de praktijk, om direct een overzicht van de competenties van een kandidaat te verkrijgen, is dit proces gestart. Er is op dezelfde manier te werk gegaan als bij de ontwikkeling van de persoonlijkheidsvragenlijst. Er werd aan assessmentpsychologen gevraagd om competenties op te schrijven, waar ze de mate van ontwikkelbaarheid over zouden willen weten. Van al deze competenties zijn er uiteindelijk 40 geselecteerd. De criteria bij deze selectie waren dat alle domeinen en klantcriteria gedekt moesten worden, en dat de competenties niet te smal en niet te breed werden gesteld. Vervolgens heeft het ontwikkelteam van Ixly zich erover gebogen welke schalen positief dan wel negatief een voorspeller voor een bepaalde competentie zouden kunnen zijn. De resultaten hiervan zijn opgenomen in een competentiematrix.

De score op de schalen (hoog, middelmatig of laag) kunnen op verschillende niveaus een voorspellende waarde voor een bepaalde competentie betekenen. Een bepaalde score kan ook een negatieve invloed op een competentie hebben. Deze zijn ook opgenomen in de matrix. In het beginstadium was dit een lineair model. Een lage stenscore op een bepaalde schaal gaf een lage ontwikkelbaarheid van een bepaalde competentie weer. Als deze stenscore toenam, nam de ontwikkelbaarheid van de competentie ook lineair toe. Dit model is binnen Ixly in de praktijk getest. Het model werd op dat moment nog niet als hulp- of adviesmiddel gebruikt. De psychologen gingen bij iedere kandidaat na of volgens hen de ontwikkelbaarheid van een competentie die uit het model voortkwam, strookte met de indruk die zijzelf over de persoon hadden. Tevens werd de persoon zelf gevraagd of hij/zij zichzelf in het profiel herkende. Waar de bevinding van de psycholoog en de uitkomst van het model van elkaar afweken, is gekeken naar de oorzaak daarvan. Op basis hiervan werd het model waar nodig aangepast. Daarna werd het aangepaste model doorgerekend voor weer een andere serie kandidaten en werden de uitkomsten opnieuw vergeleken met het oordeel van assessment psychologen, enzovoort. Op deze manier is het model dus op iteratieve wijze aangescherpt aan de hand van concrete casussen.

Er werd ondervonden dat het lineaire model beter kon migreren in een non-lineair, kromlijnig model die per stenscore een eigen optimale kent. Het idee is dat meer niet altijd beter (of slechter) is, maar dat er een of meerdere optimale scores zijn die niet noodzakelijkerwijs aan de extremen van de schaal liggen. In de praktijk zijn echt extreme scores op persoonlijkheidstrekken vrijwel nooit ideaal. In de ontwikkeling van dit rijkere model is nu de eerste fase doorlopen. Het model is geconstrueerd op basis van theorie en praktijkervaring. Ook voor dit model zal een proces doorlopen worden waarin resultaten worden vergeleken met de bevinding van assessment psychologen. De uiteindelijke 29 competenties zijn opgenomen in Bijlage 3.2, inclusief een omschrijving van iedere competentie. De competentiescores die uit het model voortkomen, moeten als hulpmiddel en niet als selectiemiddel geïnterpreteerd worden. De claim bij het bieden van scores op de competenties is hulpmiddel voor het interview. Daarom ook de naam competentie-indicator. Door het onderzoek naar de competenties bij de WPV voort te zetten, zou het mogelijk zijn om deze claim uiteindelijk op selectieniveau in te kunnen zetten.

3.5.4 Interpretatie van de scores in een adviessituatie

Om de interpretatie van de WPV Compact te illustreren heeft een psycholoog toegelicht hoe hij de vragenlijst bij loopbaanadvies toepast. Hoewel de WPV Compact ook zelfstandig ingezet kan worden, is het bij adviessituaties vaak gebruikelijk om meerdere vragenlijsten in te zetten: zo kan een breed beeld gevormd worden over wie de persoon is, wat hij/zij interessant en motiverend vindt in een baan en eventueel wat hij/zij kan (door middel van een intellectuele capaciteiten test). Daarom wordt in onderstaande case ingegaan op de resultaten van drie vragenlijsten van Ixly: de WPV Compact, de ITS en de Carrière Waarden.

3.5.4.1 Case loopbaanadvies 1

Om inzicht te geven in de interpretatie van de vragenlijsten ITS, WPV en CW-n bij loopbaanvraagstukken geven wij hierbij een weergave van een case voor loopbaanbegeleiding. De vragenlijsten WPV, ITS en Carrièrewaarden worden vaak gezamenlijk ingezet voor loopbaanadvisering. Voor de handleidingen van deze vragenlijsten is er gekozen om cases te bespreken waarbij deze drie vragenlijsten gezamenlijk ingezet zijn, om persoonlijkheid, drijfveren en interesses in hun samenhang te bespreken. Dat geeft een completer beeld. Dit wil overigens niet zeggen dat het deze vragen altijd in combinatie afgenomen moeten worden, ze zijn ook elk apart of in andere testprogramma’s in te zetten.

Situatieschets
Janny is een vrouw van 36 jaar, alleenstaande moeder met een zoontje van 3. Na een MBO opleiding Toerisme & Recreatie is Janny gaan reizen, waarbij ze verschillende hospitality functies heeft vervuld bij hotels en reisorganisaties, zoals animatie, receptie en administratie. Van haar 30ste tot 32ste was zij leidinggevende in een klein themapark in Nieuw Zeeland. Vier jaar geleden kwam zijn terug naar Nederland, zwanger, om bij haar ouders in te trekken. Na de bevalling is zij weer gaan werken, telkens in tijdelijke banen van enkele weken tot maanden. Ze heeft gedaan wat voorhanden kwam: werken bij Ikea, invalbeurten bij een reisbureau en koerierwerk, afgewisseld met perioden werkeloosheid. Nu is zij inmiddels vier maanden werkloos.

Vraagstelling
Janny wil graag een baan van 24 tot 36 uur, met een korte reisafstand van haar woonplaats Alphen a/d Rijn, waarin zij iets met haar opleiding kan doen en waarmee zij weer een nieuwe loopbaan kan opbouwen. Zij wil graag in een andere branche gaan werken dan het toerisme, ze staat overal open voor. Het is belangrijk voor haar dat ze een vaste baan kan vinden met goede secundaire arbeidsvoorwaarden qua werktijden en flexibiliteit. Voor het overige wil ze graag horen waar haar mogelijkheden liggen.

Interpretatie Persoonlijkheid
De WPV Compact is een van de vragenlijsten die is ingezet. Zie voor de behaalde scores Figuur 3.1 en 3.2.

 

Figuur 3.1. Resultaten WPV Compact – factoren en schalen

 

Bij de interpretatie van de persoonlijkheidsvragenlijst is het belangrijk eerst naar de hoofdfactoren te kijken. Daarin valt op dat Janny in haar persoonlijkheidsbeeld weinig dominante kenmerken heeft, eerder is sprake van een gelijkmatig beeld. Ze vertoont juist beneden gemiddelde scores op Invloed (4), Sociabiliteit (4) en Stabiliteit (4). Een lagere score zien we op Gedrevenheid (3), welke vooral uit een lage score op Originaliteit (2) voortkomt. De factor Structuur (6) is aan de bovenkant van het gemiddelde. Bij de schaalscores, die de factorscores nuanceren, valt op dat Janny een hartelijke (7) en zorgzame (7) vrouw is. De hogere Structuur factor wordt vooral gevoed door hoge scores op Conformisme (8) en Regelmaat (7). Qua Stabiliteit scoort vooral Positivisme (3) lager. Blijkbaar is ze minder optimistisch ingesteld en heeft ze last van negatieve gevoelens.

 

Figuur 3.2. Resultaten WPV Compact – competenties

 

Omdat het persoonlijkheidsprofiel minder uitgesproken is, met gemiddeld wat lagere scores, leidt dit ook tot minder uitgesproken scores op de Competentie Indicator. Haar talenten moeten volgens de indicator vooral gezocht worden in de competenties Samenwerken, Sensitiviteit en wellicht het Coachen van anderen. Over het geheel is het daarmee ook een bescheiden zelfbeeld, met weinig differentiatie in het talent voor competenties ontstaan. Dit leidt ook vaak tot keuzeproblematiek, omdat het aanwezige talent zich minder uitgesproken aandient.

Bij de bespreking van de resultaten geeft Janny aan zich wel te herkennen in het beeld. Samenwerken met anderen en anderen helpen vindt ze erg leuk. Dat heeft ze de laatste jaren ook wel gemist. Dat ze nu minder positief zou zijn, ligt voor haar vooral aan de situatie, die ze best zwaar vindt. Ze heeft een lichte depressie gehad en had verwacht inmiddels positiever in het leven te staan. Ze probeert al langer een vaste functie te vinden en ze is somber over haar mogelijkheden. Ze is het ermee eens dat ze minder ambitieus is. Vroeger heeft ze wel leiding gegeven, maar dat was eerder roosters indelen en mensen inwerken dan echt leiding geven. Ze vond dat ook niet echt leuk om te doen, liever heeft ze zelf direct contact met anderen. De competenties herkent ze wel, al valt het haar wat tegen dat er niet meer competenties naar voren komen. Zelf had ze plannen en organiseren ook wel verwacht, omdat ze dat veel heeft gedaan.

Interpretatie Werkwaarden
Voor het in beeld brengen van de werkwaarden is de vragenlijst Carrière Waarden ingezet. De resultaten staan in Figuur 3.3.

 

Figuur 3.3. Resultaten Carrière Waarden

 

Bij de interpretatie van de Carrière Waarden proberen we altijd de belangrijkste of primaire werkwaarden te identificeren. Mensen willen deze werkwaarden graag terugzien in hun werk. Daarbij gaat het eerder over de vraag welke waarden het hoogst scoren dan hoe hoog de scores precies zijn. Wanneer er veel spreiding is hebben mensen duidelijke voorkeuren, wanneer er weinig spreiding is vindt men veel waarden even belangrijk. Dat kan er toe leiden dat men alles enigszins leuk vindt, maar minder duidelijke keuzes maakt. Bij de CW-n vragenlijst kan het ook voorkomen dat alle waarden laag scoren. In dat geval is de conclusie gerechtvaardigd dat werk als zodanig als minder motiverend wordt ervaren. Wanneer de waarden in de rubriek ‘opbrengsten’ vooral hoog scoren, dan is er sprake van vooral externe motivatie. Wanneer de waarden in de rubriek ‘activiteiten’ hoog scoren dan is er sprake van intrinsieke motivatie. De waarden in de rubriek ‘omgeving’ zijn eerder te zien als randvoorwaarden ten aanzien van de werkomgeving en niet direct in te delen in interne of externe motivatie.

Bij Janny vallen de volgende primaire werkwaarden op: Zinvolle bijdrage, Hulpverlenen, Samenwerken, Dynamiek en Waardering en Erkenning. Je kunt dat samenvatten in een wens: Janny wil graag samen met anderen in een dynamische omgeving een zinvolle bijdrage leveren door anderen te helpen en daarvoor waardering en erkenning ervaren. Alle rubrieken zijn daarmee gevuld met primaire waarden, al scoort maar één waarde in de rubriek ‘activiteiten’ hoog.
Verder is het interessant het totale patroon van werkwaarden te bezien. Bij Janny valt dan op dat het beeld gedifferentieerd is. Daarmee kun je zeggen dat zij uitgesproken voor- en afkeuren heeft, wat kan helpen keuzes te maken. Het beeld van de werkwaarden geeft daarmee meer differentiatie dan de persoonlijkheid. Naast de primaire werkwaarden valt een groepje werkwaarden op die ook van belang zijn: Kwaliteit, Ontwikkelen, Fysiek actief zijn en Zekerheid en Stabiliteit. Deze kun je zien als extra wensen, na de primaire drijfveren.

Het is ook interessant juist te kijken naar de lage scores. Daarbij geldt dat scores 1 en 2 echt wijzen op een de-motivator. Bijvoorbeeld, een 1 op Samenwerken betekent dat iemand er een hekel aan heeft te moeten samenwerken. De-motivatoren zou men in werk daarom beter kunnen vermijden. Bij Janny is er één de-motivator, namelijk Financiële Beloning (2). Dit betekent dat variabele beloning haar juist zou kunnen demotiveren. In haar baan zouden financiële doelstellingen als omzet halen, inkoopvoordelen behalen en dergelijke, haar tegenstaan. Minder belangrijk, maar nog net geen de-motivatoren, zijn: Concrete Resultaten, Carrière, Analyseren en Taakuitdaging. Functies als accountmanager of analytische functies zijn daarmee minder passend.
In het gesprek gaf Janny aan zich te herkennen in het beeld, vooral het helpen van mensen is iets wat ze erg leuk vindt. Wel gaf ze aan toch echt wel geld te willen verdienen voor haar en haar zoontje, maar dat ze niet zo gericht op carrière maken of ambitieus is geweest. Ze hoeft ook niet zozeer moeilijke banen te hebben, een eenvoudige maar vaste baan waarin ze zich wel kan ontwikkelen zou haar aanspreken.

Interpretatie ITS
De ITS is een interessevragenlijst met een terugkoppeling naar Taken en Sectoren. Achterliggend wordt op het uitgebreide Holland model gerapporteerd. De sectoren corresponderen met de sectoren van de Competentieatlas van het UWV, wat het zoeken van vacatures vergemakkelijkt. De resultaten van Janny zijn weergegeven in Figuur 3.4.

 

Figuur 3.4. Resultaten ITS – sectoren en taken

 

De Sectoren worden in het rapport gerangschikt van hoog naar laag. De interpretatie van de ITS is daarmee eenvoudig. Wanneer veel sectoren hoog scoren lijkt dat gunstig, omdat iemand in principe in veel sectoren is in te zetten. Maar het kan ook betekenen dat iemand niet echt een beeld heeft van het werk in die sectoren. Wanneer alle sectoren laag scoren geeft dat juist aan dat men heel weinig sectoren interessant vindt. Dat kan verschillende redenen hebben, maar kan wel een belemmerende factor zijn bij werkhervatting.
In Janny’s resultaten is een duidelijk patroon van voorkeuren te herkennen. Zij scoort hoog op de sectoren Toerisme, Dieren en Milieu (10) en daarna de sectoren Persoonlijke Verzorging, Rechtspraak, Welzijn, Gezondheidszorg, Planten, Personeel, Arbeid en Loopbaan en Wetenschap (9). Dit zijn de sectoren om naar te kijken.

Wat opvalt is dat de sector Toerisme ondanks de vraagstelling toch in de top 3 staat. Blijkbaar zou de vraagstelling heroverwogen mogen worden. Doorvragen naar de beweegreden is gewenst. Omdat de opleiding en werkervaring in de richting van Toerisme ligt, zou het zonde zijn niet ook deze sector serieus te overwegen. Dieren en Milieu zijn in haar achtergrond niet te herkennen maar moeten in het gesprek betrokken worden. Het cluster Persoonlijke Verzorging, Welzijn en Gezondheidszorg zou goed passen bij haar persoonlijkheid en werkwaarden. Daarentegen vragen sectoren als Rechtspraak en Wetenschap ook om ‘Analyseren’, welke bij Janny juist laag scoort. Redenen om daar eens op door te vragen en bij de arbeidsmarktverkenning te betrekken.
Wanneer we kijken naar de taken, dan spreken vooral de sociale taken aan: Contact onderhouden, Mensen begeleiden, Klanten helpen, Assisteren, Mensen adviseren, Mensen beïnvloeden, Motiveren en Lesgeven. Ook het gebied mentale taken heeft twee hoog scorende taken: Informatie verzamelen en Lezen.

Janny zei altijd veel huisdieren te hebben gehad. Ze is opgegroeid op een boerderij en voelt zich daar nog altijd thuis. Ze denkt dat daarom de sectoren Dieren en Milieu naar voren komen. Haar tegenzin tegen de toeristische sector komt omdat ze denkt dat daar minder vaste banen zijn. En bij de vaste banen zijn er altijd ook commerciële doelstellingen, waar ze echt niets mee heeft. Het gaat haar er juist om het mensen naar de zin te maken en ze een prettige tijd te geven. Dat wetenschap als sector naar voren komt verbaast haar, omdat ze daar niets mee heeft.

Conclusie en advies
Samenvattend kunnen we stellen dat Janny een hartelijke, zorgzame vrouw is, die gestructureerd werkt. Ze wil graag anderen helpen en samenwerken. Daarom zoekt ze een functie waarin ze samen met anderen in een dynamische omgeving een zinvolle bijdrage levert door anderen te helpen. De sectoren die in aanmerking komen zijn: Toerisme, Dieren en Milieu en daarna de sectoren: Persoonlijke Verzorging, Rechtspraak, Welzijn, Gezondheidszorg, Planten, Personeel, Arbeid en Loopbaan.

Bij het doornemen van achterliggende vacatures lijkt Woonbegeleider gezinsvervangend huis of Activiteitenbegeleider Janny erg interessant, maar ze denkt met haar opleiding daar niet goed terecht te komen. Wel wil ze onderzoeken of omscholing mogelijk is en proberen te solliciteren. Aan de andere kant lijkt het omgaan met bijvoorbeeld psychiatrische doelgroepen ook wel wat zwaar voor haar. Reis- en recreatiebegeleiding wil ze echt niet meer, daar vindt ze zich te oud voor geworden. Bovendien kan ze niet met haar kind naar het buitenland. Audicien lijkt haar ook wel iets, mensen helpen om beter te horen. Ze is wel bang dat het stiekem toch een te commerciële functie is, dat staat ook vermeld. Echt medische functies als verpleegkundige zou ze wel interessant vinden, maar ze kan nu niet meer een volledige opleiding gaan volgen.
Het advies is zich verder te oriënteren op deze functies en toch de mogelijkheid op omscholing richting welzijn en zorg te overwegen. Voor de volledigheid zijn ook de sectoren Planten en Dieren opgegeven. Daar speelde echter ook het bezwaar dat ze of in ongeschoold werk terecht zou komen of zich zou moeten bijscholen. Janny besloot het bij huisdieren te houden.

Epiloog
Twee maanden later heeft Janny via een kennis van haar ouders een baan als assistent gevonden bij een hoorspeciaalzaak waar ze werk en een opleiding tot audicien vanaf volgend jaar kan combineren. Het commerciële aspect valt haar mee, het komt op haar meer over als mensen helpen de juiste artikelen te vinden en te adviseren. Er komt wel rekenwerk bij kijken wat ze wat minder vindt, maar wat ze op zich wel kan. Ze vindt het vooral erg leuk dat ze ouderen blij kan maken.

3.5.4.4 Case loopbaanadvies 2

Situatieschets
Willem is 32 jaar, ongehuwd. Na het afbreken van de Mbo-opleiding Sport & Bewegen vanwege lichamelijke problemen, heeft Willem een jaar of twee uitzendwerk gedaan. Vervolgens heeft hij de studie Assistent-manager Internationale Handel met veel plezier gevolgd. Het combineren van werk en leren beviel goed. Hij is aanvankelijk blijven werken op uitzendbasis bij het bedrijf waar hij stage liep, maar helaas is dat bedrijf failliet gegaan. Mede door de spanningen heeft Willem weer rugklachten gekregen, waardoor hij een half jaar uit de roulatie is geweest. Inmiddels is hij zes maanden werkzoekend. Hij wordt telkens afgewezen en begrijpt niet goed waarom.

Vraagstelling
Willem wil graag een commerciële baan, maar is daar nu onzeker over geworden omdat hij zelden wordt uitgenodigd voor een sollicitatiegesprek. Hij weet niet goed waaraan dat ligt. Wel hoort hij vaak dat de voorkeur uitging naar een jongere kandidaat of een kandidaat met meer ervaring. Daarom wil hij ook kijken of er andere banen zijn die hem zouden kunnen helpen om uiteindelijk een commerciële functie te krijgen. Hij wil een functie waar hij nu eindelijk eens kan starten met het maken van een carrière. Hij is sceptisch over wat het loopbaanbegeleiding in het algemeen en psychologische vragenlijsten daarin kunnen betekenen, maar wil toch graag een competentie test doen.

Interpretatie Persoonlijkheid
Willem heeft een vrij uitgesproken persoonlijkheidsprofiel (Figuur 3.5). Bij de factor invloed valt op dat hij competitief is ingesteld. Dat herkent hij zich, hij wil altijd graag winnen. Daarom vond hij commerciële functies ook leuk, ook in callcenters en commerciële binnendiensten waar hij uitzendwerk heeft gedaan. Hij is ook zeer sociabel te noemen, voelt zich ontspannen, zoekt het contact en heeft een dienstverlenende instelling. Daarbij gaat het niet zover dat hij problemen van anderen overneemt of zich naïef toont in het contact. Zijn gedrevenheid en daarbinnen energie, volharding en onafhankelijkheid vormen geen gebrek. Aan inzet zal het niet liggen, maar misschien is hij wel een beetje eigenwijs en te gedreven voor sommige omgevingen. Hij is uitermate gestructureerd, planmatig en nauwkeurig, hoewel hij wel behoefte heeft aan afwisseling. Perfectionisme kan bij deze scores op de loer liggen. Hij denkt goed na over beslissingen, is niet impulsief, maar kan wel knopen doorhakken. Dit vanwege de middenscores bij Weloverwogen. Willem beschikt over een gezonde portie zelfvertrouwen.
Bij de bespreking van de resultaten geeft Willem aan zich te herkennen in de resultaten. We praten door over zijn onafhankelijkheid en het risico op perfectionisme. Inderdaad blijkt dat Willem bij de banen die hij had regelmatig meningsverschillen had met zijn leidinggevenden. Ook ergerde Willem zich aan de gemakzucht van sommige collega’s. Dit heeft er waarschijnlijk mede toe geleid dat de uitzendbanen geen vast contract hebben opgeleverd, ook al functioneerde hij verder goed. In het gesprek komt ook naar voren dat zelfstandig ondernemerschap mogelijk zou passen bij hem. Uiteindelijk zou hij dat wel willen, maar hij vindt dat hij eerst ervaring bij een goed bedrijf zou moeten opdoen. Ook kwam naar voren dat hij in de weinige sollicitatie gesprekken hier niet voldoende tactisch mee omging. Hij uitte te veel zijn ergernis over vorige collega’s en was te open over zijn ambitie om uiteindelijk zelfstandig te willen worden.

 

Figuur 3.5. Resultaten WPV Compact – factoren en schalen

 

Interpretatie Werkwaarden
Willem gaat helemaal voor werk, dat betekent veel voor hem. Nu werkzoekend te zijn past hem dan ook helemaal niet, hij heeft het gevoel dat hij daardoor momenteel ook minder energie heeft dan anders.

In het waardenpatroon valt op dat veel waarden relatief hoog scoren, en dat er één waarde bovenuit springt: Dynamiek. Hij heeft duidelijk behoefte aan een omgeving met veel hectiek. Daarnaast komt een vrij brede set primaire drijfveren naar voren: Beïnvloeden, Concrete resultaten, Kwaliteit, Autonomie, Zekerheid en stabiliteit en Taakuitdaging. Slechts twee schalen scoren lager, zonder een directe demotivator te worden, namelijk Hulpverlenen en Creatief denken.

 

Figuur 3.6. Resultaten Carrière Waarden

 

Willem herkent zich in de resultaten, hij zoekt inderdaad een drukke baan waar hij toch goede kwaliteit kan leveren. Hij vindt zichzelf niet zo creatief. Ondernemen had hij wel hoger verwacht als score, maar misschien heeft hij de vragenlijst meer ingevuld hoe hij er nu over denkt.

Interpretatie ITS
Uit de ITS komt een duidelijke voorkeur voor de sector Handel naar voren (zie Figuur 3.7). Omdat deze er echt uitspringt en Willem aangeeft daar inderdaad primair op gericht te zijn, gaan we verder met deze sector om te kijken of daar toch beroepen en vacatures te vinden zijn, waar Willem zich voor kwalificeert.

 

Figuur 3.7. Resultaten ITS – sectoren

 

Conclusie en advies
Met behulp van de competentieatlas van het UWV is er naar geschikte vacatures gezocht. Bij de competentieatlas selecteren we op basis van persoonlijkheid de drie competenties in het cluster Netwerken en presenteren, te weten: Relaties bouwen en netwerken, Overtuigen en beïnvloeden en Presenteren. Als sector selecteren we alleen de sector Handel in het cluster Handel en Administratie vanwege de uitgesproken voorkeur voor deze sector. Dit levert bij een aantal beroepen op waarbij is gefilterd op ‘midden’.

Zoals te verwachten komen verschillende commerciële functies naar voren. Er worden vooral veel vertegenwoordigers en acquisiteurs gezocht op dit moment, maar ook verkoopfuncties in verschillende sectoren. De term acquisiteur is nieuw voor hem. Leidinggeven lijkt Willem op dit moment niet aan de orde, maar zou hij op termijn wel ambiëren.

Epiloog
Vanwege de uitgesproken voorkeur van Willem voor de sector Handel en het feit dat zijn persoonlijkheidsprofiel en ook zijn waardenprofiel in lijn liggen met wat bij commerciële functies verwacht wordt, adviseren wij dan ook daar zijn heil in te zoeken. Wel geven we hem tips mee voor het sollicitatiegesprek en zijn CV. De lege plekken in zijn CV en ook de switch van sport naar commercieel in zijn opleiding wordt onvoldoende positief uitgelegd.
Na enkele maanden krijgen we een mailtje van Willem. Hij heeft een baan gevonden bij een uitgever van lokale gratis huis-aan-huisbladen als advertentieverkoper. Hij heeft het enorm naar zijn zin omdat hij veel vrijheid heeft en voortdurend contact heeft met mensen. Hij is daar ook aardig succesvol in, geeft hij enthousiast aan.

3.5.5 Relevante informatie bij de interpretatie

De WPV Compact blijft een zelfrapportage. Het is altijd mogelijk dat mensen – bedoeld of onbedoeld – een verkeerd beeld geven van zichzelf bij een zelfrapportage vragenlijst (Paulhus & John, 1998). Onzes inziens kunnen vragenlijsten daarom nooit geïnterpreteerd worden zonder een interview. De waarde van deze vragenlijst is vooral gelegen in het feit dat het snel een breed beeld geeft van iemands persoonlijkheid in werksituaties. Dit geeft een onderbouwing aan de interviews en adviesgesprekken met kandidaten. Het is dus belangrijk dat er niet alleen op de testscores wordt afgegaan bij advies vraagstukken, maar dat er ook andere bronnen van informatie worden geraadpleegd, zoals een interview of andere vragenlijsten, zoals vragenlijsten over iemands werkwaarden en/of interesses.

Verder kan er qua interpretatie rekening worden gehouden met de mogelijke invloed van de achtergrondvariabelen. Mensen kunnen namelijk verschillen in persoonlijkheid vertonen op basis van hun geslacht, leeftijd, opleidingsniveau of etnische herkomst: iets wat we terugvinden bij de WPV Compact. We vinden bijvoorbeeld, net als in de literatuur (Costa et al., 2001) dat vrouwen wat hoger scoren op schalen als Hartelijkheid en Zorgzaamheid. In Hoofdstuk 6, Begripsvaliditeit, wordt het onderzoek naar deze relaties uitvoerig beschreven. De conclusie van deze onderzoeken was dat de verschillen in termen van effectgrootten klein waren, wat betekent dat men rekening kan houden met verschillen zoals die tussen mannen en vrouwen op Hartelijkheid en Zorgzaamheid, maar dat dit niet noodzakelijk is voor een juiste interpretatie.

3.6 Software en ondersteuning

De WPV Compact kan op iedere computer met internetverbinding met een werkende browser ingevuld worden. Er hoeft verder geen specifieke software geïnstalleerd te worden.
De portal ondersteunt alle veelgebruikte desktop internet browsers, zoals Internet Explorer 7 (IE7) en hoger en recente versies van Chrome, Firefox en Safari onder Windows XP (en hoger), Apple OSX 10.4 of hoger en gangbare Linux versies. Ook is het mogelijk de test te maken op tablets (zoals de iPad) of smartphones. Verder ondersteunen wij geheel open internet verbindingen. In de praktijk zullen niet al te strenge beveiligingsinstellingen of proxies geen probleem zijn. Daarnaast stelt het systeem technisch geen hoge eisen, zodat het in niet officieel ondersteunde browsers ook vrijwel altijd werkt.

Om de vragenlijst in het online systeem te kunnen maken is verbinding met internet nodig. Mocht de internetverbinding tijdens het invullen van de vragenlijst wegvallen, dan ondervindt de kandidaat daar geen hinder van in de zin dat er resultaten verloren gaan. In dergelijke gevallen is het tijdelijk niet mogelijk om naar een volgende pagina te gaan. Op het moment dat de verbinding is hersteld worden de ingevulde antwoorden van de betreffende pagina verstuurd naar de server en is het voor de kandidaat weer mogelijk om verder te gaan met het invullen van de resterende pagina’s.

Voor vragen over de systeemeisen en technische ondersteuning kunnen kandidaten contact opnemen met de helpdesk van Ixly. De helpdesk is iedere werkdag van 08.00 tot 17.30 bereikbaar via helpdesk@ixly.nl of 088-4959000.

Voor een overzicht van veel gestelde vragen met betrekking tot het gebruik van de test portal, zie Bijlage 3.3. In Bijlage 2.1 wordt een handleiding weergegeven voor de bediening van de software.

5. Betrouwbaarheid 

De betrouwbaarheid van een vragenlijst geeft een indicatie van de nauwkeurigheid van het instrument. Het begrip heeft betrekking op de reproduceerbaarheid van de gemeten uitkomsten; in hoeverre komen de resultaten van een meting met het instrument bij een tweede keer (en derde keer, enzovoorts) overeen, of in hoeverre komen de uitkomsten bij een vergelijkbare set items overeen.

De betrouwbaarheid van een vragenlijst kan op verschillende manieren worden bepaald. Zo kan dezelfde vragenlijst voor een tweede maal bij dezelfde persoon afgenomen worden waarna de resultaten van deze twee metingen met elkaar vergeleken kunnen worden (test-hertest betrouwbaarheid). Ook kunnen de scores op de ene helft van de test vergeleken worden met de scores op de andere helft van de test (split-half betrouwbaarheid). De meest gebruikte betrouwbaarheidsmaat voor een persoonlijkheidsvragenlijst als de WPV Compact is Cronbach’s alfa (α-coëfficiënt). Dit is een maat voor interne consistentie (Nunnally, 1978). Bij een alfa groter dan .85 mag men spreken van een redelijk homogene groep items (Green, Salkind & Akey, 2000). Bij vragenlijsten waarmee op individueel niveau minder belangrijke beslissingen genomen worden, hanteert de Cotan als richtlijn voor een goede beoordeling een alfa van groter of gelijk aan .80 (Cotan, 2009).

5.1 Betrouwbaarheid van de WPV Compact

5.1.1 Betrouwbaarheid en generaliseerbaarheid bij de normgroep

Om uitspraken te kunnen doen over de betrouwbaarheid van de WPV Compact zijn de betrouwbaarheid en de generaliseerbaarheid van de factoren berekend, evenals de interne consistentie (Cronbach’s alfa) van iedere schaal. De betrouwbaarheid van de factorscores is berekend met de formule voor de gestratificeerde alfa (zie Nunnally, p. 248). De generaliseerbaarheid wordt berekend met de formule voor alfa waarbij echter niet de items als eenheid worden genomen, maar de schaalscores (zie Snijders, Tellegen & Laros, 1988). De generaliseerbaarheid geeft de verwachte correlatie met een factorscore gebaseerd op een andere, even grote, steekproef van schaalscores uit hetzelfde domein van de betreffende factor. De betrouwbaarheid en de generaliseerbaarheid van de factoren in de normgroep wordt weergegeven in Tabel 5.1.

Op factorniveau geldt dat de betrouwbaarheid zeer hoog is (≥ .94). Tussen de factoren is er nauwelijks verschil in betrouwbaarheid. De generaliseerbaarheid van de factor Structuur is wat aan de lage kant, maar de gemiddelde generaliseerbaarheid bedraagt ongeveer .80. Dit betekent dat we zeer hoge correlaties mogen verwachten met vergelijkbare factoren waarbij de schalen afkomstig zijn uit hetzelfde domein.

De betrouwbaarheid van de schalen in de normgroep wordt weergegeven in Tabel 5.2. De vragenlijst bestaat uit overwegend homogene, betrouwbare en stabiele schalen. Geen enkele alfa coëfficiënt is lager dan .80 en de hoogste coëfficiënt is .93 (voor Zorgzaamheid en Originaliteit). De alfa bedraagt gemiddeld .87, wat volgens de richtlijnen van de Cotan (2009) voor tests bij beroepskeuzebegeleiding en adviessituaties ruimschoots de kwalificatie ‘goed’ verdient (≥ .80).

Conclusie
De betrouwbaarheid van de schalen is hoog tot zeer hoog. Hieruit kan geconcludeerd worden dat de vragenlijst bestaat uit homogene en betrouwbare schalen.

5.1.2 Betrouwbaarheid en generaliseerbaarheid bij UWV groep

In het vervolg van deze handleiding zullen voor elke steekproef de betrouwbaarheden besproken worden. Toch willen we in dit hoofdstuk stilstaan bij de betrouwbaarheden van een specifieke groep personen die de WPV Compact hebben ingevuld: kandidaten van het UWV. Dit zijn werkzoekenden en uitkeringsgerechtigden die, nadat ze zelf geen werk hebben kunnen vinden, door een Adviseur Werk van het UWV de WPV Compact toegewezen hebben gekregen. Het gaat hier vooral om mensen die een grotere afstand tot werk hebben, zowel fysiek als qua achtergrondkenmerken, zoals taalniveau en opleiding. De kenmerken van deze groep worden uitgebreider beschreven in Hoofdstuk 6, Begripsvaliditeit.
Om de betrouwbaarheid van de schalen en factoren van de WPV Compact bij deze groep te onderzoeken is de data van alle kandidaten die de vragenlijst van januari 2012 tot en met februari 2014 hebben ingevuld uit de database van Ixly gehaald. Dit waren in totaal 5531 personen. Van sommige kandidaten was echter niet alle achtergrondinformatie beschikbaar en sommige kandidaten behoorden door hun leeftijd niet tot de beroepsbevolking. Om deze groep goed te kunnen vergelijken met de normgroep zijn alleen de personen die tot de beroepsbevolking behoren behouden. Na het op die manier zuiveren van de data, ook op missende waarden, bleven in totaal 5028 personen in de steekproef over. De betrouwbaarheden van de factoren van deze groep zijn weergegeven in Tabel 5.3.

Ook bij de UWV groep zien we dat de betrouwbaarheden van de factoren, in de vorm van de gestratificeerde alfa, erg hoog zijn; gemiddeld .95 met een minimum van .94. Wanneer we Tabel 5.3 en Tabel 5.1 vergelijken dan valt op dat de betrouwbaarheid en generaliseerbaarheid van de factoren bij de twee groepen sterk overeenkomen. Alleen de generaliseerbaarheid van de factor Gedrevenheid is significant lager (getoetst met de Hakstian-Whalen formule (1976)) bij de UWV groep dan bij de normgroep. Bij inspectie van de item-rest correlaties dan blijkt dit veroorzaakt te worden door de schaal Onafhankelijkheid: dit kan een indicatie zijn dat Onafhankelijkheid bij deze groep niet Gedrevenheid meet. Analyses toonden echter aan dat Onafhankelijkheid geen hogere correlatie met een andere schaal liet zien: dit rechtvaardigt de indeling bij de factor Gedrevenheid.

De betrouwbaarheden van de schalen en het verschil met de normgroep zijn weergegeven in Tabel 5.4.

De betrouwbaarheid van de schalen is, volgens de richtlijnen van de Cotan (2009), goed te noemen: geen enkele alfacoëfficiënt is lager dan .80 en de hoogste coëfficiënt is .94 (voor Zorgzaamheid en Originaliteit). De alfa bedraagt gemiddeld .86. In de vierde kolom staan de verschillen in alfa’s tussen de groep UWV kandidaten en de normgroep. De verschillen zijn uiterst klein: het maximale verschil is slechts .04, gemiddeld bedraagt het verschil in alfa’s slechts .01. De verschillen hebben we nog aan een formele statistische toets onderworpen (Hakstian-Whalen, 1976), hieruit bleek dat alleen de alfa’s van Dominantie, Sociaal ontspannen, Volharding, Regelmaat, Conformisme en Zelfvertrouwen significant van elkaar verschilden. Echter, wanneer we naar de absolute verschillen kijken dan zijn deze te verwaarlozen.

Conclusie
Uit bovenstaande analyses concluderen we dat de constructen van de WPV Compact vrijwel net zo betrouwbaar worden gemeten in een populatie waar de test zeer veel gebruikt wordt, maar die sterk afwijkt van de normgroep. Dit onderzoek toont aan dat de test is dus goed inzetbaar is bij de kandidaten van het UWV.

5.2. Hertest betrouwbaarheid: stabiliteit van factoren en schalen over tijd

Om de stabiliteit van de factoren en schalen over tijd vast te stellen is bij een deel van de respondenten uit de normgroep de WPV Compact opnieuw afgenomen. Hier zat een periode van ongeveer 7 maanden tussen, de eerste afname was in maart/april 2014, de tweede afname in november 2014.

In totaal hebben 146 personen meegedaan aan dit hertestonderzoek. Deze groep bestond uit 83 mannen (56.8%) en 63 vrouwen (43.2%). De gemiddelde leeftijd was 45.64 jaar (sd = 11.22), met een minimum van 21 jaar en een maximum van 64 jaar. In totaal hadden 19 personen (13%) een lagere opleiding genoten, 66 personen (45.2%) een gemiddelde opleiding en 61 (41.8%) een hogere opleiding. De groep bestond voor 4.8% uit niet-werkenden en voor 95.2% uit werkenden.
Deze onderzoeksgroep verschilde niet van de normgroep wat betreft het aantal mannen en vrouwen (χ² = 1.43, df = 1, p = .23), opleidingsniveau (χ² = 4.64, df = 2, p = .10), werksituatie (χ² = 2.50, df = 1, p = .11). Wel waren er significante verschillen in leeftijd (χ² = 18.01, df = 2, p = .00; wanneer opgedeeld in drie categorieën): in de onderzoeksgroep zaten wat meer mensen in de hoogste leeftijdscategorie dan in de normgroep. Over het algemeen zijn de groepen echter goed te vergelijken wat betreft demografische kenmerken.

De betrouwbaarheid en de generaliseerbaarheid van de factoren bij de tweede afname worden weergegeven in Tabel 5.5. Op factorniveau geldt dat de betrouwbaarheid ook in deze groep zeer hoog is (≥ .94) en dat er nauwelijks verschillen zijn in vergelijking met de normgroep (zie Tabel 5.1).

Om de stabiliteit van de factoren over tijd te bepalen zijn de gemiddelde factorscores bij de tweede afname vergeleken met de gemiddelde factorscores bij de eerste afname. Ook zijn de correlaties tussen de scores bij beide afnamen berekend. Deze zijn weergegeven in Tabel 5.6.

De scores verschillen nauwelijks van elkaar: het grootst gevonden absolute verschil is slechts .02 op een schaal van 1 tot en met 5. Geen van de t-toetsen gaven dan ook een significant verschil aan. De correlaties tussen de scores zijn zeer hoog, gemiddeld .88. Hieruit kunnen we concluderen dat de factoren van de WPV Compact zeer stabiel zijn over een tijd van 7 maanden.

In Tabel 5.7 zijn de betrouwbaarheden van de schalen weergeven bij de tweede afname. Wanneer we deze waarden vergelijken met de waarden uit Tabel 5.2 dan zien we ook hier weer nauwelijks verschillen: zowel bij de normgroep als bij de hertestonderzoek-groep is de gemiddelde betrouwbaarheid .87.

Om de stabiliteit van de schalen over tijd te bepalen zijn de gemiddelde schaalscores bij de tweede afname vergeleken met de gemiddelde factorscores bij de eerste afname. Ook zijn weer de correlaties tussen de scores bij beide afnamen berekend. Deze zijn weergegeven in Tabel 5.8.

Ook voor de schalen geldt dat er slechts zeer kleine verschillen gevonden worden in scores bij beide afnames. Het grootst gevonden absolute verschil is slechts .06 op een schaal van 1 tot en met 5. Uit t-toetsen bleek dan ook dat er geen significante verschillen waren tussen de scores bij beide afnames. De correlaties tussen de scores zijn hoog: gemiddeld .82, waarbij de laagste correlatie .74 is. Ook voor de schalen kunnen we concluderen dat deze zeer stabiel zijn over een periode van 7 maanden.

Conclusie
De correlaties tussen de eerste en tweede afname zijn te vergelijken met de betrouwbaarheden van de betreffende schalen en factoren. Test-hertest-correlaties zijn over het algemeen lager dan de betrouwbaarheid omdat er ook reële veranderingen (in iemands persoonlijkheid) in de onderzoeksgroep zijn. Dit onderzoek heeft aangetoond dat de stabiliteit van de scores op de factoren en schalen van de WPV Compact met een tussenliggende periode van 7 maanden zeer hoog blijkt te zijn.

6. Begripsvaliditeit 

De validiteit van een vragenlijst geeft een indicatie van de mate waarin het instrument daadwerkelijk het construct meet dat het pretendeert te meten. Oftewel: meet een persoonlijkheidsvragenlijst ook daadwerkelijk persoonlijkheid. In het geval van de WPV Compact geldt: meet de vragenlijst daadwerkelijk de werkgerelateerde persoonlijkheid van een persoon. Meer specifiek dient de validiteit aan te geven of iedere factor en iedere schaal meet wat het pretendeert te meten.

In de literatuur worden verschillende soorten validiteit onderscheiden. Wij hanteren de klassieke driedeling: inhoudsvaliditeit, begripsvaliditeit en criteriumvaliditeit (Cotan, 2009). De inhoudsvaliditeit van de WPV Compact heeft betrekking op de mate waarin de items en constructen van de vragenlijst representatief zijn voor het domein van persoonlijkheid. Informatie over de inhoudsvaliditeit is te vinden in Hoofdstuk 1, Uitgangspunten van de testconstructie. Bij criteriumvaliditeit gaat het om de voorspellende waarde van testscores (Cotan, 2009).

De begripsvaliditeit toetst of de vragenlijst daadwerkelijk de constructen meet die het pretendeert te meten (Cotan, 2009). In dit hoofdstuk zullen alle onderzoeken die bewijs leveren voor de begripsvaliditeit van de WPV Compact worden besproken. Eerst worden de onderzoeken naar de interne structuur en de externe structuur (het vergelijken van de gemiddelde scores van groepen waarvan men mag verwachten dat ze verschillen zullen vertonen en het berekenen van correlaties met tests die hetzelfde zouden moeten meten, zogenoemde soortgenoten) van de WPV Compact besproken. Vervolgens wordt een uitgebreid onderzoek naar de equivalentie van de reguliere WPV N en de WPV Compact besproken: dit is gedaan om aan te tonen dat bewijs voor de begripsvaliditeit van de WPV N ook gebruikt kan worden voor de WPV Compact. Tot slot worden onderzoeken naar soortgenotenvaliditeit van de reguliere WPV N besproken.

6.1. Interne structuur van de WPV Compact

Allereerst gaan we in op de interne structuur van de WPV Compact. Hierbij gaat het om de relaties tussen schalen en factoren onderling, in hoeverre ze duidelijk afgebakende constructen meten en in hoeverre ze onafhankelijk van elkaar zijn. De verschillende onderzoeken die hiervoor bewijs leveren worden in deze sectie besproken.

6.1.1. Correlaties tussen schalen

Om de convergente en divergente validiteit van de schalen vast te stellen hebben we allereerst de relaties tussen de schalen onderling vergeleken. De correlaties tussen de schalen van de WPV Compact onderling zijn weergegeven in Tabel 6.1. In deze tabel zijn de schalen gegroepeerd per factor: zo zijn correlaties tussen schalen behorend bij een bepaalde factor goed te vergelijken met de correlaties tussen schalen die niet bij een bepaalde factor horen. Met behulp van arcering van de cellen is dit verduidelijkt.

Bij een eerste inspectie van de correlaties valt op dat de correlaties tussen schalen behorend bij een factor (convergent) hoger zijn dan de absolute correlaties tussen schalen die niet bij een factor horen (divergent). In Tabel 6.2 zijn de gemiddelden (na r naar Z transformatie) voor beide soorten correlaties en het verschil hiertussen weergegeven.

Voor de schalen Status, Dominantie, Competitie en Zelfvertoon – behorend bij de factor Invloed – geldt dus dat de gemiddelde correlatie tussen deze schalen onderling .53 bedraagt, terwijl de gemiddelde absolute correlatie van deze vier schalen met alle andere schalen .19 bedraagt. De gemiddelde convergente correlatie van de factor Structuur is wat aan de lage kant, maar is nog wel groter dan .30. Bovendien zijn de absolute correlaties van deze schalen met de overige schalen veel lager (gemiddeld .18).
Alle gevonden verschillen in correlaties (na r naar Z transformatie) zijn significant (Tabel 6.2). We kunnen dus concluderen dat de schalen goede convergente validiteit (namelijk met de schalen binnen de eigen factor) en divergente validiteit laten zien (met de schalen van de andere factoren).

6.1.2. Correlaties tussen factoren

Voor een indicatie van de begripsvaliditeit is er verder gekeken naar de correlaties tussen de factoren van de WPV Compact. In Tabel 6.3 worden deze correlaties gerapporteerd.

De vijf factoren van de WPV Compact laten voornamelijk redelijk sterke, positieve correlaties zien. Dit is niet ongebruikelijk bij vragenlijsten die gebaseerd zijn op het Big Five model (zie bijvoorbeeld Rushton en Irwing, 2008). Het is interessant om op te merken dat de correlaties tussen de vijf factoren sterk overeenkomen met de correlaties tussen de factoren van de reguliere WPV (Ixly, 2012). Dit duidt erop dat de structuur van de WPV Compact en de reguliere WPV overeenkomstig is. De correlaties tussen de factoren Structuur enerzijds en Invloed en Sociabiliteit anderzijds zijn niet significant. De correlaties tussen Invloed en Stabiliteit, Structuur en Gedrevenheid en Structuur en Stabiliteit zijn allen net onder de .30, wat duidt op redelijke divergente validiteit.

6.1.3. MGM analyses

Om de structuur in schalen en factoren formeel te toetsen zijn zogenaamde Multiple Group Method (MGM) analyses uitgevoerd. De MGM is vooral toepasbaar bij het testen van een specifieke hypothese (Nunnally, 1978), namelijk wanneer een eerder gemaakte indeling van items in schalen – of schalen in factoren – getoetst wordt; de hypothese is dan immers dat de structuur hetzelfde is als bij de data-analyse over eerdere datasets. Voor meer informatie over deze procedure zie Stuive, Kiers, Timmerman en ten Berge (2008). Kenmerkend voor de MGM die hier is uitgevoerd, is dat er gebruik is gemaakt van de formule van Steiger (1980) om de significantie te bepalen van de verschillen tussen afhankelijke correlaties.

De weergave van de resultaten van de MGM-analyse zijn weergegeven in Bijlage 6.1 en Bijlage 6.2. De cijfers in de cellen van de tabellen vertegenwoordigen de item-rest correlaties: dit betekent dat het item zelf niet mee wordt genomen in de correlatie met de rest van de schaal. Dit zou de correlatie immers artificieel omhoog brengen. De interpretatie wordt vergemakkelijkt doordat er van kleuren gebruik is gemaakt. Er zijn drie kleuren met ieder een eigen betekenis. Grijs betekent dat het item de schaal het hoogst correleert met zijn eigen schaal/factor (de item-restcorrelatie) en dat het verschil in hoogte met de andere correlaties bovendien significant is (berekend met behulp van de t-toets voor verschillen tussen afhankelijke correlaties (Steiger, 1980)). Geel betekent dat er meerdere correlaties zijn van het item/de schaal met verschillende schalen/factoren die echter in hoogte niet significant van elkaar verschillen. De kleur rood betekent dat het item/de schaal hoger met een van de andere schalen/factoren correleert dan met zijn eigen schaal/factor en dat het verschil in hoogte bovendien significant is. In de hier getoonde tabellen komen geen rode cellen voor.

De resultaten van de MGM over de indeling van items in de schalen staan in Bijlage 6.1. Er zijn drie items die hoger correleren met een schaal behorend bij een andere factor dan de eigen schaal. Het gaat om twee items van de schaal Positivisme en een item van Energie. De items “Ik weet vaak helemaal niet meer wat ik moet doen” en “Ik denk dat andere mensen positieve dingen over me zeggen” correleren significant hoger met Zelfvertrouwen (.51 en .54 respectievelijk) dan de eigen schaal Positivisme (.40 en .42 respectievelijk). Het item “Ik doe graag extra mijn best” correleert hoger met de schalen Zelfontwikkeling (.56) en Volharding (.55) dan de eigen schaal Energie (.47).

Voor de items van Positivisme geldt dat het tweede item inhoudelijk lastig onder te brengen is onder de schaal Hartelijkheid, die de vrolijkheid, spontaniteit en vriendelijkheid van iemand zelf meten. Het eerste item zou inhoudelijk goed in te delen zijn bij Zelfvertrouwen. Echter, na nieuwe MGM analyses bleek dat na het indelen van het item bij Zelfvertrouwen er meer zouden moeten volgen: zo zouden bij Positivisme alleen items van de oorspronkelijke schaal van de ProSiD-PI 35 (zie Hoofdstuk 1, Uitgangspunten van de testconstructie) ‘welbejegend’ overblijven.
Het item horend bij Energie zou inhoudelijk goed in te delen zijn bij de twee andere schalen. Echter, de rode cellen die we nu gevonden hebben, vonden we niet bij de constructie van de vragenlijst (zie Hoofdstuk 1, Uitgangspunten van de testconstructie, en de MGM resultaten in Bijlage 1.6). Er kan dus sprake zijn van toevalstreffers: correlaties kunnen enigszins fluctueren tussen verschillende steekproeven. Bovendien kent de tabel met MGM resultaten 197 x 25 = 4925 cellen. Een enkele afwijking ten opzichte van een eerdere populatie kunnen we op basis van toeval hierin wel verwachten.

Ook kunnen we concluderen dat de indeling van deze drie items bij hun eigen schaal goed is: de correlaties van de items met de eigen schaal zijn immers .40 en .42 (Positivisme) en .47 (Energie). Dus om de inhoud van de schalen zoveel mogelijk intact te laten (ook met het oog op equivalentie met de WPV) hebben we besloten de items bij hun eigen schaal ingedeeld te laten. Hierbij merken we op dat in de toekomst de kwaliteit en indeling van deze items onderzocht en in de gaten gehouden moeten worden.

Er correleren verder 26 van de 197 items (13%) ook met andere schalen naast de eigen schaal, maar zonder significant verschil in hoogte (geel). De overige items (85%) correleren significant het hoogst met hun eigen schaal, dus de schaal waar ze op basis van eerdere onderzoeken en analyses zijn ingedeeld (grijs). De indeling van de items blijft dus goed overeind.

Wat betreft de MGM op de indeling van de schalen binnen de factoren zijn er 21 schalen (84%) die significant het hoogst met de eigen factor correleren (grijs, zie Bijlage 6.2). Er blijkt geen enkele schaal significant hoger met een andere factor te correleren (rood). Er zijn vier schalen (16%) die met meerdere factoren correleren zonder significant verschil in hoogte (geel). Opvallend is dat bij drie van deze vier schalen dit ook het geval was bij de constructie van de WPV N (zie Hoofdstuk 1, Uitgangspunten van de testconstructie, en Bijlage 1.7). Dit duidt aan dat de structuur van de reguliere WPV en de WPV Compact grote overeenkomsten laten zien.

Conclusies
Op basis van de MGM-resultaten kunnen we concluderen dat het grootste deel van de items bij de juiste schaal is ingedeeld en de schalen bij de juiste factoren. Er waren drie items die in de toekomst aandacht verlangen omdat ze ook duidelijke correlaties lieten zien met andere schalen. Echter, doordat de structuur minimaal verschilde van de structuur die bij de constructie van de WPV N gevonden werd, kunnen we concluderen dat de WPV Compact een duidelijke en stabiele structuur laat zien.

6.1.4. Item-rest correlaties

In de vorige secties, waarin de MGM’s werden besproken, kwamen de item-rest correlaties van de verschillende items al aan bod (zie Bijlage 6.1 en 6.2). In deze sectie staan we stil bij de hoogten van de item-rest correlaties: deze geven namelijk een indruk van de interne validiteit van een test. Item-rest correlaties zijn de correlaties van een individueel item met de rest van de items behorende bij een schaal. Als de items hetzelfde construct meten zou elk item duidelijk positief moeten correleren met alle andere items. Bij hoge positieve item-rest correlaties kunnen we dus spreken van een duidelijke interne structuur. In Tabel 6.4 staan eigenschappen van deze item-rest correlaties⁷ voor de schalen van de WPV weergegeven.

De Cotan (2009, p. 40) hanteert .30 en hoger voor item-totaal correlaties als criterium voor een goede beoordeling van de interne consistentie. In Tabel 6.4 zijn de item-rest correlaties weergegeven; deze kunnen vooral bij kortere tests lager uitvallen (Cotan, 2009). Zelfs met deze kanttekening zijn de item-rest correlaties zeer goed te noemen. De gemiddelde item-rest correlatie is .63 en de gemiddelde minimum item-rest correlatie is .49. Vrijwel alle item-rest correlaties liggen boven de .30, met een enkele uitzondering (Zelfontwikkeling (.22) en Nauwkeurigheid (.29)). Het item met een lagere item-rest correlatie bij Zelfontwikkeling luidt “”Ik vind het onnodig om de dingen die ik al goed kan nog beter te kunnen.”. Wellicht dat de lengte van het item en het feit dat het een negatief gesteld item is de lage item-rest correlatie veroorzaken. In de MGM analyse (zie vorige sectie) zagen we echter dat het item niet met een andere schaal een significant hogere correlatie liet zien. Daarom is het gerechtvaardigd dat dit item gehandhaafd blijft bij de schaal Zelfontwikkeling.

Over het algemeen kunnen we concluderen dat de schalen allemaal een duidelijke interne structuur laten zien en één latent construct lijken te meten.

6.1.5. Dimensionaliteit van factoren en schalen

In de vorige secties vonden we al bewijs voor het feit dat de factoren en schalen één afgebakend construct meten. Om dit verder te onderzoeken is er voor elke schaal afzonderlijk een principale componentanalyse uitgevoerd met varimax rotatie. De resultaten hiervan zijn weergegeven in Tabel 6.5.

Voor veel factoren en schalen kwam op basis van de waarde van de eerste eigenwaarde (> 1), het verschil tussen de eerste en tweede eigenwaarde en de scree plot naar voren dat een oplossing met één factor de beste was. De verklaarde variantie door deze factor was over het algemeen hoog: de laagste verklaarde variantie werd gevonden voor Positivisme (42.8%).
Er was een aantal schalen (en een factor) waarvoor er op basis van de waarde van de tweede eigenwaarde (>1) aanwijzing was voor een oplossing met twee factoren. Deze zijn met een asterisk (*) aangegeven in Tabel 6.5. In veel van de gevallen was de eigenwaarde van de tweede factor echter precies 1 of kwam deze maar net boven de 1 uit. Dit gold voor de factor Structuur en voor de schalen Competitie, Sociaal ontspannen, Hartelijkheid, Ordelijkheid, Nauwkeurigheid en Frustratietolerantie. Bovendien gold voor alle schalen dat de verklaarde variantie van de eerste factor vaak veel groter was dan de verklaarde variantie door de tweede factor (minstens twee keer zo groot). Ook bleek dat de gemiddelde lading op de eerste factor over het algemeen erg hoog was, de laagste gevonden gemiddelde lading was .46 voor Contactbehoefte, maar over het algemeen lagen deze boven de .60. Al deze bevindingen zijn indicaties dat de oplossingen met één factor wenselijker waren dan de oplossingen met twee factoren.

Om de dimensionaliteit van de factor Structuur nader te onderzoeken zijn een aantal confirmatieve factoranalyses gedaan met behulp van het programma AMOS 20 (Arbuckle, 2011). Drie modellen werden getoetst:

(1) Een model waar de vijf schalen van de factor Structuur op één factor laadden.
(2) Een model waar de schalen Ordelijkheid, Nauwkeurigheid en Weloverwogen op één factor laadden en Regelmaat en Conformisme op een andere factor. Deze tweedeling baseerden we op de resultaten van de principale component analyse. Deze twee factoren werden niet met elkaar gecorreleerd.
(3) Een model gelijk aan Model 2, met het verschil dat de factoren nu wel met elkaar gecorreleerd werden.

De fit indices van de drie modellen zijn weergegeven in Tabel 6.6.

De fit van Model 1 is niet geheel adequaat, wanneer we de indices afzetten tegen de gebruikelijke richtlijnen van Hu en Bentler (1999, CFI > .95, RMSEA < .06 en SRMR < .08), hoewel de waarde van SRMR wel bevredigend is. De fit van Model 2, met twee orthogonale factoren, is echter aanzienlijk slechter dan Model 1. Model 3, waarbij de twee factoren met elkaar gecorreleerd zijn, laat van de drie modellen een uitstekende fit zien en is verreweg het beste model van de drie. De correlatie tussen de twee factoren in dit model was .52. Hieruit kunnen we concluderen dat de twee factoren één onderliggende factor hebben en dat de indeling van deze vijf schalen bij één factor gerechtvaardigd is. Bij inspectie van de geroteerde factor matrices van de schalen deden we een interessante bevinding: vrijwel zonder uitzondering bleken de positief geformuleerde items te laden op de ene factor, en de negatief geformuleerde items op de tweede. Deze factoren komen naar voren door zogenaamde response sets, bijvoorbeeld acquiescence, de neiging om het eens te zijn met een stelling, ongeacht de inhoud ervan. Dit is een bekend fenomeen in de psychometrie (zie bijvoorbeeld Marsh, 1996; Wei et al., 2007).
Om dit verder te onderzoeken zijn er een reeks confirmatieve factoranalyses gedaan, weer met behulp van het programma AMOS 20 (Arbuckle, 2011). De fit van twee verschillende modellen zijn vergeleken: (1) eerst werd een model gefit waarbij alle items op slechts 1 factor laadden, (2) vervolgens werden twee, orthogonale, response bias-factoren toegevoegd, waarbij de negatief geformuleerde items op de ene factor laadden en de positief gestelde items op de andere. Model 2 liet consequent een betere fit (afgaande op de significantie van het verschil in χ² waarden) zien dan Model 1, en de fit van Model 2 was voor over het algemeen uitstekend te noemen voor alle schalen (wanneer afgezet tegen de hierboven genoemde richtlijnen van Hu en Bentler, 1999).

Conclusie
Hieruit kunnen we concluderen dat de WPV Compact, wanneer gecontroleerd wordt voor methode effecten als response bias, factoren en schalen bevat die eendimensionaal zijn en dus duidelijk één afgebakend construct meten. Dit draagt bij aan de begripsvaliditeit van de WPV Compact.

6.2. Externe structuur: Relaties met de achtergrondvariabelen

Om na te gaan of de factorscores en de schaalscores een relatie met de achtergrondvariabelen hebben, wordt er per variabele, per schaal en per factor onderzocht of de gemiddelde scores voor de verschillende categorieën van deze variabelen significant van elkaar verschillen. Het aantonen van verschillen in gemiddelde scores bij de WPV Compact van groepen waarvan men mag verwachten dat ze verschillen zullen vertonen levert een bijdrage aan de begripsvaliditeit.
Door middel van t-toetsen en een reeks ANOVA’s gedaan zijn de verschillen onderzocht (Tabel 6.7 tot en met 6.11). De analyses zijn verricht op de (gewogen) normgroep, die uitgebreid beschreven is in Hoofdstuk 4, Normen. Tevens zijn Cohen’s d (bij geslacht, etniciteit (allochtoon/autochtoon) en werksituatie) en de eta² berekend als maten voor de effectgrootte. Indien het verschil bij tweezijdige toetsing significant is op het 5%-niveau, is de waarde van Cohen’s d of eta2 gegeven bij de betreffende factor/schaal. Bij beoordeling van de effectgrootten gaan we uit van de richtlijnen van Cohen (1988): voor Cohen’s d geldt dat > .2 een klein effect betekent, > .5 een gemiddeld effect en > .8 een groot effect betekent. Voor eta² geldt dat > .01 wordt gezien als een klein effect, > .06 als een gemiddeld effect en > .14 een groot effect.

6.2.1. Geslacht

Op basis van de gevonden verschillen tussen mannen en vrouwen in persoonlijkheid uit de literatuur kunnen we een aantal hypotheses opstellen. Zo is het bekend dat vrouwen hoger scoren op (facetten die horen bij) de factor Neuroticisme (Costa et al., 2001). Verder blijken vrouwen hoger te scoren op de factor Vriendelijkheid, en op onderliggende facetten zoals Warmth (Costa et al., 2001). Tegelijkertijd scoren mannen gemiddeld hoger op de factor Openheid en tevens op Extraversie, en daarbij onderliggende facetten zoals Dominantie (Wiggings and Broughton, 1985; Hough et al., 2001) en Assertiviteit. Op basis hiervan kunnen we verwachten dat vrouwen hoger zullen scoren op schalen als Hartelijkheid en Zorgzaamheid, terwijl ze lager zullen scoren op de factor Stabiliteit. Mannen zullen hoger scoren op (schalen horend bij) Invloed (door de overlap met Extraversie) en schalen zoals Originaliteit en Vernieuwing (door de overlap met Openheid). In Tabel 6.7 zijn de gemiddelde schaal- en factorscores voor de variabele geslacht weergegeven.

Er worden bij twee factoren en elf schalen significante verschillen in scores gevonden voor de variabele geslacht. Wanneer we naar de effectgrootten kijken dan zijn de verschillen voor de schalen Competitie, Zorgzaamheid, Zelfvertrouwen en Incasseringsvermogen van een gemiddelde omvang (>||.30||).

De bevindingen bevestigen grotendeels de hypotheses over sekseverschillen in de Big Five persoonlijkheidseigenschappen (zie voor meta-analyses Hough et al., 2001 en Costa et al., 2001). Zoals verwacht scoren vrouwen significant lager op Stabiliteit, meer specifiek door lagere scores op de schalen Zelfvertrouwen en Incasseringsvermogen. Verder blijken vrouwen zoals voorspeld hoger te scoren op Zorgzaamheid en Hartelijkheid. De verwachting dat mannen hoger scoren op (schalen horend bij) Invloed wordt ook bevestigd. Verder zien we dat, zoals voorspeld, mannen significant hoger scoren op Originaliteit. We voorspelden ook dat mannen hoger zouden scoren op Vernieuwing, hoewel dit wel het geval is, is het verschil niet significant.

6.2.2. Leeftijd

Voor de variabele leeftijd kunnen we op basis van eerdere onderzoeken ook weer hypotheses opstellen over de relatie met persoonlijkheid. Zo scoren ouderen gemiddeld lager op Neuroticisme (McCrae et al., 1999; Roberts et al., 2006) en hoger op Consciëntieusheid (Roberts et al., 2006). Op het facetniveau geldt voor Consciëntieusheid dat ouderen bevonden worden hoger te scoren op Dutifulness van de NEO-PI-R (McCrae et al., 1999) en het Dependability facet van Hough (1997). Bovenstaande bevindingen leiden tot de hypotheses dat ouderen hoger zullen scoren dan jongeren op de factoren Stabiliteit en Structuur, en zeker op het de schaal Volharding.

De gemiddelde score per factor en schaal voor de variabele leeftijd is weergegeven in Tabel 6.8. Voor de variabele leeftijd hanteren we drie categorieën (15-24, 25-44 en 45-65 jaar). Met een ANOVA is getoetst of de verschillen in gemiddelde scores tussen de drie categorieën significant zijn. Als er een significant verschil gevonden is, wordt de waarde van eta2 gegeven voor de betreffende schaal.

Drie van de vijf factoren laten significante verschillen zien in gemiddelde scores op basis van leeftijd. Bij twaalf van de 25 schalen zijn er verschillen in scores op basis van leeftijd. Wanneer we kijken naar de effectgrootten dan kunnen we concluderen dat deze over het algemeen klein zijn (alleen de schaal Zelfvertrouwen laat een matig effect zien). Over het algemeen worden er kleine effecten gevonden in de literatuur over de relatie tussen leeftijd en de Big Five (McCrae et al., 1999; Hough et al., 2001).

De gevonden effecten bevestigen grotendeels onze hypotheses. Zoals voorspeld lopen de gemiddelde scores op Structuur en Stabiliteit op met leeftijd. Op schaalniveau vertaalt zich dit in hogere scores op Ordelijkheid en Nauwkeurigheid en hogere scores op alle vier de schalen van Stabiliteit: Zelfvertrouwen, Positivisme, Frustratietolerantie en Incasseringsvermogen. Ook het positieve effect van Volharding komt overeen met de eerder voorspelde positieve trend van het facet Dutifulness van de NEO-PI-R en het Dependability facet van Hough (1997).
Bij de factor Invloed is de relatie met leeftijd negatief: ouderen scoren lager op deze factor. Op schaalniveau zijn de negatieve effecten van leeftijd op Status en Dominantie goed te verklaren. Ouderen hoeven, bijvoorbeeld op de arbeidsmarkt, minder competitief te zijn dan jongeren: jongeren aan het begin van hun carrière moeten solliciteren, vechten voor een baan en hun plek in de arbeidsmarkt. Bovendien zullen ouderen door middel van hun carrière al status hebben opgebouwd, waardoor zij ook lager op deze schaal zullen scoren. In de toekomst zal onderzoek deze hypotheses moeten bevestigen.

6.2.3. Opleidingsniveau

Uit onderzoeken naar de relatie tussen opleidingsniveau en de Big Five komt allereerst duidelijk naar voren dat hoger opgeleiden hoger scoren op de factor Openheid. Deze factor is namelijk de factor die de sterkste relatie met intelligentie heeft (zie bijv. Moutafi et al., 2006). Op basis hiervan kunnen we verwachten dat hoger opgeleiden hoger scoren op de schalen Vernieuwing en Originaliteit. Ook worden effecten gevonden tussen opleidingsniveau en Extraversie, hoewel de effecten vaak kleiner en oneenduidiger zijn (Goldberg et al., 1998; Furnham, 1994). Op basis hiervan verwachten we een positieve relatie tussen opleidingsniveau (schalen horend bij) Invloed en de schalen Contactbehoefte, Sociaal ontspannen en Zelfonthulling gezien deze factor en schalen de meeste overlap met de factor Extraversie van de Big Five vertonen. Tot slot scoren hoger opgeleiden hoger op de Consciëntieusheid factor van de Big Five (Goldberg et al., 1998), waardoor we een positief effect van opleidingsniveau op (de schalen horend bij) Gedrevenheid verwachten.

In Tabel 6.9 zijn de gemiddelde scores per factor en schaal voor de variabele opleiding weergegeven.

Hoewel we veel significante effecten vinden zijn de effectgroottes vergeleken met de richtlijnen van Cohen (1988) weer klein te noemen. In de literatuur worden over het algemeen kleine effecten van opleidingsniveau gevonden (Donnellan & Lucas, 2008). De effecten voor de factor Invloed en de schalen Status, Dominantie, Zelfontwikkeling en Regelmaat zijn wat groter.

Over het algemeen kunnen we zeggen dat de gevonden verschillen de opgestelde hypotheses bevestigen (Goldberg et al., 1998; Furnham, 1994). Zo zien we dat hoger opgeleiden hoger scoren op de Gedrevenheid-component (Zelfontwikkeling en in mindere mate Energie en Volharding) van de Consciëntieusheid factor. Interessant is wel dat hoger opgeleiden lager op de Structuur-component (Regelmaat en in mindere mate Nauwkeurigheid en Ordelijkheid) scoren dan lager opgeleiden. Dit zou verklaard kunnen worden door het feit dat jongeren oververtegenwoordigd zijn in de groep hoger opgeleiden (zie Hoofdstuk 4, Normen): in sectie 6.2.2. zagen al we dat jongeren lager scoren op de schalen van Structuur. De lagere scores op deze schalen van hoger opgeleiden kan dus liggen aan de relatief jongere leeftijd van deze groep.
Zoals verwacht vinden we een positieve relatie tussen opleidingsniveau en de factor en schalen die de meeste overlap met Extraversie vertonen: hoger opgeleiden scoren gemiddeld hoger dan lager opgeleiden op (de schalen horend bij) Invloed en de schalen Contactbehoefte, Sociaal ontspannen en Zelfonthulling. Wellicht is het zo dat hoger opgeleiden door de drang naar status, competitie en invloed een hoger opleidingsniveau hebben behaald.
Tot slot vinden we bewijs voor de hypothese dat hoger opgeleiden hoger scoren op de factor Openheid van de Big Five: hoger opgeleiden scoren gemiddeld hoger op de schalen Originaliteit en Vernieuwing dan lager opgeleiden.

6.2.4. Werksituatie

Op basis van de onderzoek naar de psychologische effecten van werkloosheid kunnen we hypotheses opstellen over de verschillen in scores tussen werklozen/werkzoekenden en werkzame personen. Zo kan werkloosheid leiden tot gevoelens van lamlendigheid en apathie, onzekerheid en twijfel aan eigen kunnen (Eisenberg & Lazarsfeld, 1938). Hierdoor kunnen we lagere scores op de schaal Energie en op de factor Stabiliteit verwachten voor werkzoekenden/werklozen. Verder heeft onderzoek aangetoond dat het zoeken naar een baan samengaat met hogere scores op Consciëntieusheid (Lay & Brokenshire, 1997). Hierdoor mogen we hogere scores verwachten op (de schalen horend bij) Structuur.

In Tabel 6.10 zijn de gemiddelde scores per factor en schaal voor de variabele werksituatie weergegeven.

 

Ook voor de variabele werksituatie geldt dat de verschillen klein tot gemiddeld zijn, en dat de hypotheses bevestigd worden. De meest in het oog springende verschillen zijn die tussen de schalen behorend bij de factor Stabiliteit: werklozen scoren, zoals voorspeld, een stuk lager op Zelfvertrouwen, Positivisme, Frustratietolerantie en Incasseringsvermogen. Ook vinden we, zoals voorspeld, dat werkzoekenden/werklozen lager scoren op Energie dan werkzame personen. Het feit dat werkzoekenden/werklozen ook lager scoren dan werkenden op Sociaal ontspannen zou verklaard kunnen worden door de correlatie tussen Energie en Sociaal ontspannen (r = .42, zie Tabel 6.1). Tot slot kunnen we voor de hypothese over de relatie tussen werksituatie en Structuur zeggen dat we alleen het voorspelde positieve effect van de schaal Regelmaat terugvinden.

6.2.5. Allochtonen en autochtonen

Meerdere onderzoeken hebben aangetoond dat allochtonen lager scoren op Emotionele Stabiliteit, of hoger op Neuroticisme, of facetten behorend bij deze factor (Te Nijenhuis et al., 1997; De Vries, 2012). We kunnen daarom verwachten dat allochtonen lager scoren op Stabiliteit. Ook scoren allochtonen gemiddeld hoger op de facetten Routine in methods (van Leest, 1997), Orderliness en Need for rules and certainty, horend bij de factor Consciëntieusheid (de Vries, 2012). Daarom kunnen we hogere scores van allochtonen verwachten op Ordelijkheid en Regelmaat. Tot slot heeft onderzoek aangetoond dat allochtonen lager scoren op het facet Vertrouwen in anderen van de Multiculturele PersoonlijkheidsTest Big Six (MPT-BS; NOA, 2009): op basis hiervan kunnen we lagere scores op Vertrouwen verwachten voor allochtonen in vergelijking met autochtonen.
In Tabel 6.11 staan de gemiddelde scores per factor en schaal voor allochtonen en autochtonen weergegeven. De kenmerken van deze groepen in de normgroep zijn uitgebreid beschreven in Hoofdstuk 4, Normen.

 

Allochtonen scoren gemiddeld hoger dan autochtonen op Competitie en Zelfonthulling, terwijl ze lager scoren op Stabiliteit, Vertrouwen, Positivisme en Frustratietolerantie. De effectgroottes geven aan dat het gaat om kleine tot matige verschillen.
De gevonden verschillen bij de WPV Compact bevestigen de resultaten van eerder gevonden verschillen tussen autochtonen en minderheden in Nederland. Zoals voorspeld scoren allochtonen lager op Stabiliteit, wat veroorzaakt wordt door lagere scores op Positivisme en Frustratietolerantie. Ook de hypothese dat allochtonen lager scoren op Vertrouwen, wordt bevestigd. Tot slot zien we dat allochtonen zoals voorspeld hoger scoren op Regelmaat en Ordelijkheid dan autochtonen, maar dat dit verschil niet significant is.

6.2.6. Conclusie over de gevonden verschillen tussen groepen

Voor de achtergrondvariabelen geslacht, leeftijd, werksituatie, opleiding en etniciteit (allochtoon/autochtoon) hebben we een aantal significante verschillen gevonden. Deze gevonden verschillen komen grotendeels overeen met wat we op basis van eerder onderzoek kunnen verwachten. Dit geeft aan dat de schalen en factoren reële verschillen tussen groepen kunnen ‘detecteren’ en dat de beoogde constructen, inclusief reële verschillen tussen groepen, worden gemeten. Dit draagt sterk bij de aan de begripsvaliditeit van de WPV Compact.

6.3. Externe validiteit: Onderzoek naar verschillen tussen groepen

In de voorgaande secties zijn de gemiddelde scores van verschillende groepen binnen de normgroep met elkaar vergeleken. Bewijs voor begripsvaliditeit kunnen we echter ook verkrijgen door de normgroep te vergelijken met andere groepen en te onderzoeken of de verwachte verschillen in scores gevonden worden. Hiertoe zijn twee onderzoeken uitgevoerd, die in de volgende secties worden besproken.

6.3.1. Onderzoek naar verschillen tussen de normgroep en selectiegroep

Hoewel wij op dit moment alleen de adviesnormgroep aanbieden, is de WPV Compact in het verleden ook ingezet in selectiesituaties. In selectiesituaties kunnen we verwachten dat mensen hoger scoren op persoonlijkheidsvragenlijsten, omdat ze geneigd zijn om meer sociaal wenselijk te antwoorden. Dat wil zeggen, ze zullen een zo goed mogelijk beeld van zichzelf willen geven om de kans op het krijgen van de functie te vergroten (zie Birkeland et al., 2006). We kunnen dus verwachten dat de scores van personen die de WPV Compact hebben ingevuld in selectiesituaties hoger liggen dan de scores in de normgroep. Het aantonen van zulke verschillen levert bewijs voor de begripsvaliditeit van de WPV Compact, omdat het laat zien dat reële verschillen uit de praktijk ‘gedetecteerd’ en gemeten kunnen worden.
Om de validiteit van de WPV Compact te onderzoeken is deze groep vergeleken met de normgroep. De data voor de selectie steekproef, in totaal bestaand uit 827 personen, is verkregen tussen november 2008 en maart 2014. De data is afkomstig van loopbaanadvies-, assessment- en selectiebureaus die klant van Ixly zijn. In deze steekproef bevinden zich dus kandidaten die in de praktijk de WPV Compact hebben ingevuld voor selectiedoeleinden.

In Tabel 6.12 zijn de kenmerken van de selectiegroep – afgezet tegen de kenmerken van de normgroep – weergegeven.

 

Bij de selectiegroep liepen de betrouwbaarheden uiteen van .73 voor Zelfontwikkeling tot .91 voor Originaliteit en Zorgzaamheid. Met een gemiddelde betrouwbaarheid van ruim boven .80 zijn de betrouwbaarheden in deze steekproef goed te noemen.

In Tabel 6.13 staan de gemiddelde scores per factor en schaal voor de normgroep en de selectiegroep weergegeven.

 

Zoals we verwachtten zijn de scores van de personen die de WPV Compact in selectiesituaties hebben ingevuld over het algemeen hoger dan de scores van de personen in de normgroep. Deze resultaten geven aan dat het belangrijk is dat er een aparte normgroep is voor de adviessituatie.
De effectgrootten zijn over het algemeen aanzienlijk, gemiddeld 1.04. Opvallend is het feit dat we geen verschil vinden voor de schaal Competitie en dat personen in selectiesituaties juist iets lager scoren op Vertrouwen (hoewel dit wat betreft de effectgrootte maar een klein verschil is), Onafhankelijkheid en Regelmaat. Wellicht is het minder transparant of een hogere score op deze schaal leidt tot een hogere kans op het krijgen van de functie in kwestie.

Om te onderzoeken of de factorstructuur van de vragenlijst in beide steekproeven overeenkwam is er weer een Procrustes-analyse uitgevoerd. In deze analyse wordt de mate van congruentie tussen twee factoroplossingen vergeleken door middel van een aantal zogeheten ‘target’ rotaties en transformaties (Schönemann, 1966). Vervolgens kan de congruentiemaat Tucker’s phi (van de Vijver & Leung, 1997) worden berekend: factoren worden als equivalent beschouwd wanneer de waarde van Tucker’s phi groter dan .90 is (Cheung et al., 2003; McCrae et al., 1996; Mulaik, 1972). De waarden voor Tucker’s phi waren hoog: .94 voor Stabiliteit, .95 voor Invloed, .95 voor Structuur, 0.97 voor Sociabiliteit en .90 voor Gedrevenheid. Hoewel deze laatste factor net niet boven de vuistregel van .90 komt, kunnen we concluderen dat de factoroplossing van de WPV Compact bij de selectiegroep vrijwel gelijk is aan de factoroplossing bij de normgroep die voor advies gebruikt wordt.

Conclusie
We kunnen de veel gedane bevinding dat men in selectiesituaties hoger scoort (zie Birkeland et al., 2006) ook bevestigen voor de WPV Compact. Dit heeft echter geen gevolgen voor de factorstructuur; dit levert bewijs voor de begripsvaliditeit van de WPV Compact, omdat hieruit blijkt dat de factorstructuur stabiel is wanneer de vragenlijst in verschillende situaties wordt afgenomen.
Overigens bevelen we het gebruik van de WPV Compact in selectiesituaties niet aan, omdat de betrouwbaarheden van de schalen, hoewel uitstekend voor adviesdoeleinden (> .80), niet voldoen aan de richtlijnen van de Cotan (2009) voor selectiedoeleinden (> .90). De betrouwbaarheden van de onverkorte versie van de WPV doen dat wel.

6.3.2. Onderzoek naar verschillen tussen normgroep en UWV groep

De afgelopen jaren is de WPV Compact al door het UWV in gebruik geweest onder de naam WPV verkort: de WPV Compact werd ingevuld door werkzoekenden en uitkeringsgerechtigden die, nadat ze zelf geen werk hebben kunnen vinden, door een Adviseur Werk van het UWV de WPV Compact toegewezen hebben gekregen. Het gaat hier om mensen die een grotere afstand tot werk hebben, zowel fysiek als qua achtergrondkenmerken, zoals taalniveau en opleiding.

Om de verschillen tussen deze groep en de normgroep te onderzoeken is de data van alle kandidaten die de vragenlijst van januari 2012 tot en met februari 2014 hebben ingevuld uit de database van Ixly gehaald. Dit waren in totaal 5531 personen. Van sommige kandidaten was echter niet alle achtergrondinformatie beschikbaar en sommige kandidaten behoorden door hun leeftijd niet tot de beroepsbevolking. Om deze groep goed te kunnen vergelijken met de normgroep zijn alleen de personen die tot de beroepsbevolking behoren behouden. Na het op die manier zuiveren van de data, ook op missende waarden, bleven in totaal 5028 personen in de steekproef over. De gemiddelde leeftijd in de steekproef was 45.6 met een standaardafwijking van 14.7, variërend van 15 tot en met 65 jaar oud. De achtergrondkenmerken van deze groep worden verder beschreven in Tabel 6.14.

 

Zoals duidelijk wordt uit Tabel 6.14, wordt de UWV-groep gekenmerkt door veel lager opgeleiden en ouderen. Bovendien zijn allen werkzoekend. We mogen dus dezelfde verschillen in factor- en schaalscores verwachten in deze groep als de verschillen beschreven in sectie 6.2.1. tot en met 6.2.4.

In Tabel 6.15 zijn de verschillen in factor- en schaalscores tussen de normgroep en de UWV-groep weergegeven. Waar de T-toets voor het verschil in gemiddelden significant was, is Cohen’s d voor de effectgrootte weergegeven.

Voor vrijwel alle factoren en schalen vinden we, door de grote steekproefgrootte, significante verschillen. In termen van effectgroottes zijn de verschillen echter klein te noemen. Alleen voor de factor Structuur en de schalen Conformisme en Weloverwogen, die onder deze factor vallen, vinden we iets grotere effecten.

De verschillen die we vinden komen overeen met de verschillen die we op basis van de achtergrondkenmerken van de groep kunnen verwachten. Zo vinden we hogere scores voor Stabiliteit (Positivisme en Frustratietolerantie) voor de UWV-groep: in sectie 6.2.2. vonden we dat de gemiddelde scores opliepen met de leeftijd van personen. Hoewel de gemiddelde score van Stabiliteit afliep met opleiding en lager was voor werkzoekenden ten opzichte van werkenden, blijkt de invloed van leeftijd hier dus doorslaggevend te zijn. Hetzelfde geldt voor de (schalen horend bij) de factor Structuur: in sectie 6.2.2. vonden we dat ouderen gemiddeld hoger scoorden dan jongeren op deze factor, terwijl we geen effecten vonden van opleiding en werksituatie in sectie 6.2.3. en 6.2.4.
Om ook voor deze twee steekproeven te onderzoeken of de factorstructuur overeenkwamen is er een Procrustes-analyse uitgevoerd, gevolgd door de berekening van de congruentie tussen factoren in de vorm van Tucker’s phi. De congruentie tussen de factoren was gemiddeld .97, uiteenlopend van .90 tot .99. Hieruit kunnen we concluderen dat de factoroplossing van de WPV Compact bij de UWV groep vrijwel gelijk is aan de factoroplossing bij de normgroep.

Conclusie
De gevonden verschillen tussen de UWV groep en de normgroep zijn veelal reële verschillen die we op basis van eerdere bevindingen over verschillen tussen groepen bij de WPV Compact kunnen verwachten. Ook hier draagt het feit dat de factorstructuur overeind bleef in zowel de UWV groep als de normgroep bij aan de constructvaliditeit van de WPV Compact.

6.4. Externe validiteit: Onderzoek naar culturele bias

Omdat in Nederland personen uit verschillende culturen wonen en werken is het noodzakelijk dat de WPV Compact cultureel rechtvaardig is. Cultureel rechtvaardig betekent dat geen onterechte vertekening (bias) ontstaat bij individuele uitkomsten en dat alleen reële verschillen tussen individuen zichtbaar worden in relatie tot de gehele beroepspopulatie. Deze reële verschillen hebben immers betekenis voor de Nederlandse arbeidsmarkt.

Item bias
In sectie 6.2.5. hebben we al de verschillen in scores tussen autochtonen en allochtonen besproken. De gevonden verschillen in gemiddelden leken te duiden op reële verschillen tussen autochtonen en allochtonen, maar zouden ook kunnen duiden op item bias. Er is pas sprake van item bias als autochtonen op een andere manier reageren op een item dan allochtonen. Om dit te onderzoeken hebben we een aantal DIF (differential item functioning, zie bijvoorbeeld Zumbo, 1999) analyses uitgevoerd: deze analyse toetst de hypothese dat de scores op items tussen twee personen uit verschillende groepen niet significant van elkaar verschillen, wanneer de (latente) score op het construct dat dit item meet constant gehouden wordt.

Omdat er zich in de normgroep relatief weinig allochtonen bevonden is er in november 2014 een extra onderzoek uitgezet om specifiek respondenten uit deze groep te werven. De data is via hetzelfde internetpanel verzameld als de data van de normgroep (zie voor meer informatie Hoofdstuk 4, Normen). De verkregen data bij dit nieuwe onderzoek zijn samengevoegd met de data van de normgroep om een zo groot mogelijke steekproef te krijgen: uiteindelijk bestond de gehele onderzoeksgroep uit 832 personen, waarvan 257 personen (31%) als allochtoon geclassificeerd konden worden. De achtergrondkenmerken van deze groep zijn vermeld in Tabel 6.16. De gemiddelde leeftijd van de allochtone deelnemers is 36.1 jaar met een standaardafwijking van 10.6, uiteenlopend van 17 tot en met 62 jaar.

 

In Tabel 6.17 staat de herkomst van de allochtonen in de onderzoeksgroep vermeld.

 

Autochtonen vergeleken met de gehele groep allochtonen
Allereerst hebben we autochtonen vergeleken met alle allochtonen in de onderzoeksgroep, ongeacht hun herkomst. Aan de hand van de Mantel test (Mantel, 1963) hebben we eerst de items geïdentificeerd die wellicht DIF zouden kunnen vertonen. Hiervoor hebben we gebruik gemaakt van het programma DIFAS 5.0 (Penfield, 2005). Bij de Mantel test wordt gekeken naar iemands score op een item, waarbij gelet wordt op de somscore op de overige items van de schaal van het betreffende item (restscore). We hebben de ‘purificatie methode’ (Zumbo, 1999) toegepast, wat betekent dat voor elke schaal de items met potentiële DIF steeds verwijderd werden, waarna de restscore opnieuw berekend werd. Hierna werd er met de Mantel test weer gekeken of items DIF vertoonden. De Mantel test levert voor elk item een χ2 waarde; wanneer deze hoger is dan de kritieke waarde 3.84 dan is deze significant en kan er sprake zijn van DIF. Na deze eerste screening werden er 28 items (14%) geïdentificeerd met potentiële DIF. Wanneer we echter naar de χ² waarden van deze items keken, dan viel op dat er een aantal rond de kritieke waarde van 3.84 lagen en dus net significantie bereikten. Daarom hebben we ook gekeken naar de Standardized Mantel-Haenszel Log-Odds Ratio, die groter dan || 2 || moet zijn om sprake te zijn van mogelijke DIF (Penfield, 2005). Na inspectie van deze waarden bleken er nog 26 items (13%) over die wellicht DIF vertoonden.

Omdat de statistische power van de verschillende methoden om DIF te detecteren verschillen, zeker bij relatief kleinere onderzoeksgroepen (zoals bij ons het geval is), wordt aangeraden om meerdere methoden van onderzoek te gebruiken (Wood, 2011). We hebben daarom bovenstaande analyses gebruikt om items met potentiële DIF op te sporen, om deze vervolgens met een andere methode, ordinale logistische regressie, verder te analyseren.

Om dit te onderzoeken hebben we het hiërarchische model van Zumbo (1999) gebruikt:

Model 1: Eerst wordt een ordinale logistische regressie uitgevoerd met het item als de afhankelijke variabele en de totaalscore op het construct dat door dit item gemeten wordt als onafhankelijke variabele
Model 2: Vervolgens wordt de groepsvariabele als onafhankelijke variabele ingevoerd (in ons geval autochtoon/allochtoon)
Model 3: Vervolgens wordt de interactie tussen de totaalscore en de groepsvariabele als onafhankelijke variabele ingevoerd

Er zijn twee voorwaarden voor wanneer we kunnen spreken van substantiële DIF. Allereerst kan de fit van deze modellen aan de hand van hun χ² waarden vergeleken worden. Als de p-waarde van het verschil in χ2 waarden van Model 3 en Model 1 (met 2 vrijheidsgraden) kleiner is dan 0.01 (een α van 1% is hier nodig, omdat meerdere hypotheses getoetst worden; Zumbo, 1999), dan is Model 3 dus significant beter dan Model 1 en kan er sprake zijn van DIF. Dit hoeft echter niet het geval te zijn: onder invloed van de steekproefgrootte en op basis van kans kan de χ² waarde significant worden. Daarom moet er ook gekeken worden naar de effectgrootten. Hiervoor wordt de verklaarde variantie, R², gebruikt. Een verschil in de R²-waarde tussen Model 3 en Model 1 van 0.13 of meer wordt gezien als een indicatie van DIF (Zumbo & Thomas, 1997). Alleen wanneer aan deze beide voorwaarden voldaan wordt dan kunnen we spreken van DIF.

Een voordeel van de bovenstaande hiërarchische werkwijze is dat de mate van uniforme (Model 2) en non-uniforme DIF (Model 3) kunnen worden onderscheiden (Zumbo, 1999). Er is sprake van uniforme DIF als bijvoorbeeld de focale groep (in ons geval allochtonen) altijd een lagere kans heeft een bepaalde antwoordoptie te kiezen op een bepaald item dan de referentiegroep (autochtonen), ongeacht de score van de persoon op het construct dat dit item meet. In dit geval is de allochtone persoon dus ‘benadeeld’: bij een gelijke score op bijvoorbeeld de schaal Competitie heeft de allochtoon een hogere kans om ‘helemaal mee oneens’ te antwoorden. Echter, bij een gelijke score op de schaal Competitie zouden de allochtoon en autochtoon theoretisch dezelfde kans moeten hebben om ‘helemaal mee oneens’ (of ‘helemaal mee eens’, of welk antwoord dan ook) te antwoorden. Is dit niet het geval, dan is dit item wellicht niet een equivalente maat voor het construct Competitie, maar meet het misschien ook nog een ander construct (bijvoorbeeld Leesvaardigheid), waar de groepen op verschillen.
Bij non-uniforme DIF is het nog iets complexer: hierbij varieert het ‘bevoordeeld’ of ‘benadeeld’ zijn met de score van de persoon op het construct dat het item meet. Zo kan het bijvoorbeeld dat bij een lage score op dit construct de kans groter is dat een allochtoon (in vergelijking met een autochtoon met dezelfde score) een bepaalde antwoordoptie kiest, terwijl bij een hoge totaalscore de kans kleiner is dat een allochtoon (in vergelijking met een autochtoon met dezelfde score) een bepaalde antwoordoptie kiest. Door de R²-waarden van Model 2 en Model 3 te vergelijken kan men inzicht krijgen in of er voornamelijk sprake is van uniforme of non-uniforme DIF.

Voor alle 26 items die na analyse met de Mantel test werden gemarkeerd als potentiële DIF items is bovenstaande hiërarchische analyse uitgevoerd. Hieruit bleek dat voor 9 van de items het verschil in χ² waarden tussen Model 3 en Model 1 niet significant (p > .01) was en dat deze items dus geen substantiële DIF vertoonden. Dit betekende dat er nog 17 item (9%) over waren die volgens de eerste voorwaarde wel DIF leken te vertonen.

Deze items zijn weergegeven in Tabel 6.18. De verschillen in de R²-waarden tussen Model 3 en Model 1 zijn vervolgens vergeleken om te kijken of deze items aan de tweede voorwaarde voldeden (ΔR² > .13). Hieruit bleek dat de verschillen in R²-waarden uiterst klein waren: het maximale verschil was slechts .013, het gemiddelde verschil was .008. Hoewel niet erg informatief bij zulke kleine effectgroottes bleken veertien items uniforme DIF, één item duidelijke non-uniforme DIF en de overige vier beide vormen te vertonen.

 

Autochtonen vergeleken met Turken en Marokkanen
Omdat we een vrij grote groep allochtonen met een Turkse of Marokkaanse achtergrond in onze onderzoeksgroep hadden, hebben we ook gekeken naar items die DIF vertoonden wanneer deze groep met de autochtone groep vergeleken werden. Onderzoek naar deze specifieke groep is relevant, omdat van alle niet-westerse allochtonen in Nederland, personen met een Marokkaanse of Turkse achtergrond de grootste groep vormen (20% en 19% respectievelijk; CBS, 2013). Om als Turks of Marokkaans aangemerkt te kunnen worden moest de persoon zelf of één van de ouders in Turkije of Marokko geboren zijn. In totaal werden 162 (22%) Turken en Marokkanen vergeleken met 575 autochtonen (78%). De kenmerken van deze groep staan beschreven in Tabel 6.19.

 

We hielden dezelfde procedures, zoals hierboven beschreven, aan als bij de gehele onderzoeksgroep: op basis χ² waarde van de Mantel test kwamen 41 items (21%) items naar voren als potentiële DIF items, na inspectie van de Standardized Mantel-Haenszel Log-Odds Ratio nog 34 (17%). Voor deze items hebben we weer de drie hiërarchische modellen van Zumbo (1999) getoetst. In totaal bleek bij 22 items (11%) het verschil tussen de χ² waarden van Model 3 en Model 1 significant (bij α = .01). Deze items zijn weergegeven in Tabel 6.20, samen met het verschil in R²-waarden tussen Model 3 en Model 1. Ook hier gold weer dat de verschillen tussen de groepen miniem waren.

 

Conclusie
Uit onze analyses kunnen we concluderen dat er wel enige indicaties zijn voor DIF bij een aantal items, maar dat er geen sprake is van substantiële DIF. Vaak vertoonden slechts één of twee items per schaal DIF en de effectgrootten waren bij alle items zeer klein; het totale effect op de schaalscores zal dus verwaarloosbaar zijn. Daarmee geeft dit onderzoek niet aan dat hier bij de interpretatie apart rekening gehouden hoeft te worden.
Opvallend is wel dat de schaal Contactbehoefte veel items heeft die potentiële DIF vertonen: hoewel de effectgrootten bij deze items ook klein waren is dit wel iets om in de toekomst te blijven monitoren. Meer onderzoek nodig zijn om uit te zoeken wat verantwoordelijk kan zijn voor deze bevinding. Een andere kanttekening die gemaakt kan worden is het feit dat de allochtonen in onze onderzoeksgroep relatief hoog opgeleid waren (zie Tabel 6.16), wat de resultaten enigszins beïnvloedt kan hebben.

6.5. Externe validiteit: Soortgenotenvaliditeit

Voor het onderzoeken naar de externe validiteit zijn twee onderzoeken met soortgenoten, oftewel tests die hetzelfde zouden moeten meten, uitgevoerd. Bij het validiteitsonderzoek is parallel aan de WPV Compact telkens een andere vergelijkbare vragenlijst opgenomen, namelijk de BFI en de HEXACO-PI-R. Beide onderzoeken worden hier besproken.

6.5.1. Onderzoek met de BFI

Als onderzoek naar de convergente en discriminante validiteit van de WPV Compact is er gekeken naar de relatie met de Big Five Inventory (BFI; John & Srivastava, 1999). De BFI is een korte vragenlijst (slechts 44 items) die – de naam zegt het al – de vijf factoren van het Big Five model meet, namelijk Openheid, Consciëntieusheid, Extraversie, Vriendelijkheid en Neuroticisme. Onderzoek heeft aangetoond dat de Nederlandse vertaling van de BFI een betrouwbare en valide vragenlijst is met goede psychometrische kwaliteiten (Denissen et al., 2008). Omdat zowel de BFI als de WPV het Big Five model als theoretische achtergrond hebben, hebben we ervoor gekozen deze twee vragenlijsten met elkaar te vergelijken.

De WPV Compact komt sterk overeen met het Big Five model, al zijn er enkele kleine uitzonderingen. Dat wil zeggen, bepaalde factoren van het Big Five model zijn uiteen gevallen in verschillende schalen die verdeeld zijn over meerdere Big Five factoren. Zo is de factor Consciëntieusheid opgedeeld in twee factoren. Structuur, waar de schalen Ordelijkheid, Nauwkeurigheid en Regelmaat onder vallen, en Gedrevenheid, waar de schalen Energie, Zelfontwikkeling en Volharding in vallen. Tegelijkertijd bevat de WPV factor Sociabiliteit weer schalen die horen bij de Big Five factor Extraversie en bij de Big Five factor Vriendelijkheid. Deze relaties zijn weergegeven in Tabel 6.21. Deze relaties hebben wij gebruikt om hypotheses te formuleren ter ondersteuning van de begripsvaliditeit, en helpen goed bij de interpretatie van de resultaten.

 

6.5.1.1. Convergente validiteit

Hypotheses op factorniveau
Op basis van deze tabel kunnen we hypotheses formuleren. Op factorniveau betekent dit het volgende: we verwachten dat de meest geprononceerde correlatie van de factor Invloed die met Extraversie zal zijn, voornamelijk door de schalen Dominantie en Zelfvertoon, die in het Big Five model onder Extraversie vallen.
Omdat er drie schalen die bij de factor Sociabiliteit van de WPV Compact zijn ondergebracht die theoretische overlap met Extraversie van de BFI vertonen, zullen deze een positieve samenhang vertonen. Omdat er echter ook drie schalen van Sociabiliteit zijn die ingedeeld kunnen worden bij Vriendelijkheid, verwachten we ook tussen deze twee factoren een positieve samenhang. Aangezien Sociabiliteit in tweeën uiteenvalt in deze schalen verwachten we dat de correlaties tussen Sociabiliteit en Extraversie enerzijds en tussen Sociabiliteit en Vriendelijkheid anderzijds van vergelijkbare grootte zijn.
Door de theoretische overlap van drie schalen van Gedrevenheid van de WPV Compact met de factor Openheid van de BFI verwachten we een positieve samenhang tussen deze twee factoren. Omdat de overige drie schalen van de factor Gedrevenheid theoretisch bij de factor Consciëntieusheid horen van het Big Five model, zullen ook deze factoren samenhang vertonen. Aangezien de factor Gedrevenheid uiteenvalt in deze twee factoren van de BFI, mogen we verwachten dat de correlaties tussen Gedrevenheid en Openheid enerzijds en Gedrevenheid en Consciëntieusheid anderzijds van vergelijkbare grootte zijn.
De factor Structuur van de WPV Compact zal het hoogst correleren met Consciëntieusheid. Uit Tabel 6.21 blijkt dat we correlaties mogen verwachten tussen zowel Gedrevenheid en Consciëntieusheid en Structuur en Consciëntieusheid. Kijkend naar de inhoud van de items, dan zien we dat vooral de structuur-kant in de BFI is opgenomen: namelijk grondig te werk gaan, niet geneigd zijn tot slordigheid. Daarom verwachten we dat de correlatie tussen Structuur en Consciëntieusheid hoger zal zijn dan de correlatie tussen Gedrevenheid en Consciëntieusheid.
Tot slot, omdat de factor Stabiliteit van de WPV Compact het meest ‘zuiver’ overeenkomt met de factor Neuroticisme van de BFI, verwachten we dat de negatieve correlatie tussen deze twee factoren het hoogst zal zijn.

Hypotheses op schaalniveau
Wat betreft de relaties tussen de schalen van de WPV Compact en de factoren van de BFI verwachten we een positieve relatie tussen de schalen Dominantie en Zelfvertoon enerzijds en de factor Extraversie van de BFI anderzijds. Hoewel de schalen Status en Competitie niet direct binnen het FFM passen verwachten we wel de hoogste correlaties met Extraversie, omdat deze schalen ook betrekking hebben op het naar buiten treden en je laten gelden in sociale interacties.
Ook verwachten we positieve correlaties tussen de schalen Contactbehoefte, Sociaal Ontspannen en Zelfonthulling en de factor Extraversie. Verder verwachten we positieve correlaties tussen Vernieuwing, Originaliteit en Onafhankelijkheid met de factor Openheid. Voor de factor Consciëntieusheid van de BFI verwachten we positieve correlaties met de schalen Ordelijkheid, Nauwkeurigheid, Regelmaat, Energie, Zelfontwikkeling en Volharding. We verwachten positieve relaties tussen Vertrouwen, Hartelijkheid en Zorgzaamheid enerzijds en Vriendelijkheid anderzijds. Ten slotte verwachten we een negatieve relatie tussen de schalen horend bij de factor Stabiliteit van de WPV Compact en Neuroticisme van de BFI.

6.5.1.2. Discriminante validiteit

Wat betreft de discriminante validiteit verwachten we allereerst dat de correlaties tussen de factoren en de schalen van de WPV Compact enerzijds en de factoren van de BFI anderzijds waar geen hypotheses over geformuleerd zijn onder de .40 zullen zijn.
Ten tweede kunnen we, op basis van onderzoek naar de intercorrelaties van de Big Five, hypotheses opstellen over de discriminante validiteiten. In een meta-analyse door Mount et al. (2005) naar de intercorrelaties van de Big Five waren de laagst gevonden correlaties die tussen Extraversie en Consciëntieusheid (.17), Openheid en Consciëntieusheid (.09) en Openheid en Vriendelijkheid (.17). We verwachten dan ook lage correlaties tussen Invloed en Sociabiliteit (WPV Compact) en Consciëntieusheid (BFI), de schalen Zelfontwikkeling, Vernieuwing, Originaliteit en Onafhankelijkheid (WPV Compact) en Consciëntieusheid en deze zelfde schalen en Vriendelijkheid (BFI).

6.5.1.3. Steekproef

De steekproef bestond in totaal uit 394 personen. Deze steekproef vormde een subgroep van de normgroep: hoe de data precies verzameld is en wat de kenmerken zijn van deze groep is uitgebreid beschreven in Hoofdstuk 4, Normen. De personen in de subgroep zijn geheel willekeurig geselecteerd uit de totale steekproef van 681 personen. Van deze subgroep bestond 52% uit mannen. De gemiddelde leeftijd was 42 jaar met een standaardafwijking van 12.18, met een minimum leeftijd van 18 en een maximum leeftijd van 65 jaar. In totaal had 15% een laag opleidingsniveau, 40% een gemiddeld opleidingsniveau en 46% een hoger opleidingsniveau. Vergeleken met de Nederlandse beroepsbevolking was de verdeling over de provincies representatief te noemen, met relatief de meeste mensen uit Zuid-Holland (19.5%), Noord-Brabant (11.9%), Noord-Holland (14.0%) en Gelderland (12.9%).

De betrouwbaarheden van de factoren van de BFI en de factoren en schalen van de WPV Compact zijn weergegeven in Tabel 6.22. De gemiddelde Cronbach’s alfa waarde van de factoren van de BFI was .80, van de factoren van de WPV Compact .95 en van de schalen .87. De betrouwbaarheden van de constructen in deze streekproef zijn dus goed te noemen.

6.5.1.4. Resultaten

In Tabel 6.23 zijn de correlaties tussen de schalen en factoren van de WPV Compact en de factoren van de BFI waar hypotheses voor opgesteld waren weergegeven. De volledige correlatietabel is opgenomen in Bijlage 6.3.

Relaties factoren van de WPV Compact en factoren van de BFI

De factor Invloed van de WPV Compact hangt, zoals voorspeld, sterk samen met de factor Extraversie van de BFI (r = .57). Invloed correleert niet hoger met een andere factor, hoewel de samenhang met Openheid ook sterk te noemen is (r = .47).
Sociabiliteit hangt, zoals gehypothetiseerd, sterk samen met Extraversie van de BFI (r =.78). Deze correlatie is significant hoger⁸ dan de correlatie tussen Sociabiliteit en Vriendelijkheid (r = .58). Blijkbaar komt de Extraversie-component in de factor Sociabiliteit (vertegenwoordigd door de schalen Contactbehoefte, Sociaal ontspannen en Zelfonthulling) sterker naar voren dan de Vriendelijkheid-component. Vriendelijkheid van de BFI vertoont de sterkste samenhang met Sociabiliteit: er is blijkbaar geen andere factor van de WPV Compact die deze factor beter vertegenwoordigd dan Sociabiliteit.
Zoals voorspeld correleert Gedrevenheid inderdaad, door de schalen Vernieuwing, Originaliteit, Onafhankelijkheid en Zelfontwikkeling, hoog met Openheid (r = .69) en, door de overige schalen, met Consciëntieusheid (r = .50). De samenhang tussen Openheid en Gedrevenheid is significant sterker dan die tussen Consciëntieusheid en Gedrevenheid: Gedrevenheid lijkt dus meer Openheid dan Consciëntieusheid te meten. Opvallend is ook de hoge correlatie tussen Gedrevenheid en Extraversie (r = .52). Een verklaring hiervoor kan zijn dat Energie, bij de WPV Compact bij Gedrevenheid ondergebracht, bij de BFI onder Extraversie wordt gerekend.
De correlatie tussen Structuur en Consciëntieusheid is hoog (r = .63) en hoger dan de correlaties van Structuur met andere factoren. Zoals voorspeld is deze correlatie hoger dan de correlatie tussen Gedrevenheid en Consciëntieusheid (r = .50). Hieruit kunnen we concluderen dat Structuur inderdaad de nauwgezetheid en zorgvuldigheid van Consciëntieusheid meet.
Tot slot zien we dat Stabiliteit van de WPV Compact en Neuroticisme van de BFI zeer sterke samenhang vertonen (r = -.82), hoger dan welke gevonden samenhang dan ook. Zoals verspeld vertonen deze factoren dus grote overlap in wat zij meten, namelijk (het gebrek aan) emotionele stabiliteit van een persoon.

Relaties schalen van de WPV Compact en factoren van de BFI
De correlaties van de Invloed-schalen, Dominantie (r = .64), Zelfvertoon (r = .62), Contactbehoefte (r = .61), Sociaal ontspannen (r = .73) en Zelfonthulling (r = .54) met de factor Extraversie van de BFI zijn erg hoog te noemen. Bovendien is er geen andere factor waar deze schalen hoger mee correleren.

Ook de correlaties van de schalen Vertrouwen (r = .46), Hartelijkheid (r = .59) en Zorgzaamheid (r = .58) met de factor Vriendelijkheid zijn, zoals voorspeld, hoog. Vertrouwen (r = .47) en Hartelijkheid (r = .73) laten wel hogere correlaties zien met de schaal Extraversie, hoewel het verschil in correlaties voor Vertrouwen niet significant is. Dit is een interessante bevinding, omdat de Sociabiliteit factor van de WPV een samenvoeging is van Extraversie en Vriendelijkheid van het FFM. Het feit dat de correlaties van deze schalen hoog zijn met zowel de factor Extraversie en Vriendelijkheid levert bewijs voor een bevestiging van deze keuze.

De correlaties van de schalen Energie (r = .50), Zelfontwikkeling (r = .34) en Volharding (r = .60) duiden op goede validiteit met de factor Consciëntieusheid van de BFI. Voor Volharding geldt dat er geen correlatie met andere schalen hoger is dan die met Consciëntieusheid.

Voor de Structuur-component van Consciëntieusheid zien we dat vooral de schalen die echt duiden op zorgvuldigheid, namelijk Ordelijkheid (r = .64) en Nauwkeurigheid (r = .69), inderdaad hoge correlaties laten zien met Consciëntieusheid. Ook de correlatie met Weloverwogen (r = .37) is aanzienlijk en bovendien de hoogste in vergelijking met correlaties met de andere factoren. Conformisme, een schaal die in het FFM niet duidelijk aanwezig is, correleert met de factor Consciëntieusheid (r = .20) maar ook met de factor Vriendelijkheid (r = .26).
Opvallend is de niet-significante correlatie (r = .04) van Regelmaat met de factor Consciëntieusheid van de BFI. Inspectie van de correlaties met de overige factoren laat zien dat deze schaal vooral gerelateerd lijkt te zijn aan Neuroticisme (r = .38): mensen met hogere scores op Regelmaat scoren dus ook hoger op de Neuroticisme factor van de BFI. De items van Regelmaat meten het leven volgens vaste regels, het dingen op steeds dezelfde manier doen en het leven volgens een vaste indeling. Een verklaring voor de positieve correlatie kan zijn dat een hoge drang naar Regelmaat lijkt op het (dwang)neurotisch naleven van regels, of dat angstige en bezorgde mensen hun leven indelen volgens vaste regels en procedures om deze angstigheid en bezorgdheid zoveel mogelijk te minimaliseren.

De schalen Vernieuwing, Originaliteit, Onafhankelijkheid en Zelfontwikkeling (horend bij Gedrevenheid) laten, zoals voorspeld, duidelijke convergente validiteit met de factor Openheid zien. De correlaties zijn hoog, .56 voor Vernieuwing, .74 voor Originaliteit, .40 voor Onafhankelijkheid en .48 voor Zelfontwikkeling. Bovendien zijn voor al deze schalen de correlaties hoger dan de correlaties met andere factoren.

Ook de schalen horend bij de factor Stabiliteit laten sterke convergente validiteit met de factor Neuroticisme van de BFI zien (r = -.82). De correlaties zijn, zoals verwacht, sterk negatief en hoger dan de correlaties met de andere factoren van de BFI.

Discriminante validiteit
Over het algemeen zijn de correlaties tussen de schalen en factoren van de WPV Compact en de factoren van de BFI waar geen relatie voor verwacht werd kleiner dan .40. Er zijn wel enkele uitzonderingen, deze zijn in Tabel 6.24 weergegeven. Wanneer we naar deze relaties kijken zijn deze grotendeels verklaarbaar: zoals gezegd zien we dat de schalen horend bij de factor Sociabiliteit hoog correleren met zowel Extraversie als Vriendelijkheid. Dit is juist één van de redenen geweest om bij de WPV deze factoren samen te voegen en vormt in dat opzicht geen bewijs tegen discriminante validiteit. Vooral de zeer hoge correlatie van Hartelijkheid met Extraversie valt op (r = .73). Wanneer we naar de inhoud van de items kijken dan is dit echter zeer eenvoudig te verklaren: beiden meten hartelijkheid, enthousiasme en spontaniteit. De items lijken qua bewoording sterk op elkaar. Het item “Ik zie mezelf als iemand die hartelijk, een gezelschapsmens is.” van de BFI lijkt sterk op “Mensen vinden mij hartelijk.” van de WPV Compact, evenals de items “Ik zie mezelf als iemand die veel enthousiasme opwekt.” (BFI) en (het negatief gestelde) “Ik vind het moeilijk om enthousiast te reageren.” (WPV Compact).
Stabiliteit lijkt verder een meer onderliggende factor te zijn, die ook samenhangt met Consciëntieusheid, Extraversie en Vriendelijkheid. Hoewel de correlaties van (de schalen horend bij) Stabiliteit met andere factoren hoog zijn te noemen, is de correlatie met Neuroticisme echter aanzienlijk hoger.
Verder valt op dat Extraversie met veel schalen van de WPV samenhangt. Wanneer we naar de items van Extraversie kijken dan is dit ook te verklaren. Er zitten elementen van Energie in (“Ik zie mezelf als iemand die vol energie is.”), maar ook bijvoorbeeld van Zelfvertoon (“Ik zie mezelf als iemand die soms verlegen, geremd is.”). Deze diversiteit van Extraversie kan de relaties met de schalen van de WPV Compact verklaren.

Zoals we voorspeld hadden op basis van de meta-analyse van Mount et al. (2005), zijn de correlaties tussen Invloed en Sociabiliteit met Consciëntieusheid van de BFI laag, .09 en .19 respectievelijk. Het gemiddelde van deze correlatie (r = .14) is bijna gelijk aan de gevonden correlatie door Mount et al. (r = .17).
De gemiddelde correlatie tussen de schalen Zelfontwikkeling, Vernieuwing, Originaliteit en Onafhankelijkheid (behorend bij Openheid in het FFM) en Vriendelijkheid is .17. Deze correlatie komt exact overeen met de correlatie gevonden door Mount et al. (2005). De gemiddelde correlatie tussen de deze zelfde schalen en Consciëntieusheid is .28. Dit lijkt erop te duiden dat we hiervoor geen bewijs voor divergente validiteit vinden. Echter, de correlatie tussen Openheid van de BFI en Structuur van de WPV Compact is niet significant en klein (r = -.01). Blijkbaar meet de factor Structuur zuiverder de BFI factor Consciëntieusheid dan dat de schalen Zelfontwikkeling, Vernieuwing, Originaliteit en Onafhankelijkheid de BFI factor Openheid meten.

6.5.1.5. Conclusies

Ondersteuning voor de begripsvaliditeit van de factoren van de WPV Compact
Voor alle factoren van de WPV Compact vinden we ondersteuning voor de convergente validiteit. De factoren van de WPV Compact lieten duidelijke samenhang zien met de factor(en) van de BFI waar theoretische overlap mee was. De factoren van de WPV Compact die bestonden uit schalen die bij twee factoren van de BFI ondergebracht konden worden correleerden met beide factoren. Vooral overeenkomst tussen de factor Stabiliteit en Neuroticisme was aanzienlijk. Ook vonden we bewijs voor discriminante validiteit, hoewel Stabiliteit ook veel relaties met andere factoren liet zien.

Ondersteuning voor de begripsvaliditeit van de schalen van de WPV Compact
Voor het merendeel van de schalen van de WPV Compact is er ondersteuning voor de begripsvaliditeit. Alle hypotheses werden ondersteund, behalve voor de schaal Regelmaat. Deze schaal hing meer samen met Neuroticisme dan met Consciëntieusheid. Over het algemeen kunnen we stellen dat dit onderzoek ondersteuning biedt voor de construct validiteit van de schalen van de WPV Compact.

6.5.2. Onderzoek met de HEXACO-PI-R

De begripsvaliditeit van de WPV Compact is vervolgens verder onderzocht door een groep van 249 personen zowel de WPV Compact als de HEXACO-PI-R in te laten vullen. Er is gekozen voor de HEXACO-PI-R (100 items) omdat het een betrouwbare en gevalideerde persoonlijkheidsvragenlijst met goede psychometrische kwaliteiten betreft (de Vries, Ashton & Lee, 2009). Bovendien hanteert de HEXACO-PI-R ook een structuur met hogere orde constructen (factoren) en lagere orde constructen (facetten). De HEXACO-PI-R hanteert zes factoren: Honesty-Humility (Integriteit), Emotionality (Emotionaliteit), Extraversion (Extraversie), Agreeableness (Verdraagzaamheid), Conscientiousness (Consciëntieusheid) en Openness to experience (Openheid voor Ervaringen). De belangrijkste toevoeging van dit model ten opzichte van het Big Five model is dus de Integriteitsfactor.

Een belangrijke reden om de HEXACO-PI-R te gebruiken is het feit dat dit instrument werkt met facetten: iedere factor bestaat uit vier facetten. Ook wordt er een overkoepelend (interstitieel) facet, Altruïsme, gemeten: dit wordt gezien als een facet dat alle interpersoonlijke relaties beïnvloedt. We kunnen dus onderzoeken of schalen van de WPV die theoretisch en nomologisch overlappen met de facetten van de HEXACO-PI-R met elkaar correleren.

6.5.2.1. Hypotheses

Op basis van de definities van de schalen en factoren van de WPV Compact en de facetten en factoren van de HEXACO-PI-R zijn een aantal relaties te verwachten. De definities van de factoren van de HEXACO-PI-R zijn opgenomen in Bijlage 6.4.
Bij het opstellen van hypotheses zijn we als volgt te werk gegaan: de schalen van de WPV Compact en de facetten van de HEXACO-PI-R werden onderling vergeleken qua inhoud, maar ook op mogelijke onderlinge relaties. Zo hoefde de inhoud van een schaal niet met de inhoud van een facet overeen te komen, maar kon er wel een voorspelling worden gedaan over de relaties tussen de twee. We kunnen bijvoorbeeld verwachten dat iemand die hoog scoort op het item van de schaal Status (Invloed), “Ik vind het belangrijk om een hoge functie te hebben.”, laag scoort op het item “Veel geld bezitten vind ik onbelangrijk.” van het facet Hebzucht vermijding (factor Integriteit). In deze gevallen verwachtten we een correlatie van .30 of hoger.
Wat betreft de inhoud kwamen schalen soms deels overeen met de facetten. Een voorbeeld hiervan is de schaal Originaliteit van de WPV Compact (voorbeelditem “Ik kan creatief denken”) en het facet Creativiteit (voorbeelditem “Mensen vertellen me vaak dat ik een levendige verbeelding heb”). Een ander item van Creativiteit is echter “Ik zou graag iets kunstzinnigs doen, zoals een boek schrijven, een lied componeren of een schilderij maken.” Omdat er wel overlap is tussen de schaal en het facet, maar beiden niet in de kern overeenkomen, verwachtten we in deze gevallen ook een correlatie van .30 of hoger.
Soms waren er schalen en facetten die vrijwel geheel overeenkwamen qua iteminhoud: in dat geval verwachtten we een zeer sterke relatie. De schaal Dominantie (voorbeelditem: “Ik ben vaak de leider in een groep”) kwam bijvoorbeeld zeer sterk overeen met Sociale bravoure (voorbeelditem: “Als ik met andere mensen samen ben, ben ik vaak de woordvoerder van de groep.”). Omdat deze schalen en facetten in de kern hetzelfde meten verwachtten we in deze gevallen een correlatie van .50 of hoger.
Door drie psychologen werkzaam bij Ixly zijn, onafhankelijk van elkaar, hypotheses opgesteld. Vervolgens zijn de hypotheses met elkaar vergeleken en besproken waar de verschillen lagen. Uiteindelijk zijn alleen de hypotheses behouden waar men het na discussie unaniem over eens was.

Hypotheses op factorniveau
We waren allereerst geïnteresseerd in de relaties tussen de factoren van de WPV Compact en de factoren van de HEXACO-PI-R. Om tot hypotheses op factorniveau te komen hebben we het aantal verwachte relaties tussen de schalen en facetten geteld. Wanneer er één zeer sterke relatie of meer dan drie redelijke relaties werden verwacht tussen schalen van een WPV factor en tussen facetten horend bij een bepaalde factor van de HEXACO-PI-R, dan werd een hypothese voor een relatie tussen deze twee factoren opgesteld.
Bijvoorbeeld: voor de schalen horend bij de factor Invloed gold dat er zes gematigde relaties werden verwacht met facetten horend bij de factor Integriteit, vier relaties (waarvan twee zeer sterk) met facetten horend bij Extraversie, twee met Consciëntieusheid, één met Verdraagzaamheid en één met Emotionaliteit. Dit resulteerde dus in hypotheses over een relatie tussen Invloed en Integriteit, en tussen Invloed en Extraversie. Hieronder worden de hypotheses op factorniveau voor de overige factoren kort uiteengezet.

Sociabiliteit
De factor Sociabiliteit vertoont grote overeenkomsten met de factor Extraversie van de HEXACO-PI-R. Schalen als Contactbehoefte en Sociaal ontspannen lijken qua inhoud veel op items van de facetten Sociabiliteit en Sociale bravoure van de Extraversie factor van de HEXACO-PI-R. We verwachten dan ook een sterke positieve correlatie tussen deze twee factoren. Sociabiliteit van de WPV Compact bevat echter ook schalen die overeenkomsten vertonen met facetten van de factor Verdraagzaamheid. Schalen als Vertrouwen en Zorgzaamheid vertonen qua inhoud overeenkomsten met de schalen Zachtaardigheid en Vergevingsgezindheid. We verwachten dus ook een positieve samenhang tussen Sociabiliteit van de WPV Compact en Verdraagzaamheid van de HEXACO-PI-R.
De factor Extraversie van de HEXACO-PI-R vertoont echter meer overlap met Sociabiliteit dan dat Verdraagzaamheid met Sociabiliteit vertoont. Verdraagzaamheid bevat bijvoorbeeld ook de schalen Aanpassingsbereidheid en Geduld, die we niet terugvinden bij de Sociabiliteit factor van de WPV Compact. Hierdoor verwachten we dat de correlatie tussen Sociabiliteit en Extraversie hoger zal zijn dan de correlatie tussen Sociabiliteit en Verdraagzaamheid.

Gedrevenheid
De schaal Energie van de WPV Compact vertoont grote overeenkomst met het facet Levendigheid van de HEXACO-PI-R. Daarom verwachten we een positieve relatie met de factor Extraversie. Andere schalen, zoals Originaliteit en Vernieuwing, lijken qua inhoud op de schalen Creativiteit en Onconventionaliteit waardoor we ook samenhang met Openheid kunnen verwachten. Tot slot, de schalen Volharding (bijvoorbeeld “Ik ga door tot het werk af is.”) en Zelfontwikkeling (bijvoorbeeld “Ik wil steeds beter worden in mijn werk.”) vertonen qua inhoud gelijkenis met items uit de factor Consciëntieusheid (bijvoorbeeld het (negatief gestelde) “Als ik een doel stel, komt het vaak voor dat ik het opgeef voordat ik het bereikt heb.” van het facet IJver). Ook met Consciëntieusheid verwachten we dus een positieve relatie.

Structuur
We verwachten een sterke positieve correlatie tussen de factor Structuur en Consciëntieusheid. De factor Structuur van de WPV Compact komt namelijk bijna geheel overeen met de Consciëntieusheid factor van de HEXACO-PI-R: beide factoren meten nauwgezetheid, nauwkeurigheid, het bedachtzaam nemen van beslissingen en bevatten zelfs beiden een lagere orde construct met dezelfde naam (Ordelijkheid).

Stabiliteit
De factor Stabiliteit lijkt qua naamgeving het meest op de factor Emotionaliteit. Beide factoren beogen de emotionele (in)stabiliteit van een persoon te meten. We verwachten dan ook een negatieve relatie tussen deze twee factoren.

Wanneer we echter kijken naar de items behorend bij de schalen die vallen onder Stabiliteit, dan verwachten we een minstens zo sterke relatie met Extraversie. Dit wordt duidelijk wanneer we bijvoorbeeld de items van Zelfvertrouwen (voorbeelditem: “Ik vind het moeilijk om positief over mezelf te denken.”) of Positivisme (voorbeelditem: “Ik heb vaak een vervelend gevoel.”) met de items van respectievelijk Sociale zelfwaardering (voorbeelditem: “Soms heb ik het gevoel dat ik een waardeloos persoon ben.”) en Levendigheid (voorbeelditem (negatief gesteld): “De meeste dagen voel ik me blij en optimistisch.”) vergelijken. Op basis hiervan verwachten we dus ook een positieve relatie met Extraversie.

Tot slot verwachten we een positieve relatie tussen Stabiliteit en Verdraagzaamheid door de relaties van de schalen Frustratietolerantie (voorbeelditem “Ik blijf bijna altijd rustig.”) en Incasseringsvermogen (voorbeelditem: “Ik kan goed tegen kritiek.”) met Zachtaardigheid (voorbeelditem “Zelfs als mensen veel fouten maken, zeg ik zelden iets negatiefs.”), Aanpassingsbereidheid (voorbeelditem “Als mensen mij vertellen dat ik het mis heb, is mijn eerste reactie dit aan te vechten.”) en Geduld (voorbeelditem (negatief geformuleerd): “Ik vind het moeilijk niet boos te worden als mensen mij beledigen.”).

De hypotheses op factorniveau zijn beknopt weergegeven in Tabel 6.25.

 

Hypotheses op schaal- en facetniveau
Bij het opstellen van hypotheses op factorniveau gaat er, zoals bij elke vorm van aggregatie, belangrijke informatie verloren. Omdat het hier gaat om hogere orde constructen die een optelsom vormen van lagere orde constructen, worden belangrijke onderlinge relaties tussen lagere orde constructen gemaskeerd. Daarom hebben we besloten ook de hypotheses over relaties tussen de schalen van de WPV Compact en de facetten van de HEXACO-PI-R te toetsen.

Een deel van deze relaties zijn al aan bod gekomen in de bespreking van de hypotheses op factorniveau. Met het oog op de beknoptheid van deze handleiding is het echter bijna onmogelijk om op alle verwachte relaties in te gaan. Een beknopt maar volledig overzicht van alle hypotheses op schaal- en facetniveau is daarom schematisch gegeven in Tabel 6.25.

6.5.2.2. Steekproef

De steekproef bestond uit 249 personen. Deze steekproef vormde een subgroep van de normgroep: hoe de data verzameld is en wat de kenmerken precies zijn van deze groep is uitgebreid beschreven in Hoofdstuk 4, Normering. De personen in de subgroep zijn geheel willekeurig geselecteerd uit de totale steekproef van 681 personen. Van deze subgroep bestond 49% uit mannen. De gemiddelde leeftijd was 41.7 jaar (standaardafwijking 12.1), met een minimum leeftijd van 18 en een maximum van 64 jaar. In totaal had 11.6% een laag opleidingsniveau, 45.0% een gemiddeld opleidingsniveau en 43.4% een hoger opleidingsniveau. Vergeleken met de Nederlandse beroepsbevolking was de verdeling over de provincies redelijk representatief te noemen, met een kleine oververtegenwoordiging van mensen uit Noord-Holland (20.5%). Verder kwamen, representatief voor Nederland, relatief de meeste mensen uit Zuid-Holland (18.9%), Noord-Brabant (14.5%), en Gelderland (10.8%). Van de ondervraagden behoorde 10.4% tot de werkloze beroepsbevolking. De betrouwbaarheden van de factoren en facetten van de HEXACO-PI-R zijn weergegeven in Tabel 6.26.

 

De betrouwbaarheden van de factoren van de HEXACO-PI-R zijn goed (gemiddeld .81). De betrouwbaarheden van de facetten zijn echter laag (inclusief Altruïsme gemiddeld .64). Bij negen van de 25 schalen was de interne consistentie lager dan .60. Dit was het geval voor Oprechtheid, Afhankelijkheid, Sociabiliteit, Zachtaardigheid, Aanpassingsbereidheid, Geduld, Bedachtzaamheid, Creativiteit en Onconventionaliteit.
Het ligt voor de hand dat dit komt door het feit dat elk facet slechts uit vier items bestaat: de items dekken wel het volledige facetdomein, maar meten ieder een ander aspect, wat leidt tot een lage interne consistentie. Aan de hand van de Spearman-Brown prophecy formule hebben we onderzocht wat de betrouwbaarheid zou zijn van de facetten als ze niet vier maar acht (het gemiddelde aantal items van de schalen van de WPV Compact) items zouden bevatten. De gemiddelde betrouwbaarheid van de facetten (inclusief Altruïsme) zou in dat geval op .78 uitkomen, waarbij alleen Onconventionaliteit onder de .60 zou zijn (α = .59). We hebben hierom besloten wel de correlaties tussen de schalen en facetten te rapporteren, maar waarschuwen de lezer om de correlaties met de facetten die lager dan .60 met enige voorzichtigheid te interpreteren.

De betrouwbaarheden van de schalen en factoren van de WPV Compact zijn weergegeven in Tabel 6.27.

De betrouwbaarheden van de schalen (gemiddeld .86) en de factoren (gemiddeld .95) van de WPV Compact zijn goed te noemen. Alleen voor de schaal Competitie geldt dat de Cronbach’s alfa lager dan .80 is.

6.5.2.3. Resultaten

De factoren van de WPV Compact en de HEXACO-PI-R zijn, zoals duidelijk werd in de sectie over de hypotheses op factorniveau, gemengde vormen van elkaar. Daarom kunnen we veel relaties tussen factoren verwachten. Daarom beschouwen we bij de relaties tussen de factoren alleen correlaties boven .40 als substantieel. In Tabel 6.28 zijn de correlaties groter dan ||.40|| weergegeven tussen de factoren van de WPV Compact en van de HEXACO-PI-R. De dikgedrukte correlaties zijn de correlaties waar hypotheses voor opgesteld zijn. In Bijlage 6.5 is de volledige correlatietabel opgenomen.

Onze hypotheses op factorniveau worden bevestigd. De samenhang tussen Invloed en Extraversie is groot (r = .51). Hoewel de correlatie met Integriteit significant en in de juiste richting is, is de samenhang tussen deze twee factoren niet erg sterk (r = -.29). We vinden ook een redelijk sterke samenhang tussen Invloed en Openheid (r = .37). De correlatie tussen Invloed en Extraversie is echter significant hoge dan deze correlatie, wat ook geldt voor de correlaties met de andere factoren van de HEXACO-PI-R.
Zoals verwacht hangt Sociabiliteit zeer sterk samen met Extraversie (r = .80). Met correlaties van deze hoogte kunnen we stellen dat deze twee factoren vrijwel hetzelfde domein meten. Ook de validiteit tussen Sociabiliteit en Vriendelijkheid is hoog (r = .46). Zoals voorspeld is de samenhang tussen Sociabiliteit en Extraversie significant sterker dan de samenhang tussen Sociabiliteit en Verdraagzaamheid. We vinden ook een redelijke samenhang tussen Sociabiliteit en Openheid (r = .39). Bij inspectie van de relaties tussen schalen en facetten bleek dit voornamelijk door de relaties met Sociaal ontspannen te komen, en in mindere mate Hartelijkheid en Zorgzaamheid. Een verklaring kan zijn dat Openheid ook samen gaat met open staan naar andere mensen, wat deze drie schalen alle drie meten. Voor Sociabiliteit geldt ook weer dat de correlaties tussen de factoren waarvoor hypotheses hebben opgesteld hoger zijn dan de correlaties met de overige factoren.

Ook voor de factor Gedrevenheid komen onze verwachtingen uit: deze factor laat duidelijke validiteit zien met Extraversie (r = .67), Consciëntieusheid (r = .54) en Openheid (r = .50). De correlaties van Gedrevenheid en de overige twee factoren komen niet boven de ||.30|| uit en laten dus goede divergente validiteit zien. Opvallend is het feit dat de grootste samenhang gevonden wordt met de Extraversie, wat te verklaren is door het facet Levendigheid van deze HEXACO-PI-R factor: de relatie van dit facet met de schaal Energie (r =.74, zie volgende sectie) van Gedrevenheid brengt de correlatie tussen beiden factoren sterk omhoog.
De factor Structuur laat uitstekende convergente en divergente validiteit zien; dit is dan ook, van alle WPV Compact factoren, de factor die het meest zuiver overeenkomt met één specifieke factor van de HEXACO-PI-R. De samenhang met Consciëntieusheid is zeer sterk (r =.74), terwijl de relaties met de overige factoren niet significant of laag (<||.30||) zijn. Bij de factor Stabiliteit ligt dit iets anders: zoals voorspeld is de samenhang met Emotionaliteit (r = -.48), Verdraagzaamheid (r = .59) en Extraversie (r = .77) sterk. De correlaties met de overige twee factoren komen echter beiden boven de .30 uit. Blijkbaar fungeert Stabiliteit als een ‘interstitiële factor’ (De Vries et al., 2009) bij de HEXACO-PI-R: dit wil zeggen dat elementen van wat gemeten wordt met de factor Stabiliteit in alle vormen van persoonlijkheid zoals gemeten door de HEXACO-PI-R lijkt voor te komen.

Uit Tabel 6.28 komt naar voren dat veel factoren correlaties vertonen met Extraversie. Deels hadden wij dit ook voorspeld: voor elke factor behalve Structuur verwachtten we een relatie met Extraversie. Hier wordt later uitgebreider op ingegaan.

Schalen met facetten
In Tabel 6.29 zijn de correlaties tussen de schalen van de WPV Compact en de facetten van de HEXACO-PI-R waar hypotheses voor opgesteld zijn weergegeven (de volledige correlatietabel van de schalen en facetten is opgenomen in Bijlage 6.6). Zoals beschreven in sectie 6.3.2.2., waren de betrouwbaarheden van 9 van de 25 facetten van de HEXACO-PI-R lager dan .60. In de tabel zijn deze schalen aangegeven met een asterisk (*). We attenderen de lezer erop dat de correlaties met deze schalen met enige voorzichtigheid dienen te worden geïnterpreteerd.
Omdat de hoogte van de correlaties tussen schalen en facetten beperkt worden door de onbetrouwbaarheid van met name de facetten van de HEXACO-PI-R beschouwen we in dit geval correlaties van >||.30|| als substantieel. In Tabel 6.29 zijn de correlaties >||.30|| dikgedrukt weergegeven.

 

In totaal worden 52 van de 70 voorspelde relaties (74.3%) teruggevonden. Hieruit kunnen we concluderen dat onze hypotheses grotendeels bevestigd worden en dat de schalen en facetten van de WPV Compact goede convergente validiteit laten zien. Hieronder worden de belangrijkste resultaten per factor samengevat.

Invloed
Wat betreft de schaal Status kunnen we zeggen dat onze hypotheses deels uitkomen. De relatie tussen Status en Oprechtheid is, zoals verwacht, negatief, maar niet significant. De correlaties met Bescheidenheid en IJver zijn aan de lage kant (<||.30||), maar wel significant en in de juiste richting. De verwachte samenhang met Hebzucht vermijding en Sociale bravoure wordt bevestigd r >||.30||). Bij Dominantie wordt onze verwachting van een zeer sterke samenhang met Sociale bravoure duidelijk bevestigd (r = .74). Bij een dergelijk hoge correlatie kunnen we concluderen dat beide lagere orde constructen hetzelfde domein beslaan. De overige hypotheses over de relaties met Oprechtheid, Bescheidenheid en Afhankelijkheid worden niet bevestigd.
Voor de schaal Competitie geldt dat we gematigd bewijs vinden voor de gestelde hypotheses: de relaties met de Bescheidenheid, Zachtaardigheid en IJver zijn significant en in de juiste richting, maar niet erg sterk (<||.30||). Voor Zelfvertoon vinden we duidelijk bewijst voor convergente validiteit met de HEXACO-PI-R: de relaties met het facet Sociabiliteit is sterk (> .30) en Sociale bravoure zeer sterk (> .50).

Sociabiliteit
Voor Contactbehoefte hadden we slechts één hypothese opgesteld: gezien het feit dat de inhoud van de items van deze schaal sterk overeenkwam met de schaal Sociabiliteit verwachten we een zeer sterke relatie (r >.50) tussen beide schalen. Dit wordt duidelijk bevestigd (r = .66).
We vinden bewijs voor alle drie de gehypothetiseerde relaties met de schaal Sociaal ontspannen enerzijds en Bezorgdheid, Sociale zelfwaardering en Sociale bravoure anderzijds. De correlaties met Bezorgdheid, Sociale zelfwaardering en Sociale bravoure zijn groter dan ||.40||, bovendien is de samenhang met Sociale bravoure, zoals voorspeld, duidelijk het sterkst (r = .67).
De hypothese dat Zelfonthulling samenhang vertoont met Afhankelijkheid wordt bevestigd (r = .33). Voor de schaal Vertrouwen wordt slechts één van de drie hypotheses bevestigd. Alleen de verwachte positieve relatie met Vergevingsgezindheid wordt teruggevonden. De relaties met Zachtaardigheid en Altruïsme zijn wel in de juiste richting en significant maar niet hoger dan .30. De voorspelde positieve relaties tussen Hartelijkheid en Geduld, Levendigheid en Altruïsme worden bevestigd: echter, de gevonden relaties voor Levendigheid en Altruïsme zijn sterker (> .50) dan we verwacht hadden. Alle verwachte relaties tussen Zorgzaamheid en de betreffende facetten van de HEXACO-PI-R komen uit, hoewel de relatie met Sentimentaliteit net niet de gewenste hoogte haalt (r = .28). Ook zien we terug dat de relatie met Altruïsme, zoals voorspeld, zeer sterk is (> .50).

Gedrevenheid
Het overgrote deel van de voorspellingen over de relaties tussen de schalen van Gedrevenheid en de facetten van de HEXACO-PI-R komen uit. Voor de schalen Volharding, Vernieuwing en Originaliteit komen de voorspellingen exact uit, ook wat betreft de sterkte van de relaties. Voor Energie vinden we een voorspelde zeer sterke relatie met Levendigheid, al is de relatie met IJver sterker dan verwacht. Voor Zelfontwikkeling geldt ook dat de relatie met IJver sterker dan verwacht is, terwijl de relatie met Weetgierigheid minder sterk is dan verwacht. Alleen de schaal Onafhankelijkheid is een uitzondering: de voorspelde relaties met Aanpassingsbereidheid (negatief) en Onconventionaliteit (positief) zijn wel in de goede richting en significant, maar zwak (< .30). Structuur

De verwachte relaties van de schalen Ordelijkheid en Weloverwogen komen uit, inclusief de sterkte van de relaties. Voor Nauwkeurigheid geldt dat de relatie met Ordelijkheid (van de HEXACO-PI-R) sterker is dan verwacht, terwijl de zeer sterke relatie met Perfectionisme bevestigd wordt. Het bewijs voor convergente validiteit voor de schaal Conformisme is minder sterk: alleen de relatie met Zachtaardigheid wordt teruggevonden, de relaties met Aanpassingsbereidheid en Onconventionaliteit zijn wel in de verwachte richting en significant, maar zwak (< .30). Tot slot vinden we geen bewijs voor convergente validiteit voor de schaal Regelmaat: de relaties met Ordelijkheid en Bedachtzaamheid zijn zwak (< .30). Stabiliteit

De voorspelde relaties van Zelfvertrouwen met Angstigheid en Sociale zelfwaardering worden bevestigd, inclusief de sterkte van de relaties. De relaties met Bezorgdheid en Sociale bravoure zijn sterker dan verwacht. Voor de schaal Positivisme geldt dat alle voorspelde relaties (ook qua sterkte) worden teruggevonden, met uitzondering van de relatie met Levendigheid: deze relatie is sterker dan verwacht (r = .68). Ook voor Frustratietolerantie geldt dat de hypotheses over de relaties met de schalen Zachtaardigheid, Aanpassingsbereidheid en Geduld worden bevestigd, inclusief de sterkte ervan. Tot slot geldt voor Incasseringvermogen dat de relaties met Angstigheid en Geduld zo sterk zijn als verwacht, dat de relaties met Bezorgdheid en Levendigheid sterker zijn dan verwacht, en dat de samenhang met Afhankelijkheid wel in de juiste richting is, maar te zwak om de hypothese te kunnen bevestigen (r = -.23).

Divergente validiteit
In de voorgaande sectie werd het grootste deel van de hypotheses bevestigd. Het feit dat we een voorspelde relatie van een schaal met een facet terugvinden zegt echter niet zo veel als de schaal ook met veel andere schalen hoge correlaties vertoond. Om dit te onderzoeken hebben we de gemiddelde correlaties (na r naar Z transformatie) berekend van de correlaties waar hypotheses voor opgesteld waren (convergent) en van de correlaties waar geen hypotheses voor opgesteld waren (divergent). De gemiddelde convergente correlatie is .46, terwijl de gemiddelde divergente correlatie .21 is. Voor 17 van de 25 schalen geldt dat de gemiddelde convergente correlatie significant hoger is dan de divergente correlatie. Niet verrassend zijn de schalen waarvoor dit niet geldt voornamelijk de schalen waar (een deel van) onze hypotheses niet voor werden bevestigd: Dominantie, Competitie, Zelfonthulling, Vertrouwen, Vernieuwing, Onafhankelijkheid, Regelmaat en Conformisme. Over het algemeen kunnen we echter concluderen dat de schalen en facetten die hetzelfde beogen te meten hogere correlaties laten zien dan de schalen en facetten die niet hetzelfde beogen te meten.

Om te analyseren met welke facetten de schalen van de WPV Compact naast de verwachte facetten ook samenhang laten zien, zijn de correlaties met de overige facetten bekeken. De correlaties van boven de .30 waar geen hypotheses voor opgesteld waren zijn weergegeven in Bijlage 6.7. Zoals we kunnen verwachten bij vragenlijsten waarbij de schalen en facetten onderling gecorreleerd zijn, worden er vrij veel correlaties gevonden. Wat opvalt echter is dat de onverwachte correlaties veelal met facetten zijn die horen bij dezelfde factor als waar wel een relatie mee verwacht werd. Bijvoorbeeld: we verwachtten een zeer sterke correlatie tussen Weloverwogen en Bedachtzaamheid, horend bij de factor Consciëntieusheid. Deze correlatie wordt ook teruggevonden, maar tevens vinden we correlaties met de overige drie schalen van Consciëntieusheid: Ordelijkheid (r = .46), IJver (r = .37) en Perfectionisme (r =.46). Overigens is de hoogste correlatie vaak wel voor de samenhang waar een hypothese voor opgesteld was. Het lijkt er op dat de vergelijking tussen schalen en facetten dus soms te fijnmazig is. Een vergelijking tussen deze lagere orde constructen blijkt niet altijd zin te hebben omdat mensen, wanneer ze hoog scoren op het ene facet van de HEXACO-PI-R behorend bij een factor, ook hoog blijken te scoren op de andere facetten van de HEXACO-PI-R.

Relaties met de facetten van Extraversie en met IJver
Qua leesbaarheid en omvang van deze handleiding is het onmogelijk om in te gaan op alle relaties beschreven in Bijlage 6.7. Het is echter opvallend dat de facetten horend bij de factor Extraversie van de HEXACO-PI-R met zo veel schalen van de WPV Compact hoge correlaties laat zien. Dit kan twee dingen betekenen: (1) de schalen van de WPV Compact zijn niet onafhankelijk genoeg van elkaar of (2) de facetten van de factor Extraversie zijn qua inhoud zeer divers en meten uiteenlopende lagere orde constructen.
Wanneer we kijken naar de inhoud van de facetten van Extraversie dan is deze tweede reden aannemelijker. Vergelijk bijvoorbeeld het item “De meeste dagen voel ik me blij en optimistisch.” van het facet Levendigheid met het item “Ik geef zelden mijn mening in groepsbijeenkomsten.”, van het facet Sociale bravoure. Het eerste item zou in principe samen moeten hangen met Hartelijkheid (factor Sociabiliteit) of Positivisme (Stabiliteit) van de WPV Compact en het tweede item met Dominantie of Zelfvertoon (Invloed). In feite hebben we de vele relaties dus ook voorspeld: bij de bespreking van de hypotheses op factorniveau voorspelden we relaties tussen iedere factor van de WPV Compact, behalve voor Structuur, en de factor Extraversie. Dit vinden we dan ook terug bij de relaties tussen de schalen van de WPV Compact en facetten van de HEXACO-PI-R. De vele correlaties met de facetten van Extraversie lijken dus veroorzaakt te worden door het feit dat de facetten onderling erg divers zijn, en niet door het feit dat de schalen van de WPV Compact hetzelfde meten.
Deze conclusie wordt ook ondersteund door de bevinding dat bijvoorbeeld de schalen Zelfvertoon en Frustratietolerantie van de WPV Compact onderling niet met elkaar correleren (r = .10, niet significant), terwijl Levendigheid wel hoge correlaties laat zien met Zelfvertoon (r = .33) en met Frustratietolerantie (r = .48). Hetzelfde geldt bijvoorbeeld voor Contactbehoefte en Ordelijkheid (onderlinge correlatie is .04, niet significant), terwijl Sociale zelfwaardering wel correlaties laat zien met Contactbehoefte (r = .33) en Ordelijkheid (r = .31). Ook dit duidt erop dat de correlaties veroorzaakt worden door de diversiteit van de facetten van Extraversie, en niet door de relaties tussen de schalen van de WPV Compact onderling.
Daar komt bij dat binnen facetten de items divers kunnen zijn. Neem bijvoorbeeld weer het item “De meeste dagen voel ik me blij en optimistisch.” van Levendigheid. Zoals gezegd kunnen we dit item verwachten samen te hangen met Hartelijkheid of Positivisme. Een ander item van Levendigheid luidt: “Ik heb vrijwel altijd veel energie”. Dit item kunnen we verwachten samen te hangen met Energie (Gedrevenheid). Hieruit wordt duidelijk dat we met één facet al correlaties met minstens drie schalen kunnen verwachten.

Ook het facet IJver correleert met veel schalen van de WPV Compact: vrijwel met alle schalen horend bij Gedrevenheid, met drie schalen van Structuur en met de schalen van Stabiliteit. IJver lijkt dus goed het hele domein van Consciëntieusheid (zowel de Gedrevenheid-component als de Structuur-component, zie Tabel 6.21) te dekken. Dit betekent dat IJver, dat voornamelijk het nastreven van en het bereiken van doelen meet, samen gaat met gedreven zijn en nauwkeurig en ordelijk werken. Bovendien laat de samenhang met de schalen van Stabiliteit zien dat dit gepaard gaat met emotionele stabiliteit.

6.3.2.4. Conclusies

Ondersteuning voor de begripsvaliditeit van de factoren van de WPV Compact
Alle hypotheses op factorniveau werden bevestigd, wat ondersteuning biedt voor de convergente validiteit van de factoren van de WPV Compact: de correlaties tussen de factoren waar we op basis van inhoud samenhang tussen verwachtten waren hoog. Waar de factoren van de WPV Compact en de HEXACO-PI-R sterk overeenkwamen, bij Sociabiliteit-Extraversie en Structuur-Consciëntieusheid, waren de correlaties zelfs zeer hoog. Over het algemeen gold dat de samenhang tussen factoren waar hypotheses voor opgesteld waren sterker was dan de samenhang tussen factoren waar geen hypotheses voor opgesteld waren. Dit duidt op goede divergente validiteit van de factoren van de WPV Compact. Alleen de factor Stabiliteit liet relaties met meerdere factoren zien.

Ondersteuning voor de begripsvaliditeit van de schalen van de WPV Compact
Veel van onze hypotheses werden bevestigd: in 74.3% van de gevallen werd de voorspelde relatie tussen schalen en facetten, die op basis van hun inhoud en onderlinge relatie waren opgesteld, teruggevonden. Alleen voor de schalen Regelmaat en Onafhankelijkheid gold dat geen enkele van de hypotheses werden bevestigd. Voor de meerderheid van de schalen gold dat de samenhang tussen schalen en facetten waar hypotheses voor opgesteld waren sterker was dan de samenhang tussen schalen en facetten waar geen hypotheses voor opgesteld waren. Dit duidt op goede divergente validiteit van de schalen van de WPV Compact. Er werden wel relatief veel relaties gevonden met de facetten van de factor Extraversie, maar dit leek eerder veroorzaakt te worden door de diversiteit van deze facetten – zowel onderling als binnen het facet zelf – dan aan de onderlinge relaties van de schalen van de WPV Compact.
Over het algemeen kunnen we op basis van de resultaten concluderen dat de schalen die hetzelfde beogen te meten als de facetten van de HEXACO-PI-R, dit ook daadwerkelijk doen. Dit draagt bij aan de begripsvaliditeit van de schalen van de WPV Compact.

6.5.3. Algemene conclusies soortgenotenvaliditeit

Over het algemeen worden de hypotheses over de relaties tussen de factoren en schalen met de BFI en de HEXACO-PI-R bevestigd. We vinden hoge correlaties tussen schalen en factoren waar hypotheses over opgesteld zijn, en lagere correlaties tussen schalen en factoren waar geen hypotheses over opgesteld zijn. De enige schaal waarvoor de hypotheses in beide onderzoeken niet bevestigd zijn is Regelmaat. Deze bleek bij de BFI meer samen te hangen met Neuroticisme dan Consciëntieusheid. Onderzoek zal in de toekomst uit moeten wijzen wat deze schaal precies definieert en wat het precies meet. Verder zien we in beide onderzoeken dat de factor Stabiliteit met veel factoren relaties laat zien: dit hadden we van tevoren echter voorspeld, omdat het lagere orde constructen zoals levendigheid (Positivisme) en geduld met anderen (Frustratietolerantie), die in vragenlijsten met een vijf (of zes) factoren structuur onder Extraversie en Vriendelijkheid (Verdraagzaamheid) vallen. Tot slot zien we veel relaties tussen de factor Extraversie van de HEXACO-PI-R en de WPV Compact, maar dit is te verklaren door het diverse karakter van deze factor bij deze twee vragenlijsten.

6.6. Algemene conclusies begripsvaliditeit

De WPV Compact laat een solide interne structuur zien. De correlaties tussen de schalen horend bij een bepaalde factor zijn hoger dan de correlaties met de schalen die bij andere factoren horen en laten dus goede convergente en divergente validiteit zien. De factoren correleren niet te hoog met elkaar, wat aanduidt dat de vijf factoren voldoende onafhankelijk van elkaar zijn en een eigen bijdrage leveren. MGM- en PCA analyses toonden aan dat gekozen schaal- en factorstructuur goed ondersteund werd in de normgroep, bovendien zijn de item-restcorrelaties allemaal hoog tot zeer hoog.

De hypotheses over verschillen tussen groepen op basis van achtergrondvariabelen (geslacht, leeftijd, opleiding, werksituatie en etniciteit) werden grotendeels bevestigd. Dat wil zeggen dat de verschillen tussen groepen, die we op basis van eerder onderzoek mogen verwachten, ook worden teruggevonden bij de WPV Compact. Ook de hypotheses over verschillen in scores tussen personen die de WPV Compact in selectiesituaties hebben ingevuld en de normgroep werden bevestigd. Dit gold ook voor verschillen tussen kandidaten van het UWV en de normgroep. Bovendien waren de betrouwbaarheden bij deze UWV groep en de normgroep nagenoeg gelijk. Al deze bevindingen geven aan dat de schalen en factoren reële verschillen tussen groepen kunnen ‘detecteren’ en dat de beoogde constructen, inclusief reële verschillen tussen groepen, worden gemeten.

Onderzoek toont verder aan dat de WPV Compact geen culturele bias vertoont: er is nauwelijks itembias (DIF), en de groep allochtonen scoorde slechts op een paar schalen anders dan autochtonen, die bovendien vooraf voorspeld waren. De effectgrootten waren klein.

De externe validiteit wordt aangetoond door zowel convergente als divergente bevindingen met soortgenotentests. Er zijn hypotheses opgesteld en getoetst met de BFI en de HEXACO-PI-R. Op basis van de definities en inhoud van de factoren en schalen zijn hypotheses opgesteld over de relaties tussen de WPV Compact en deze twee vragenlijsten. De meerderheid van deze hypotheses voor convergente validiteit werden bevestigd. Ook was er ruime ondersteuning voor divergente validiteit, omdat de schalen en factoren hogere correlaties lieten zien met de factoren en facetten waar wel hypotheses over opgesteld waren dan met de factoren en facetten waar geen hypotheses over opgesteld waren.

6.7. Onderzoek naar equivalentie van de WPV Normatief en de WPV Compact

Bij de WPV N is onderzoek gedaan naar de begripsvaliditeit (Ixly, 2012). Om na te gaan of dit onderzoek naar de WPV N ook geldig is voor de verkorte versie, is een equivalentie onderzoek gestart. Indien de twee versies van de WPV voldoende equivalent zijn, mag geconcludeerd worden dat de begripsvaliditeit voor de ene versie ook ondersteuning betekent voor de andere versie, en vice versa.

Om de equivalentie van de WPV Compact en de WPV Normatief (WPV N) te onderzoeken heeft een groep respondenten binnen één week tijd de WPV Compact en de WPV N ingevuld. Om uitspraken te kunnen doen over de equivalentie van de twee vragenlijsten zijn de correlaties berekend tussen de schaal- en factorscores van de WPV N en de WPV Compact. Ook hebben we de structuur van de twee vragenlijsten vergeleken bij verschillende groepen.

6.7.1. Steekproef

De steekproef bestond in totaal uit 146 personen. Deze steekproef vormde een subgroep van de normgroep: hoe de data verzameld is en wat de kenmerken precies zijn van deze groep is uitgebreid beschreven in Hoofdstuk 4, Normen. De personen in de subgroep zijn geheel willekeurig geselecteerd uit de totale steekproef van 681 personen. Van deze subgroep bestond 53% uit mannen. De gemiddelde leeftijd was 42 jaar met een standaardafwijking van 12.0, met een minimum leeftijd van 18 en een maximum van 65 jaar. In totaal had 16% een laag opleidingsniveau, 44% een middelbaar en 40% een hoger opleidingsniveau. In Tabel 6.30 zijn de betrouwbaarheden van de schalen van beide vragenlijsten opgenomen. De betrouwbaarheden zijn uitstekend, bij beide vragenlijsten bedraagt de gemiddelde alfa coëfficiënt .89. Aan de hand van de Hakstian-Whalen formule (1976) is formeel getoetst of de hoogte van de betrouwbaarheden significant verschilden van elkaar. Deze formule houdt rekening met het verschil in het aantal items van de schalen bij de twee vragenlijsten. Dit bleek alleen het geval te zijn voor Zelfonthulling (.95 bij WPV Compact, .91 bij WPV N), Originaliteit (.95 bij WPV Compact, .91 bij WPV N), Ordelijkheid (.91 bij WPV Compact, .86 bij WPV N) en Positivisme (.86 bij WPV Compact, .93 bij WPV N). Alleen voor Positivisme gold dus dat de betrouwbaarheid bij de WPV N hoger was dan bij de WPV Compact. Bij beide versies is de betrouwbaarheid echter zeer hoog. Hierdoor kunnen we stellen dat beide vragenlijsten de schalen met ongeveer dezelfde, goede betrouwbaarheid meten.

 

6.7.2. Resultaten

Correlaties tussen WPV N en WPV Compact – op groepsniveau
Om de equivalentie van de twee vragenlijsten te onderzoeken hebben we de correlaties tussen de factoren en de schalen van de WPV Compact en de WPV berekend. De correlaties tussen de factoren worden weergegeven in Tabel 6.31.

 

De correlaties tussen de factoren van de WPV N en de WPV Compact zijn erg hoog, gemiddeld .94. Bij correlaties van deze hoogte kan gesteld worden dat de schalen vrijwel gelijk zijn. Hieruit kunnen we concluderen dat personen die hoger scoren op een bepaalde factor in de WPV Compact ook hoog scoren op deze factor in de WPV N. Wat betreft de factoren kunnen we dus stellen dat de WPV N en de WPV Compact equivalent zijn.

De correlaties tussen de schalen worden weergegeven in Tabel 6.32.

 

Ook de correlaties tussen de schalen van de WPV N en de WPV Compact zijn erg hoog. De enige uitzondering is Onafhankelijkheid, waarvan de correlatie iets lager is. Echter, deze is nog steeds erg hoog te noemen (r = .74). Bovendien kunnen we, gezien het feit dat dit de schaal met de laagste interne consistentie in beide versies, voor deze schaal ook een lagere correlatie verwachten. Gemiddeld zijn de correlaties tussen de schalen in beide versies .88. We kunnen dus concluderen dat iemand die hoog scoort op een bepaalde schaal in de WPV Compact ook hoog zal scoren op deze schaal in de WPV N en omgekeerd.

Ook hebben we de correlaties met achtergrondvariabelen vergeleken: een profielcorrelatie van de correlaties (na r naar Z transformatie) tussen de schalen van de WPV Compact en geslacht en leeftijd. De profielcorrelatie tussen de schalen van de WPV en geslacht liet zien dat deze vrijwel gelijk waren (r = .97, p < .01). Dit gold ook voor de relaties met de variabele leeftijd (r = .95, p < .01). Op basis van bovenstaande analyses kunnen we concluderen dat we ook wat betreft de schalen kunnen stellen dat de WPV N en de WPV Compact equivalent zijn. Correlaties tussen WPV N en WPV Compact – op individueel niveau

In bovenstaande paragrafen hebben we gekeken naar de correlaties tussen de factoren en schalen op groepsniveau. Hiermee kijken we feitelijk of de rangordening van personen op basis van hun schaal- en factorscores hetzelfde is voor de WPV N en de WPV Compact. Het is echter ook belangrijk om te kijken naar de rangordening van scores binnen de personen zelf. Bij equivalentie van de vragenlijsten mogen we verwachten dat wanneer een persoon bijvoorbeeld het hoogst scoort op Ordelijkheid, gemiddeld scoort op Zelfvertrouwen en hoog op Volharding bij de WPV N, dat deze rangordering van de schalen ook naar voren komt bij de WPV Compact. Om dit te onderzoeken zijn de schaal- en factorscores binnen de persoon gestandaardiseerd. Vervolgens zijn de intra-individuele ¬correlaties tussen de scores van de WPV N en de WPV Compact berekend.

De gemiddelde intra-individuele correlatie bedroeg .88 (verkregen na r naar Z transformatie). Dit betekent dat de rangorde van schalen binnen de persoon bij de WPV Compact en de WPV vrijwel gelijk waren. Om dit te verduidelijken staat in Figuur 6.1 het scoreprofiel van een persoon weergegeven waarvan de intra-individuele correlatie tussen de schalen .90 bedroeg.

 

Figuur 6.1. Scoreprofiel met intra-individuele correlatie van .90

De figuur laat zien dat de scores elkaar volgen: de schalen waar deze persoon hoog op scoort zijn dezelfde bij de WPV Compact en bij de WPV, evenals de schalen waar hij/zij laag op scoort. We kunnen dus concluderen dat zowel op groepsniveau als op individueel niveau de scores van de schalen van de WPV en WPV Compact grote overeenkomsten vertonen.

 

Interne structuur
Aan de hand van de correlaties tussen de factoren en schalen onderling binnen de WPV N en binnen de WPV Compact hebben we de structuur van de vragenlijsten vergeleken. Bij equivalentie van de vragenlijsten zou de structuur nagenoeg hetzelfde moeten zijn. De correlaties tussen de factoren in de WPV N en WPV Compact zijn weergegeven in Tabel 6.33 en Tabel 6.34.

 

 

Wanneer we de correlaties tussen de factoren van de WPV N met elkaar onderling en de correlaties van de WPV Compact met elkaar onderling vergelijken dan valt op dat deze weinig van elkaar verschillen. De gemiddelde correlatie tussen de factoren is .36 bij de WPV Compact, bij de reguliere WPV bedroeg de gemiddelde correlatie .35 (na r naar Z en Z naar r transformatie). Aan de hand van deze transformatie kan ook het verschil in hoogten tussen twee correlaties statistisch getoetst worden, door de Z-waarden van de correlaties te vergelijken. Op basis van de verschillen in Z-waarden van de correlaties bleken geen van de tien correlaties significant van elkaar te verschillen. Hieruit kunnen we concluderen dat de relaties tussen de factoren bij de WPV N en de WPV Compact equivalent zijn.

De correlaties tussen de schalen van de WPV N onderling en de WPV Compact onderling zijn weergegeven in Bijlagen 6.8 en 6.9. De gemiddelde correlatie (na r naar Z en Z naar r transformatie) tussen de schalen is zowel bij de WPV Compact als bij de WPV .25. Geen enkele van de in totaal 300 correlaties tussen de schalen bleken significant van elkaar te verschillen. Hieruit kunnen we concluderen dat ook de relaties tussen de schalen bij de WPV N en de WPV Compact hetzelfde zijn.

Om de overeenkomst in de relaties tussen de schalen bij de WPV Compact en de WPV N formeel te toetsen is er een Procrustes-analyse uitgevoerd. In deze analyse wordt de mate van congruentie tussen twee factoroplossingen vergeleken door middel van een aantal zogeheten ‘target’ rotaties en transformaties (Schönemann, 1966). Vervolgens kan de congruentiemaat Tucker’s phi (van de Vijver & Leung, 1997) worden berekend: factoren worden als equivalent beschouwd wanneer de waarde van Tucker’s phi groter dan .90 is (Cheung et al., 2003; McCrae et al., 1996; Mulaik, 1972). De congruentie tussen de factoroplossingen¹¹ van de WPV Compact en de reguliere WPV varieerde van .96 tot .99 met een gemiddelde van .98. Hieruit kunnen we dus concluderen dat de factoroplossing van de WPV Compact sterk overeenkomt met de factoroplossing van de reguliere WPV.

Opleidingsniveau
De verkorte versie van de WPV N is ontwikkeld omdat lager opgeleiden moeite hadden met de lengte van de vragenlijst en het taalniveau van de reguliere WPV N. Het is daarom van belang om te onderzoeken of de resultaten bij lager en hoger opgeleiden verschillen.

Allereerst is daarom de equivalentie van de WPV Compact en de WPV N bij de lager en hoger opgeleiden vergeleken. De correlaties tussen de schalen van de WPV Compact en de WPV N zijn weer vergeleken, maar nu voor lager opgeleiden en hoger opgeleiden afzonderlijk. De resultaten zijn weergegeven in Tabel 6.35.

 

Voor beide groepen geldt dat de correlaties tussen de schalen weer hoog zijn: gemiddeld .88 voor de lager opgeleiden. Hoewel de gemiddelde correlatie bij hoger opgeleiden iets hoger ligt (.90), is er niet een duidelijk patroon te ontdekken: voor sommige schalen geldt dat de correlatie bij de hoger opgeleiden hoger is, voor sommige schalen is dit bij de lager opgeleiden het geval. Analyses toonden aan dat alleen de correlaties van Originaliteit en Incasseringsvermogen significant van elkaar verschilden (na r naar Z transformatie). We kunnen dus stellen dat bij het inkorten van de vragenlijst de lager of hoger opgeleiden niet duidelijk ‘bevoordeeld’ of ‘benadeeld’ zijn en dat beide groepen de vragenlijsten grotendeels hetzelfde invullen.

Om dit verder te onderzoeken hebben we ook de hoogte van de overige factoren en schalen onderling vergeleken voor de twee opleidingsniveaus afzonderlijk (dus bijvoorbeeld de correlatie tussen Status en Dominantie bij de WPV N en de correlatie tussen dezelfde twee schalen bij de WPV Compact bij de lager opgeleiden). Voor zowel de lager als hoger opgeleiden gold dat geen enkele van de correlaties – zowel voor de factoren als schalen – significant van elkaar in hoogte verschilde.

Bovenstaande analyses tonen aan dat de WPV N ook goed door laag opgeleiden is in te vullen: de items van de WPV N zijn voor 70% op B1 niveau en voor 30% op B2 niveau. Bovenstaande resultaten tonen aan dat deze taalniveaus weinig invloed hebben op de resultaten en dat de onverkorte WPV dus ook inzetbaar is bij lager opgeleiden

WPV Compact – lager en hoger opgeleiden
Het is ook van belang om te onderzoeken of de factorstructuur van de WPV Compact overeenkomt bij lager en hoger opgeleiden. In deze steekproef waren echter slechts 23 personen met een lager opleidingsniveau en 59 met een hoger opleidingsniveau: deze groepen zijn te klein om daar gedegen uitspraken over te kunnen doen. In de normgroep bevonden zich 100 personen met een lager opleidingsniveau: helaas is deze groep te klein om stabiele factoroplossingen te krijgen (Gorsuch, 1983). Daarom hebben we een factoranalyse van de schalen gedaan op de lager en middelbaar opgeleiden (N = 312) en op de hoger opgeleiden (N = 186), waarna de factoroplossingen weer met een Procrustes-analyse en Tucker’s phi vergeleken zijn. De congruentie tussen de factoroplossingen was gemiddeld .93, variërend van .86 tot en met .97. Hoewel één factor dus niet boven de gebruikelijke richtlijn van .90 kwam, kunnen we concluderen dat de factorstructuur van de WPV Compact grotendeels hetzelfde is bij hoger opgeleiden en lager-middelbaar opgeleiden.

Om toch iets te kunnen zeggen over de overeenkomst in structuur bij echt de lager opgeleiden en hoger opgeleiden zijn de correlaties tussen de factoren onderling en de schalen onderling bij beide groepen vergeleken. Voor de factoren gold dat drie van de tien correlaties (30%) significant van elkaar in hoogte verschilden. Een profielcorrelatie van de correlaties liet echter zien dat er een hoge mate van congruentie was tussen de correlatieprofielen (r = .69, p < .01). Voor de schalen gold dat in totaal 36 van de 300 correlaties (12%) significant van elkaar verschilden. Een profielcorrelatie van de correlaties toonde verder aan dat de correlaties sterk overeenkwamen (r = .78, p < .01, na r naar Z transformatie). Hieruit kunnen we concluderen dat er, met name voor de schalen, duidelijke aanwijzingen zijn voor een gelijke structuur van de WPV Compact bij lager en hoger opgeleiden. In de toekomst zal bij een grotere onderzoekspopulatie onderzocht moeten worden in hoeverre de structuur van de factoren overeenkomt bij deze twee groepen.

6.7.3. Conclusie

De WPV Compact en WPV N werden grotendeels hetzelfde ingevuld, wat bleek uit de grote overeenkomst in scores op beide instrumenten, zowel op groepsniveau als op individueel niveau. De WPV Compact en WPV N verschilden nauwelijks van elkaar in termen van de correlaties tussen factoren en schalen onderling en de factorstructuur. De relaties met achtergrondvariabelen waren gelijk bij beide instrumenten. Hoewel de onderzoeksgroep klein was lieten eerste analyses zien dat de factorstructuur bovendien sterk overeenkwam bij lager- en hoger opgeleiden. Hieruit kunnen we concluderen dat de WPV Compact en WPV equivalent zijn in termen van hun validiteit. Dit betekent dat het bewijs voor begripsvaliditeit van de WPV N gebruikt kan worden voor de WPV Compact, en vice versa.

6.8. Begripsvaliditeit van de WPV N

In de vorige sectie, en in sectie 1.2.4. van Hoofdstuk 1, Uitgangspunten van de testconstructie, is aangetoond dat de WPV Compact en de WPV N equivalent zijn. Dit wil zeggen dat beide versies dezelfde (latente) constructen met dezelfde betrouwbaarheid meten. Wanneer twee tests dezelfde constructen op dezelfde betrouwbare en valide manier meten, dan kunnen verwachten dat de correlaties met externe instrumenten bij beide versies gelijk zullen zijn. Dit betekent dus dat het bewijs voor begripsvaliditeit van de WPV N gebruikt kan worden voor de WPV Compact, en vice versa. Daarom zullen we hier een tweetal onderzoeken beschrijven die gedaan zijn met de WPV N, en dus tevens ondersteuning bieden aan de begripsvaliditeit van de WPV Compact.

Hierbij moet opgemerkt worden dat dit onderzoeksbeschrijvingen betreffen die opgenomen zijn in de handleiding van de WPV N, die in 2012 door de Cotan beoordeeld is. Bij de onderzoeken naar de WPV Compact zijn, mede op basis van de beoordeling van de Cotan, vooraf hypotheses geformuleerd. Bij de oudere, hieronder beschreven onderzoeken is dit niet gebeurd, aangezien deze meer verkennend van aard waren. Toch zullen we deze onderzoeken in het vervolg bespreken, omdat deze desalniettemin ondersteuning bieden voor de begripsvaliditeit van de WPV Compact.

6.8.1. Externe validiteit: soortgenotenvaliditeit

In deze sectie zullen twee onderzoeken worden besproken die van belang zijn voor de begripsvaliditeit van de WPV (Compact). Ten eerste worden de relaties met een zuivere soortgenoot, de FFPI (Hendriks, Hofstee & de Raad, 1999), besproken. Deze vragenlijst is gekozen omdat het ook persoonlijkheid meet en gebaseerd is op het Five Factor Model.
Het tweede onderzoek dat besproken wordt is onderzoek naar de relaties met de Carrièrewaardenvragenlijst (CW) van Ixly. Dit is een persoonlijkheidsvragenlijst die in kaart brengt welke aspecten van het werk een persoon motiveren. De CW is weliswaar niet wat de WPV beoogt te meten, maar wanneer er geen of onverwachte verbanden tussen de twee gevonden zouden worden, dan zou dit de begripsvaliditeit van de WPV in het geding brengen. Op deze manier draagt dit onderzoek dus ook bij aan de begripsvaliditeit van de WPV.

6.8.1.1. Onderzoek met de FFPI

Bij een ICT bedrijf is begin 2007 een grootschalig onderzoek uitgevoerd waarbij de ruim 2700 werknemers werden uitgenodigd om tests en vragenlijsten te maken. Het doel van dit onderzoek was om normgegevens te verzamelen voor capaciteitentests die het bedrijf zou gaan gebruiken. Hierbij zijn ook de WPV en de FFPI als een gecombineerde vragenlijst aangeboden. Om mogelijke effecten van afnamevolgorde uit te sluiten werd deze ad random bepaald. Om zeker te zijn dat de werknemers de vragenlijsten serieus zouden invullen konden de werknemers prijzen winnen als ze deelnamen aan het onderzoek. In totaal hebben 354 werknemers de WPV en de FFPI ingevuld.

Bij dit onderzoek is de voorafgaande versie van de WPV gebruikt, de ProSiD-PI 25. Er hadden nog enkele schalen en factoren de oude naam en er zaten vier items niet in deze versie die wel in de WPV zitten¹². Mede op grond van dit onderzoek hebben naamswijzigingen plaatsgevonden. Bij de presentatie van de resultaten wordt de indeling en naamgeving van de WPV gebruikt.

De FFPI
De Five Factor Personality Inventory (Hendriks, Hofstee & de Raad, 1999) is een persoonlijkheidsvragenlijst waarmee op efficiënte wijze iemands scores op vijf brede eigenschapdimensies zijn vast te stellen. De dimensies van de FFPI zijn: Extraversie, Mildheid, Ordelijkheid, Emotionele Stabiliteit en (intellectuele) Autonomie. De FFPI bestaat uit 100 korte concreet- gedragsmatig geformuleerde items.
De FFPI komt voort uit de lexicale benadering van persoonlijkheid, waarbij het doel is te komen tot een spaarzaam, maar zo volledig mogelijk model voor het beschrijven van de belangrijkste verschillen in gedrag. Het Abridged Big-Five dimensionaal Circumplex-model (AB5C-model) (Hofstee & de Raad, 1991; Hofstee, de Raad & Goldberg, 1992) vormde het uitgangspunt voor de ontwikkeling van de FFPI. Dit AB5C- model is een combinatie van het eerder besproken FFM en het interpersoonlijk circumplexmodel, waarin variabelen circulair worden geordend op basis van ladingen op twee loodrecht op elkaar staande factoren (Hendriks, Hofstee & de Raad, 1999).

Het interpersoonlijk circumplexmodel werd begin jaren ’50 geïntroduceerd door Leary en zijn medewerkers. Bij de meeste psychologen is dit model bekend in de vorm van de Interpersonal Checklist (ICL) van LaForge en Suczek (1955), die vaak als `de roos van Leary’ wordt aangeduid. Het model zelf wordt meestal voorgesteld als een cirkelvormige ordening van zestien categorieën van interpersoonlijk gedrag, gelegen ten opzichte van twee orthogonale assen. Deze circumplex voorstelling is meer dan een handige presentatie. Achter deze eenvoud schuilt een inhoudelijk en psychometrisch interessante wetmatigheid. De zestien categorieën, vaak per twee gecombineerd tot acht octanten, zijn geen willekeurig gekozen clusters. Het zijn categorieën van gedrag die eerst uit intuïtie en steunend op klinische ervaring (LaForge, 1985) en later uit talloze empirische studies, door verscheidene onderzoekers, als belangrijke aspecten van interpersoonlijk gedrag werden teruggevonden. Zowel de aard, het aantal en de positie ten opzichte van de hoofdassen werden bevestigd. Dit alles wees erop dat de circumplexstructuur geen toevallige configuratie was. Vanaf het begin heeft het circumplexmodel dan ook vaak dienst gedaan als theoretisch referentiekader voor talrijke onderzoeken, waaronder die van de FFPI.

Verwachtingen
Aangezien de FFPI een goed onderbouwde persoonlijkheidsvragenlijst is en één van de achterliggende theorieën van de FFPI ook het FFM is, is de FFPI een goed instrument om de criteriumvaliditeit van de WPV te onderzoeken. Nagegaan zal worden of de overeenkomstige factoren hoog correleren. Op schaalniveau van de WPV wordt een hoge correlatie met die factoren van de FFPI verwacht, waarvan de omschrijving van de desbetreffende factor(en) het meest overeenkomt met de betekenis van de schaal.

Omschrijving van de psychometrische kwaliteiten en de resultaten
De onderzoeksgroep bestond uit 353 personen waarvan 55 vrouwen (15.6%) en 298 mannen (84.4%). De gemiddelde leeftijd binnen deze groep is 34.5 met een minimum van 21 en een maximum van 61 (van 8 personen is de leeftijd onbekend).

Zowel de correlaties tussen de factoren van de FFPI en de factoren van de WPV als de correlaties tussen de factoren van de FFPI en de schalen van de WPV worden berekend. Bij het vergelijken van een vragenlijst met een criterium wordt een correlatie van 0.2 gezien als laag; een correlatie van 0.3 wordt gezien als middelmatig/ gemiddeld; een correlatie van 0.5 wordt gezien als hoog (Cohen, 1992). Bij factorcorrelaties boven de .40 wordt naast correlaties een attenuatiecorrectie weergegeven. Attenuatie is het verschijnsel dat de correlatie tussen twee variabelen afneemt naarmate de betrouwbaarheid van de variabelen lager is. Dit betekent dat er een schatting wordt gegeven van de correlatie in het hypothetische geval dat er geen attenuatie optreedt. De correlaties zijn gedaan met de genormeerde scores. Het is niet mogelijk de correlatie tussen de schalen van de FFPI en de schalen van de WPV te berekenen omdat de FFPI niet op die manier met schalen werkt. Er is wel bekend welke begrippen onder de factoren van de FFPI vallen, zie Bijlage 6.10. Hierdoor kan er bekeken worden of de schalen van de WPV interpreteerbaar correleren met de factoren van de FFPI.

De betrouwbaarheid van de factoren van de FFPI liggen bij dit onderzoek tussen Cronbach’s alfa’s van .80 (Autonomie) en .87 (Extraversie). De betrouwbaarheid van de schalen van de WPV liggen bij dit onderzoek tussen Cronbach’s alfa’s van .82 en .94. De betrouwbaarheid (met de gestratificeerde alfa als maat) van de factoren van de WPV liggen bij dit onderzoek tussen .95 en .97. Bij de berekening van de betrouwbaarheid van de factoren is aangenomen dat de totale error-variantie hetzelfde is als bij de genormeerde Adviesgroep.

In Tabel 6.36 staat een overzicht van de gemiddelde genormeerde factorscore en de bijbehorende spreiding. De spreiding komt behoorlijk overeen met de spreiding van de normgroep.

 

Uit Tabel 6.37 valt op te maken dat iedere factor van de WPV hoog met een bepaalde factor uit de FFPI correleert, op de factor Invloed na, deze correleert hoog met drie van de FFPI factoren.

 

Bij correlaties van deze hoogte kan gesteld worden dat de factoren vrijwel gelijk zijn. Om dit te laten zien zijn attenuatiecorrecties uitgevoerd. Bij het berekenen van de correlatie tussen twee meetinstrumenten moet rekening gehouden worden met de onbetrouwbaarheid van de twee afzonderlijke instrumenten. Attenuatiecorrectie is een manier om hiervoor te corrigeren.

• De factor Stabiliteit heeft een correlatie van .69, na attenuatiecorrectie van .85, met Stabiel van de FFPI. Deze factoren bevatten beide verwante schalen, ze beogen beiden de emotionele stabiliteit van een persoon te meten.
• De factor Structuur heeft een correlatie van .76, na attenuatiecorrectie .997, met Ordelijk van de FFPI. Onder de factor Structuur valt de schaal Ordelijkheid en verwante schalen, onder de FFPI factor Ordelijk vallen aspecten die met structuur te maken hebben.
• De factor Invloed heeft een correlatie van .40, na attenuatiecorrectie van .51, met Autonoom van de FFPI. Beide factoren bevatten eenzelfde soort schalen waarbij het in beide gevallen om ‘eigen’ gaat, bijvoorbeeld Zelfvertoon en Dominantie. Invloed correleert ook .57, na attenuatiecorrectie .69, met Extraversie, de factor Extraversie beoogt de mate van spraakzaamheid te meten wat terug te vinden is bij ook weer de WPV schalen Zelfvertoon en Dominantie. Tevens correleert Invloed negatief met Mildheid -.46, na attenuatiecorrectie -.58, wat te verklaren is omdat dit lijnrecht tegenover schalen als Competitie, Dominantie en Zelfvertoon staat.
• De factor Sociabiliteit heeft een correlatie van .77, na attenuatiecorrectie .91, met Extraversie van de FFPI. De naam van de WPV-factor Extraversie is veranderd in Sociabiliteit. Omdat de definitie van deze factor hetzelfde is gebleven is het niet verwonderlijk dat deze hoog correleert met Extraversie van de FFPI.
• De factor Gedrevenheid correleert .56, en na attenuatiecorrectie .72, met de FFPI-factor Autonomie. Beide factoren bevatten aspecten van onafhankelijkheid. Deze factor correleert ook aanzienlijk met drie andere factoren van de FFPI. Op schaalniveau zal duidelijk worden dat deze factor interpreteerbaar correleert met de FFPI.

Verder valt op dat als er naar alle correlaties van de factoren gekeken wordt, vier factoren van de WPV hoog correleren met één van de factoren van de FFPI. Alleen bij de WPV factor Invloed zijn er meerdere correlaties, maar zoals boven beschreven is dit verklaarbaar. Hierbij dient wel opgemerkt te worden dat dit andersom niet altijd het geval is. De factoren van de FFPI die hoog correleren met de factoren van de WPV, correleren tevens met andere factoren van de WPV. Dit zal ook correlaties opleveren tussen de factoren van de FFPI en de schalen van de WPV, veelal allemaal verklaarbaar.

Een overzicht van alle correlaties tussen de factoren van de FFPI en de schalen van de WPV is opgenomen in Bijlage 6.11. De belangrijkste en opvallende resultaten uit die correlaties zullen in Tabel 6.38 worden weergegeven per factor van de FFPI. Alle correlaties groter dan .50 met een significantieniveau van .01 worden in de eerste kolom weergegeven met de bijbehorende correlaties, waarbij de hoogste correlatie het eerst wordt weergeven. In de tweede en derde kolom worden alle andere significante correlaties genoemd, op volgorde van sterkte van de correlatie. In Bijlage 6.10 staat de factoromschrijving van de FFPI factoren.

 

De schalen van de WPV correleren allemaal verklaarbaar met de factoren van de FFPI. Bij al deze correlaties gaat het bij de omschrijving van de schalen en van de factoren om een zelfde soort construct. De opvallende positieve correlatie van Conformisme met de factor Ordelijk is te verklaren omdat de factor Ordelijk, ordelievend als omschrijving heeft. Ook opvallend is dat Zorgzaamheid negatief correleert met de factor Stabiel van de FFPI. Dat zou kunnen betekenen dat minder stabiele mensen geneigd zijn zorg te verlenen aan anderen. Bijna alle schalen vertonen een significante correlatie met de factoren van de FFPI. De schalen Dominantie, Zelfvertoon, Contactbehoefte, Sociaal Ontspannen, Zelfonthulling, Hartelijkheid, Volharding, Ordelijkheid, Nauwkeurigheid, Weloverwogen, Positivisme, Frustratietolerantie en Incasseringsvermogen hebben zelfs een correlatie hoger dan .50 met factoren van de FFPI. Hiermee wordt niet alleen de validiteit van de factoren, maar ook van deze schalen aangetoond.

Conclusies
Zowel de FFPI als de WPV hebben als achterliggende theorie het Five Factor Model. Uit de beschreven resultaten over de samenhang van de factoren van de FFPI met de factoren en de schalen van de WPV wordt meer duidelijk over de psychologische constructen die met de vragenlijsten gemeten worden. De uitkomsten komen sterk overeen met de verwachtingen. Iedere factor van de WPV correleert hoog met een theoretisch verwante factor van de FFPI, op Invloed na, die hoog correleert met drie FFPI-factoren. Ook de schalen van de WPV correleren verklaarbaar en hoog met de factoren van de FFPI.
Aangezien de FFPI een goed onderbouwd instrument is, heeft dit onderzoek een goede bijdrage geleverd aan de onderbouwing van de validiteit van zowel de FFPI als de factoren en een groot deel van de schalen van de WPV.

6.8.1.2. Onderzoek met de Carrièrewaardenvragenlijst van Ixly

De Carrièrewaardenvragenlijst (CW) is een persoonlijkheidsvragenlijst die in kaart brengt welke aspecten van het werk een persoon motiveren. De vragenlijst is voor het werkveld van Human Resource Management ontwikkeld en kan zowel bij adviessituaties als bij selectiesituaties ingezet worden. Bij adviessituaties ontstaat een beeld van wat een persoon motiveert in een bepaalde functie. Zodoende kan er gerichter gezocht worden naar een baan. Bij selectieprocedures geeft de CW inzicht in de match tussen de carrièrewaarden van de kandidaat en de kenmerken van de functie. Is er een match aanwezig dan zegt dat iets over de motivatie die een kandidaat heeft voor de betreffende functie. De vragenlijst die voor dit onderzoek is ingezet (CW-ipsatief) bestaat uit 190 items die op een ipsatieve wijze worden aangeboden: er worden telkens twee stellingen tegenover elkaar gezet en de kandidaat moet, op een vierpuntsschaal tussen deze twee stellingen in, aangeven welke stelling het meest bij hem/haar past. De uitkomsten worden weergegeven op 20 schalen. Zie voor een beschrijving van deze schalen Bijlage 6.12.

Dit onderzoek draagt tevens bij aan de begripsvaliditeit van de WPV. De CW is weliswaar niet wat de WPV beoogt te meten, maar wanneer er geen of onverwachte verbanden tussen de twee gevonden zouden worden, zou dit de begripsvaliditeit van de WPV in het geding brengen.

Tijdens assessmentprocedures vullen de CW en de WPV elkaar aan, omdat het bij de WPV om de persoonlijkheid van een kandidaat gaat en bij de CW om de persoonlijke voorkeur en waarden op carrièregebied. Uit ervaring blijkt dat het niet zo hoeft te zijn dat als iemand hoog scoort op een bepaalde schaal van de WPV, men aan deze eigenschap ook per definitie waarde hecht bij een bepaalde baan. Het is interessant om te bekijken hoe de resultaten op deze twee vragenlijsten correleren aangezien er verwacht mag worden dat er wel overeenkomsten zullen zijn tussen de persoonskenmerken en datgene wat men in de functie belangrijk vindt. De verwachting hierbij is dat als iemand op een bepaalde schaal van de WPV hoog dan wel laag scoort, dit samenhangt met een bepaalde waarde op de CW. De reden hiervoor is dat mensen vaak aspecten van een baan leuk vinden omdat ze er goed in zijn en dit bij hun persoonlijkheid past.

Er zijn van 1329 personen data beschikbaar van zowel de WPV als de CW. Al deze gegevens zijn afkomstig uit de dataset van Ixly en verkregen bij verschillende instellingen. Van 761 personen uit deze dataset is de leeftijd bekend, variërend van 16 tot 62 jaar, met een gemiddelde leeftijd van 35;4 jaar. Van de personen van wie het geslacht bekend is zijn er 539 mannen en 669 vrouwen. De vragenlijst is bij 1139 personen in een adviessituatie ingezet en bij 190 personen in een selectiesituatie. De vragenlijsten zijn afgenomen tussen begin 2004 en halverwege 2006.

In Tabel 6.39 staat een overzicht van de gemiddelde stenscore op de factoren van de WPV en de bijbehorende spreiding. De gemiddelde stenscore en spreiding komen behoorlijk overeen met de normgroep.

 

Er zijn correlaties berekend tussen de factoren en de schalen van de WPV met de schalen van de CW. De betrouwbaarheid van de schalen van de CW bij dit onderzoek ligt tussen .65 en .89 (Cronbach’s alfa). De betrouwbaarheid van de schalen van de WPV ligt tussen .83 en .94 (Cronbach’s alfa) en de betrouwbaarheid van de factoren van de WPV ligt tussen .96 en .97 (gestratificeerde alfa). Bij de berekening van de betrouwbaarheid van de factoren is aangenomen dat de totale error-variantie hetzelfde is als bij de genormeerde Adviesgroep.

In Tabel 6.40 staan de correlaties tussen de factoren van de WPV en de schalen van de CW. De correlaties groter dan .30 en kleiner dan -.30 zijn dikgedrukt. Bij dergelijke onderzoeken worden correlaties die (absoluut) groter of gelijk aan .30 zijn gemiddeld genoemd en hoog indien ze groter zijn dan .50 (Cohen, 1992).

 

De factor Invloed heeft een gemiddelde (.30) tot grote (>.50) relatie met de carrièrewaarden: Aandacht, Beïnvloeden, Creatief denken, Ondernemen, Ontwikkelen, Carrière, Analyseren en Taakuitdaging. Mensen die hoog scoren op de factor Invloed vinden deze carrièrewaarden zeer belangrijk. Al deze carrièrewaarden passen logisch redeneerbaar ook goed bij mensen die hoog scoren op de WPV factor Invloed.

De factor Sociabiliteit heeft een gemiddelde (.30) tot grote (>.50) relatie met de carrièrewaarden: Hulpverlenen en Samenwerking. Sociale mensen vinden het in een baan vaak belangrijk om hulp te verlenen en deze mensen hechten ook veel waarde aan samenwerken.

De factor Gedrevenheid heeft een gemiddelde (.30) tot grote (>.50) relatie met de carrièrewaarden: Beïnvloeden, Creatief denken, Hectiek, Ondernemen, Ontwikkelen, Kwaliteit, Carrière, Analyseren, Concrete resultaten en Zekerheid en stabiliteit. Al deze carrièrewaarden zijn wederom goed interpreteerbaar met de factor Gedrevenheid. Als er naar de schalen van deze factor wordt gekeken betreft het onder andere schalen als Zelfontwikkeling, Vernieuwing en Originaliteit, wat goed bij deze carrièrewaarden aansluit.

De factor Structuur heeft een gemiddelde (.30) tot grote (>.50) relatie met de carrièrewaarden: Kwaliteit, Concrete resultaten en Zekerheid en stabiliteit. Gestructureerde mensen leveren graag kwaliteit en concrete resultaten.

De factor Stabiliteit heeft alleen een gemiddelde relatie met de carrièrewaarde Taakuitdaging. Deze mensen zijn van zichzelf erg stabiel en hebben juist behoefte aan taakuitdaging in een baan. Dat deze factor niet correleert met de carrièrewaarde Zekerheid en stabiliteit valt te verklaren omdat mensen al stabiel zijn en hier dus geen behoefte aan hebben in een baan. De WPV factor Stabiliteit slaat op de stabiliteit van een persoon en de carrièrewaarde Zekerheid en stabiliteit heeft meer betrekking op de opbrengsten, de materialistische kant van een carrière. Dus respectievelijk: welke stabiliteit heb je, en welke stabiliteit heb je nodig.

De tabel met alle correlaties tussen de schaalscores van de WPV en de schaalscores van de CW staat in Bijlage 6.13. Hieronder wordt in Tabel 6.41 per schaal van de WPV een overzicht gegeven van de carrièrewaarden waarmee de relatie ten minste .30 is. De carrièrewaarden die het hoogst correleren met de betreffende schaal van de WPV worden als eerste genoemd.

 

De schalen Zelfonthulling, Vertrouwen, Hartelijkheid, Ordelijkheid, Positivisme, Frustratietolerantie en Incasseringsvermogen van de WPV worden in Tabel 6.37 niet genoemd omdat zij met geen van de carrièrewaarden een gemiddelde (>.30) dan wel hoge (>.50) relatie hebben. De gevonden relaties tussen de CW schalen en de WPV schalen zijn goed te verklaren. Wat opvallend is bij de correlaties, is dat Zekerheid en stabiliteit en Balans privé-werk veelal beide negatief met schalen correleren, de betreffende schalen hebben daarentegen vaak een positieve correlatie met Ondernemen. De WPV is een werk gerelateerde persoonlijkheidsvragenlijst en de personen die ondernemerschap in hun carrière van belang vinden, hebben blijkbaar niet zo’n behoefte aan Zekerheid en stabiliteit en Balans privé-werk.

Conclusie
Alle gevonden verbanden zijn verbanden die we op basis van de definities van de factoren en schalen van de WPV en van de Carrière Waarden kunnen verwachten en logisch te verklaren zijn. Bovenstaand onderzoek draagt hiermee bij aan de begripsvaliditeit van de WPV.

7. Criteriumvaliditeit 

In het vorige hoofdstuk, Begripsvaliditeit, is aangetoond dat de WPV Compact en de WPV N equivalent zijn. Dit wil zeggen dat beide versies dezelfde (latente) constructen met dezelfde betrouwbaarheid meten. Wanneer twee tests dezelfde constructen op dezelfde betrouwbare en valide manier meten, dan kunnen we verwachten dat de correlaties met externe instrumenten bij beide versies gelijk zullen zijn. Daarom zullen in dit hoofdstuk twee onderzoeken naar de criteriumvaliditeit van de WPV besproken worden, die dus tevens bewijs leveren voor de criteriumvaliditeit van de WPV Compact.
Bij criteriumvaliditeit gaat het om de voorspellende waarde van testscores (Cotan, 2010). Ter ondersteuning van deze predictieve validiteit zijn twee onderzoeken uitgevoerd waarbij enige tijd na afname van de reguliere WPV bepaalde arbeidscriteria zijn gemeten. Vervolgens is getoetst wat de voorspellende waarde van de WPV is. Ook hier is een significantieniveau van 5% gehandhaafd.

7.1. Verpleegkundigenonderzoek met 360-graden beoordelingen

In de periode september 2005 tot december 2008 heeft Ixly een onderzoek uitgevoerd onder leerling-verpleegkundigen die de BBL-variant van de verpleegkundigenopleiding volgden. Het doel van het onderzoek was: de voorspellende waarde van een aantal persoonlijke eigenschappen van leerling-verpleegkundigen voor de mate van succes in hun opleiding vaststellen. Er is gekozen om alleen die leerlingen bij het onderzoek te betrekken die de opleiding volgen op basis van een leerwerkovereenkomst. De reden hiervoor is dat de inhoud van deze opleidingen sterker lijkt op de uiteindelijke werkpraktijk dan de inhoud van meer theoretisch ingerichte opleidingen. In praktijksituaties is bovendien – meer dan in een theoretische setting – een breder scala aan persoonlijke eigenschappen vereist om effectief te kunnen functioneren.

De persoonlijkheidstrekken zijn aan het begin van de opleiding gemeten door middel van de WPV. De mate van succes in de opleiding is gemeten door middel van een 360 graden feedbackmonitor. De inhoud van de 360 graden feedbackmonitor is door een ervaren psycholoog opgesteld en is in samenspraak met de deelnemende ziekenhuizen aangepast op de praktijksituatie van de leerling. De leerling heeft de 360 graden vragenlijst zelf ingevuld en daarnaast minimaal twee en maximaal tien personen uitgenodigd die met hem of haar hebben samengewerkt. De personen die de leerlingen beoordeelden, werden onderverdeeld in vijf categorieën: leidinggevenden, werkbegeleiders, praktijkopleiders, gediplomeerd verpleegkundigen en derde of vierdejaars leerling-verpleegkundigen. De leerling werd beoordeeld op veertien competenties, die ieder door middel van vijf gedragsindicatoren werden gemeten. Tijdens het onderzoek bleek dat het uitzetten van de vragenlijst zowel de praktijkopleiders als de leerlingen behoorlijk veel tijd kostte. Om die reden is het niet gelukt om alle deelnemende leerlingen tijdens iedere praktijkleerperiode een 360 graden vragenlijst in te laten vullen. In totaal hebben 80 leerlingen een 360 graden feedback vragenlijst ingevuld, die geschikt was voor de analyse.

Steekproef
Aan het totale onderzoek werkten 204 leerling-verpleegkundigen mee, die de opleiding op MBO- dan wel HBO-niveau volgden (35 mannen en 160 vrouwen, van 9 leerlingen is het geslacht onbekend). Ten tijde van de analyse hadden 80 leerlingen de 360 gradentest ingevuld (12 mannen en 67 vrouwen, van 1 leerling is het geslacht onbekend). De gemiddelde leeftijd van deze steekproef is 24.6 jaar (minimum leeftijd 18 jaar, maximum leeftijd 44 jaar). Van deze leerlingen volgden 58 de opleiding op MBO-niveau en 14 leerlingen op HBO-niveau, van 8 leerlingen is het opleidingsniveau onbekend.

Verwachtingen
Aangezien het onderzoek exploratief van aard is, worden geen vastomlijnde hypotheses gehanteerd. Volgens Bloemers en van der Molen ligt de voorspellende waarde, die bij een instrument gevonden wordt, meestal tussen de .20 en de .50 (Bloemers en van der Molen, 2004). Uit onderzoek van Schmidt en Hunter blijkt dat bij persoonlijkheidsinstrumenten relaties in de orde van .31 gevonden worden (Schmidt en Hunter, 1998). De generieke verwachting is daarom dat een aantal persoonlijkheidstrekken een samenhang van rond de .30 zullen vertonen met vrijwel alle competenties.

Resultaten
De betrouwbaarheid (Cronbach’s alfa) van de schalen van de WPV liggen bij dit onderzoek tussen .79 (Onafhankelijkheid) en .94 (Zorgzaamheid). De betrouwbaarheid van de factoren liggen tussen .91 (Invloed) en .96 (Gedrevenheid).

Als eerste zijn de WPV-factorscores van deze steekproef vergeleken met de WPV-factorscores van de normpopulatie van de WPV N. Met een t-toets is nagegaan of er verschillen tussen de factorscores van beide steekproeven bestaan. Hieruit blijkt dat de factorscores van Invloed en Gedrevenheid van elkaar verschillen. De leerling-verpleegkundigen scoren significant lager op deze factoren dan de normpopulatie (zie Tabel 7.1). We kunnen dus concluderen dat leerling-verpleegkundigen minder ambitieus en gedreven zijn dan de normpopulatie.

 

Er is voor gekozen om voor iedere leerling per gedragsindicator van een competentie een gemiddelde beoordeling te berekenen. Bij deze berekening worden alleen de beoordelingen van de respondenten gebruikt. De zelfbeoordeling van de leerling is buiten beschouwing gelaten. De betrouwbaarheid (Cronbach’s alfa) van de competenties ligt tussen .89 (Relationele kwaliteiten) en .95 (Aanpassingsvermogen). De hoogte van deze betrouwbaarheden komt mede tot stand door de gemiddelde beoordelingen die per gedragsindicator berekend zijn.

Over de gemiddelde beoordelingen per gedragsindicator van de competenties werd een principale componentenanalyse (PCA) met Varimaxrotatie uitgevoerd. Uit de resultaten van de PCA bleek dat de eerste factor 65% van de variantie verklaarde. In eerste instantie is daarom een totaalscore berekend, die gebaseerd is op alle competenties. Hiermee zijn de correlaties berekend met de genormeerde schaal- en factorscores van de WPV. Hieruit bleek dat de schalen Zelfonthulling (r = .38, p < .01) en Positivisme (r = .37, p < .01) significant correleren met de totaalscore van de 360 gradentest. Daarnaast liet de factor Sociabiliteit ook een samenhang zien met de 360 gradentest (r = .28, p < .01). Naast deze analyse zijn de correlaties berekend tussen de beoordelingen op de veertien competenties en de genormeerde factorscores van de WPV (zie Tabel 7.2). Er werden zes significante verbanden gevonden. Daarvan hadden er vijf betrekking op schalen van de factor Sociabiliteit van de WPV. De competenties Aanpassingsvermogen, Beïnvloedend vermogen, Emotionele stabiliteit, Gedrevenheid en Relationele kwaliteiten correleerden significant met Sociabiliteit. Kwantiteit van het werk liet een verband zien met de schalen van Stabiliteit.

 

Conclusies
Op basis van de resultaten van de analyse kunnen we concluderen dat er sprake is van een samenhang tussen de competenties zoals gemeten met de 360 graden methode en de persoonskenmerken die met de WPV worden gemeten. Deze samenhang is in de orde van grootte die op basis van ander onderzoek verwacht mag worden (zie Schmidt en Hunter, 1998). Dit resultaat draagt bij aan de criteriumvaliditeit van de WPV.

Vijf van de veertien competenties, die noodzakelijk zijn voor de werkzaamheden van een verpleegkundige (te weten: Aanpassingsvermogen, Beïnvloedend vermogen, Emotionele Stabiliteit, Gedrevenheid en Relationele Kwaliteiten) laten een significante correlatie zien met de factor Sociabiliteit. Dit resultaat is aannemelijk, aangezien de factor Sociabiliteit onder andere de schalen Contactbehoefte, Sociaal ontspannen, Hartelijkheid en Zorgzaamheid bevat. Dit zijn allen persoonlijkheidskenmerken die van pas kunnen komen bij het beroep van verpleegkundige. Hieruit kan de conclusie getrokken worden dat wanneer leerling-verpleegkundigen een hogere score dan gemiddeld op de factor Sociabiliteit laten zien, zij naar verwachting hun werk in het ziekenhuis met succes zullen uitvoeren.

Naast de score op Sociabiliteit lijkt ook de score op Stabiliteit belangrijk te zijn bij de selectie van leerling-verpleegkundigen. De competentie Kwantiteit van het werk laat een significante correlatie zien met Stabiliteit. Opmerkelijk is dat de competentie Emotionele stabiliteit niet significant met de factor Stabiliteit correleert. Een verklaring hiervoor kan zijn dat gebrek aan stabiliteit bij leerling-verpleegkundigen vooral waar te nemen is in de kwantiteit van het werk en minder waarneembaar is door de omgeving aan de hand van gedragsindicatoren die Emotionele stabiliteit meten. Daarnaast laten de competenties Beïnvloedend vermogen, Emotionele stabiliteit, Gedrevenheid en Organisatorische kwaliteiten relatief hoge correlaties zien met Stabiliteit.

Suggesties voor vervolgonderzoek
Voor de generaliseerbaarheid van de resultaten is het raadzaam om bij vervolgonderzoek vooraf hypotheses te formuleren, die tijdens de analyse getoetst kunnen worden. De hypotheses kunnen voortkomen uit de resultaten die gevonden zijn tijdens dit onderzoek. De te onderzoeken hypotheses zouden dan zijn:

• Sociabiliteit is een belangrijke factor voor succesvol functioneren van (leerling-)verpleegkundigen.
• Stabiliteit is een belangrijke factor voor de kwantiteit van het werk en wordt eerder door de persoon zelf gerapporteerd dan dat deze waarneembaar is voor de omgeving.

7.2. Prestatieonderzoek binnen een competitief arbeidsbemiddelingsbureau

In 2010 is gedurende een half jaar bij een competitief arbeidsbemiddelingsbureau (hierna Bureau X) onderzoek gedaan naar de relatie tussen persoonlijkheid, tevredenheid en arbeidsprestatie.

Methode
Het gehele werknemersbestand van Bureau X (284 medewerkers) is via e-mail uitgenodigd voor het online invullen van de WPV, een medewerkerstevredenheidsvragenlijst en een Carrièrewaardenvragenlijst. Van alle personen zijn prestatiematen beschikbaar, te weten individuele omzetcijfers en beoordelingen van leidinggevenden. Eerst zullen de gemiddelde schaal- en factorscores per functie worden berekend. Vervolgens zal aan de hand van lineaire regressie een aantal hypotheses getoetst worden, om zo de voorspellende waarde van de WPV op drie arbeidscriteria te toetsen.

Steekproef
189 medewerkers hebben het totale onderzoeksproces doorlopen. Hiervan zijn 105 vrouw en 84 man. 78 medewerkers hebben een arbeidscontract voor bepaalde tijd, 106 medewerkers hebben een arbeidscontract voor onbepaalde tijd en van 5 medewerkers is dit niet bekend. Bij bureau X zijn twee algemene functies te onderscheiden: 54 recruiters en 73 accountmanagers; de overige 62 zijn staf of ondersteunend van aard. In Tabel 7.3 wordt de steekproef beschreven.

 

Verwachtingen
Vooraf zijn hypotheses opgesteld wat betreft de relaties tussen persoonlijkheid, prestatie en tevredenheid. Hypotheses zijn opgesteld op basis van verwachtingen van HR-adviseurs van Bureau X.

1. De WPV-schalen Sociaal Ontspannen en Contactbehoefte hebben een positieve relatie met prestatie.
2. De WPV-schalen Weloverwogen en Regelmaat hebben een negatieve relatie met prestatie.

Resultaten
In Tabel 7.4 worden de gemiddelde factor- en schaalscores weergeven voor de twee functiegroepen binnen de organisatie. Opvallende hoge scores voor beide groepen zijn de schaal Competitie en de factor Invloed. Een opvallende lage score voor beide groepen is de schaal Weloverwogen. Verschillen tussen functies zijn op schaalniveau vooral Onafhankelijkheid, Zelfvertrouwen, Structuur en Originaliteit.

 

Lineaire regressie
Op basis van gemiddelde scores op schalen en factoren zoals in Tabel 7.4 is weergegeven is een profiel op te maken van de gemiddelde scores van de personen binnen een functiegroep. Dit zegt echter niets over de voorspelbaarheid van prestatie en tevredenheid op basis van de WPV. Hiervoor wordt lineaire regressie gebruikt.

Op basis van de assumpties die op regressieanalyse van toepassing zijn, zijn er exploratieve analyses op de afhankelijke variabelen (y₁) Omzet, (y₂) Beoordeling van leidinggevende en Tevredenheid (y₃) uitgevoerd. De assumpties van regressieanalyse zijn:

1. Lineariteit tussen X en Y
2. Alle paren waarnemingen (X,Y) zijn onafhankelijk van elkaar
3. De residuen zijn normaal verdeeld
4. Spreiding van de residuen is gelijk, ongeacht de grootte van X (Homoscedasticiteit)

In onderstaande tabellen geeft B de regressiecoëfficiënt aan, oftewel de mate waarin de schaal bijdraagt aan de afhankelijke variabele.

 

Conclusies
Uit de resultaten van het onderzoek bij Bureau X blijkt dat een duidelijk profiel is te maken van de twee hoofdfuncties binnen de organisatie (Tabel 7.5). De hoge gemiddelde competitiedrang van werknemers is een opvallend sterke maar verwachte tendens binnen deze organisatie. In dezelfde gedachtegang is de gemiddelde lage score op Weloverwogen een tendens die laat zien dat van medewerkers binnen deze competitieve organisatie snel (moeten) kunnen schakelen en dat deze manier van werken bij het huidige werknemersbestand past.

Wat betreft de voorspellende waarde van de uitkomsten van de WPV op prestatiematen zijn er een aantal schalen naar voren gekomen. Zeer opvallend is dat de score van een recruiter op de schaal Competitie een negatief effect heeft op de beoordeling van de leidinggevende. Uit gesprekken met HR-adviseurs van Bureau X bleek dat alhoewel competitieve houding een pré leek te zijn tijdens selectie, dit tijdens het werken in teamverband niet altijd positief is.

Ook opvallend is het positieve effect van Weloverwogen, terwijl de gemiddelde werknemer bij Bureau X beneden gemiddeld op deze schaal scoort. Een ander belangrijk aspect van functioneren is de tevredenheid van de werknemer zelf. Uit bovenstaande analyse blijkt dat voor beide functies verschillende schalen bijdragen aan de tevredenheid. Voor recruiters is dat met name Vernieuwing, en voor accountmanagers Positivisme.

Het doel van dit onderzoek was om aan de hand van vooropgestelde hypotheses de voorspellende waarde van de WPV te onderzoeken. Er blijkt inderdaad dat verschillende schalen van de WPV voorspellend zijn voor arbeidscriteria. Dit draagt sterk bij aan de predictieve validiteit van de WPV.