Nieuw: vier Mbo-normgroepen voor de ACT Algemene intelligentie

Hoewel veel mensen bekend zijn met de verschillende leerwegen in het Mbo-onderwijs, wordt het Mbo in de regel vaak als één opleidingsniveau benaderd. Bij onze intelligentiemetingen was dat tot voorkort ook het geval. Om te onderzoeken of een gedetailleerdere indeling met voldoende psychometrische kwaliteit op grond van de vier Mbo-niveaus mogelijk is, hebben wij recentelijk een data-analyse uitgevoerd. Er zitten namelijk aanzienlijke niveauverschillen tussen deze varianten van het Mbo-onderwijs (Mbo1,-2, -3 en 4). Het lijkt zinvol daar rekening mee te houden wanneer we iemands intelligentie in vergelijking tot anderen met een mbo-niveau berekenen. We kunnen immers verwachten dat de verschillende Mbo-niveaus  zich ook uiten in het algemene denkvermogen van de studenten, en dus naar voren zullen komen in de resultaten van intelligentietests. Het onderzoek heeft geresulteerd in vier nieuwe normgroepen voor de ACT Algemene intelligentie. Aangezien de behoefte aan een meer fijnmazige verdeling van de Mbo-normgroepen in het werkveld steeds sterker werd is dat een mooie uitkomst: we kunnen nu nog beter differentiëren. In deze blog leest u meer over het onderzoek en de normgroepen.

Data-analyse onder meer dan 1500 personen met Mbo-niveau

Begin november haalden we de resultaten van de ACT Algemene Intelligentie van januari tot november 2017 uit onze database. Dit leverde gegevens op van 115 personen met Mbo1 (Assistent beroepsbeoefenaar) als hoogst afgeronde opleiding, 580 met Mbo2 (Medewerker), 421 met Mbo3 (Zelfstandig medewerker) en 546 met Mbo4 (Middenkaderfunctionaris).

Allereerst zijn deze steekproeven onderzocht op representativiteit in vergelijking met de beroepsbevolking met de vier betreffende opleidingsniveaus over 2016 (CBS) op grond van leeftijd, (< 25 jaar, 25 – 44 jaar, 45 – 65 jaar), geslacht, en herkomst (Nederland, Westers en Niet-westers). Omdat het CBS qua verdeling in achtergrondvariabelen geen onderscheid maakt tussen Mbo2 en Mbo3 zijn de verdelingen van onze Mbo2- en Mbo3-normgroep met deze gecombineerde groep vergeleken. Hieruit bleek dat zowel oudere personen als vrouwen ondervertegenwoordigd waren in onze steekproeven. Wat betreft herkomst waren de verdelingen relatief gelijk aan de verdelingen in de populatie, behalve voor de Mbo1-groep; hierin waren personen met een niet-westerse achtergrond oververtegenwoordigd. Rekening houdend met deze bevindingen, is er voor gekozen om de Mbo1-groep de steekproef te wegen naar zowel leeftijd, geslacht als herkomst, en de overige drie groepen alleen te wegen voor leeftijd en geslacht. Uiteindelijk resulteerde dit in de volgende verdelingen.

Uit Tabel 1 blijkt dat, na weging, de verdeling wat betreft geslacht niet overeenkwam met de CBS-verdeling. Mannen zijn in onze Mbo1-normgroep enigszins oververtegenwoordigd. Wat betreft herkomst zien we dat de Mbo2-normgroep slechts kleine verschillen laat zien met de CBS-verdeling. Bij de Mbo3-normgroep zijn personen met een Nederlandse herkomst enigszins oververtegenwoordigd en Westerse allochtonen iets ondervertegenwoordigd. Voor de Mbo4-normgroep geldt dat er iets meer niet-westerse allochtonen in onze normgroep zitten in vergelijking met de CBS-verdeling.

Na weging bekeken we ook de representativiteit van de regionale spreiding. Bij de Mbo2-, Mbo3- en Mbo4-groepen zaten er personen uit alle provincies in de normgroep. De profielcorrelatie tussen de verdeling van personen over de twaalf provincies in de steekproeven en de verdeling van de beroepsbevolking waren respectievelijk .92, .88 en .93; dus voor deze normgroepen geldt dat ze een goede representatie vormen van de doelpopulatie wat betreft regio. Bij de Mbo1-groep waren er personen afkomstig uit 9 provincies, en de correlatie met de CBS-verdeling was .71. Hoewel deze correlatie hoog is, en de verdeling in deze normgroep dus redelijk overeenkwam met de werkelijke regionale verdeling, bleek er met name een ondervertegenwoordiging te zijn van personen uit Noord-Holland (2.5% in normgroep, 16.9% volgens CBS-gegevens 2016) en oververtegenwoordiging van personen uit Zuid-Holland (28.0% in normgroep, 20.9% volgens CBS-gegevens 2016).

Betrouwbaarheid en validiteit

In Tabel 2 zijn de betrouwbaarheden weergegeven voor de subtests en de g-score van de ACT Algemene Intelligentie per normgroep (zie de handleiding van de ACT Algemene Intelligentie voor een uitgebreide uitleg over de berekening van betrouwbaarheid bij adaptieve tests).

Uit Tabel 2 blijkt dat de betrouwbaarheden hoog tot zeer hoog zijn en dat er nauwelijks verschillen zijn tussen de normgroepen. Voor alle vier de normgroepen geldt dus dat de ACT Algemene Intelligentie een nauwkeurige schatting kan geven van het denkvermogen van een persoon.

In Tabel 3 zijn de gemiddelden en standaarddeviaties van de scores op de subtests en de g-score van de ACT Algemene Intelligentie weergegeven.

Uit Tabel 3 blijkt dat de rangorde die we zouden mogen verwachten wat betreft scores (van laag naar hoog van Mbo1-Mbo2-Mbo3-Mbo4) wordt teruggevonden bij de ACT Algemene Intelligentie. Dit draagt bij aan bewijs voor de validiteit van de test; verschillen in intelligentie die we op basis van opleidingsniveau mogen verwachten worden ook teruggevonden bij de ACT Algemene Intelligentie. Dit geeft aan dat verschillen in scores op de ACT Algemene Intelligentie samen lijken te gaan met reële verschillen tussen groepen en dat het beoogde construct – intelligentie – inclusief deze reële verschillen tussen groepen, wordt gemeten.

Verder bleek uit analyses dat, in lijn met het theoretisch model van de ACT Algemene Intelligentie, in alle vier de normgroepen een duidelijke algemene intelligentiefactor (g) aanwezig was, die ongeveer rond de 40% tot 50% van de variantie verklaarde in de scores op de subtests.

Conclusie

Uit dit onderzoek is gebleken dat de ACT Algemene Intelligentie ook bij de vier nieuwe normgroepen over goede psychometrische kwaliteiten beschikt. Over het algemeen zijn de nieuwe normgroepen representatief qua leeftijd, geslacht, herkomst en regionale herkomst, waarmee we de vraag uit de markt beantwoorden.

Gelet op grootte van de normgroep, de oververtegenwoordiging van mannen en de wat mindere representativiteit qua regio zal Ixly zo snel mogelijk, wanneer er nieuwe data binnen is gekomen, de Mbo1-normgroep updaten. Echter, gelet op de behaalde scores en de psychometrische kwaliteiten van de test bij deze normgroep is de huidige versie in de praktijk goed bruikbaar.