ACT Algemene Intelligentie positief beoordeeld door de COTAN

In februari 2017 stuurden wij onze adaptieve intelligentietest, de ‘ACT Algemene Intelligentie’ naar de COTAN om beoordeeld te worden. Nu, meer dan een jaar later, hebben we de beoordeling binnen en kunnen we trots vertellen dat die zeer positief is. Zeker voor een eerste indiening is dat een fantastische prestatie van onze Research & Development afdeling.

De COTAN is de Commissie Testaangelegenheden van het Nederlands Instituut van Psychologen en toetst de kwaliteit van psychologische tests en vragenlijsten volgens een uitgebreide beoordelingsprocedure. We zijn dan ook erg trots op onze goede scores op een aantal belangrijke onderdelen. De gehele beoordeling is uitsluitend via de COTAN Documentatie website beschikbaar. U vindt de volledige beoordeling hier.

*bekijk de toelichting hieronder

Kwalitatief hoogwaardige test

We zijn blij dat de COTAN onze inzet voor een kwalitatief hoogwaardige test heeft gewaardeerd. Met name de beoordeling van de betrouwbaarheid is belangrijk: met een afnametijd van zo’n 30-40 minuten is de ACT Algemene Intelligentie een zeer korte intelligentietest, maar deze korte afnametijd is dus niet ten koste gegaan van de betrouwbaarheid. Kortom, de ACT geeft een nauwkeurige meting van het intelligentieniveau van een kandidaat in selectiesituaties. Bekijk hier de vernieuwde handleiding met de aanpassingen.

Normen

De normgroepen van de ACT Algemene Intelligentie (vmbo, mbo (ook uitgesplitst naar niveau 1,2,3 en 4), hbo en wo) zijn gewogen voor leeftijd en geslacht. In de handleiding hebben we aangetoond dat er wat betreft regio en werksector weinig verschillen zijn in scores op de ACT Algemene Intelligentie, waarna wij beargumenteerd hebben dat werksector en regio dus geen relevante achtergrondkenmerken zijn bij de interpretatie van de scores op de ACT. De COTAN had echter liever ook informatie gehad over de herkomst wat betreft werksector en regio van de kandidaten in de normgroepen. Hetzelfde geldt voor de opmerking over unproctored vs. proctored testen (thuis of onder supervisie): in de handleiding hebben we met behulp van wetenschappelijke literatuur onderbouwd waarom dit onderscheid minder zorgwekkend is dan gedacht, maar de COTAN had liever eigen onderzoek hiernaar gezien. Dit onderzoek is inmiddels al gestart: zo hebben we recent vragen toegevoegd om informatie te verzamelen over regio, werksector en testlocatie. Op basis van deze gegevens kunnen we dus nieuw onderzoek doen voor de volgende indiening.

Criteriumvaliditeit

De ‘onvoldoende’ voor de criteriumvaliditeit was niet onverwacht: er zijn nauwelijks intelligentietests in Nederland die op deze categorie een voldoende scoren. Het is namelijk erg lastig om in het veld – met name goede en bruikbare – data te verzamelen om aan te kunnen tonen dat intelligentiescores prestatie op het werk kunnen voorspellen. In onze eerste versie van de handleiding hebben we een eerste poging gedaan, en we zijn nu in gesprek met verschillende partijen om hier verder onderzoek naar te doen. We hebben dan ook goede hoop dat de criteriumvaliditeit bij een volgende beoordeling op een ‘voldoende’ kan rekenen.

Doorontwikkeling

Hoewel de COTAN ernaar streeft om tests na indienen binnen maximaal een half jaar van een beoordeling te voorzien, hebben wij deze keer helaas langer dan een jaar op de beoordeling moeten wachten. We hadden het extra onderzoek om de specifieke punten van de COTAN aan te kunnen pakken graag eerder gestart, zodat we de test vlot hadden kunnen doorontwikkelen en opnieuw hadden kunnen indienen voor beoordeling. Nu moeten we helaas weer een jaar wachten tot de volgende indiening.
Tegelijkertijd hebben we niet stilgezeten: we zijn continu bezig om de kwaliteit van tests te verbeteren. Wij monitoren bijvoorbeeld regelmatig hoe de items van de ACT Algemene Intelligentie zich in de praktijk gedragen. Waar nodig worden deze (tijdelijk) uit de itembank verwijderd. Aanvullend zijn we de extra onderzoeken naar de normen en criteriumvaliditeit gestart om bij de volgende indiening nog positiever beoordeeld te worden.

Conclusie van deze COTAN-beoordeling

Wij zijn blij met de beoordeling van de COTAN, omdat deze aangeeft dat u de test verantwoord kunt gebruiken bij selectie en advies.