Im Februar 2017 haben wir unseren adaptiven Intelligenztest, den AKT Allgemeine Intelligenz, zur Beurteilung an die COTAN geschickt. Jetzt, mehr als 1 Jahr später, haben wir die Beurteilung erhalten und können mit Stolz verkünden, dass sie sehr positiv ist. Vor allem für die erste Einreichung ist das sicherlich eine fantastische Leistung unserer Entwicklungsabteilung.
Die COTAN ist die Kommission für Testangelegenheiten der Niederlande vom Niederländischen Institut der Psychologen und testet die Qualität psychologischer Tests und Fragebögen nach einer umfangreichen Beurteilungsprozedur. Wir sind auch wirklich sehr stolz auf die gute Bewertung einiger wichtiger Teile. Die gesamte Bewertung ist aus Datenschultzrechten ausschließlich über die Webseite für die Dokumentation der COTAN verfügbar (auf niederländisch). Nehmen Sie gern Kontakt mit uns auf, wenn Sie sie einsehen wollen. Im Folgenden finden Sie in diesem Artikel jedoch auch die Zusammenfassung der Beurteilung.
Wir sind froh, dass die COTAN unsere Bemühungen für einen qualitativ hochwertigen Test wertgeschätzt hat. Vor allem die Beurteilung der Zuverlässigkeit ist wichtig: mit einer Abnahmezeit von 30-40 Minuten ist der AKT Allgemeine Intelligenz nämlich ein sehr kurzer Intelligenztest, aber diese kurze Testdauer hat keinen Einfluss auf die Zuverlässigkeit. Kurzum, der AKT gibt eine genaue Messung des Intelligenzniveaus eines Kandidaten in Auswahlsituationen wieder.
Die Normgruppen vom AKT Allgemeine Intelligenz (Hauptschule, Berufsschule, Bachelor, Master) sind im Hinblick auf Alter und Geschlecht ausgewogen. In der Anleitung haben wir angegeben, dass es in Bezug auf Region und Arbeitssektor wenig Unterschiede in den Punktzahlen vom AKT Allgemeine Intelligenz gibt, weswegen wir schlussfolgern konnten, dass diese zwei Faktoren für die Interpretation der Punktzahlen des AKT keine Rolle spielen. Die COTAN hätte allerdings gern auch Informationen zur Herkunft der Kandidaten der Normgruppen gehabt.
Dasselbe gilt für die Bemerkung bezüglich des beaufsichtigten vs. unbeaufsichtigten Testens (zu Hause oder unter Aufsicht): in der Anleitung haben wir mithilfe wissenschaftlicher Literatur untermauert, warum dieser Unterschied weniger besorgniserregend ist als gedacht, aber die COTAN hätte lieber eine eigene Studie hierzu von uns gesehen. Mit dieser Studie haben wir jetzt schon angefangen: kürzlich haben wir Fragen zu Region, Arbeitssektor und Testort zugefügt, um darüber die benötigten Informationen zu sammeln. Auf Grundlage dieser (anonymisierten!) Daten können wir dann für die nächste Einreichung Untersuchungen durchführen.
Das ‚mangelhaft‘ für die Kriteriumvalidität war nicht unerwartet: es gibt kaum Intelligenztests, die in dieser Kategorie ein ‚genügend‘ bekommen. Es ist nämlich sehr schwierig, auf diesem Gebiet gute und brauchbare Daten zu sammeln, um angeben zu können, dass Ergebnisse eines Intelligenztests die Arbeitsleistung vorhersagen können. In unserer ersten Version der Anleitung haben wir einen ersten Versuch unternommen, und wir führen jetzt Gespräche mit verschiedenen Parteien, um hieran weiter zu arbeiten. Wir sind optimistisch, dass die Kriteriumvalidität dann bei der nächsten Beurteilung auf ein ‚genügend‘ zählen kann.
Obwohl die COTAN bemüht ist, Tests innerhalb von einem halben Jahr nach der Einreichung mit einer Beurteilung zu versehen, haben wir dieses Mal leider mehr als ein ganzes Jahr auf die Beurteilung warten müssen. Wir hätten mit den zusätzlichen Studien gern früher angefangen, um die spezifischen Punkte, die die COTAN angegeben hat, zu verbessern. So hätten wir den Test schnell weiterentwickeln und erneut zur Beurteilung einreichen können. Jetzt müssen wir leider wieder ein Jahr bis zur nächsten Einreichung warten.
Aber wir haben in der Zwischenzeit natürlich nicht Däumchen gedreht: wir sind immerzu damit beschäftigt, die Qualität unserer Tests zu verbessern. Wir kontrollieren beispielsweise regelmäßig, wie sich die Items des AKT Allgemeine Intelligenz in der Testpraxis verhalten. Wenn nötig werden manche (temporär) aus der Itembank gelöscht. Außerdem haben wir mit zusätzlichen Studien zu den Normen und der Kriteriumvalidität angefangen, um bei der nächsten Einreichung noch positiver beurteilt zu werden.
Wir freuen uns über die Beurteilung der COTAN, weil sie angibt, dass Sie diesen Test verantwortungsvoll für Auswahl und Beratung einsetzen können.