De wereld zal ingrijpend veranderen door ChatGPT, zoveel is zeker geworden de afgelopen weken. We zullen voor allerlei toepassingen ChatGPT gaan gebruiken. Laten we ChatGPT daar zelf eens wat vragen over stellen. Vervolgens kom ik met enkele hoogst persoonlijke conclusies, gegenereerd door mijn eigen menselijk intellect.
ChatGPT: “ChatGPT kan de praktijk van het afnemen van assessments voor selectie op verschillende manieren beïnvloeden. Het kan bijvoorbeeld worden gebruikt om snel en efficiënt een groot aantal sollicitanten te screenen op basis van hun antwoorden op gestandaardiseerde vragen. Hierdoor kunnen recruiters sneller beslissingen nemen over welke kandidaten geschikt zijn voor verdere selectie. Echter, het is belangrijk om te realiseren dat ChatGPT alleen antwoorden kan genereren op basis van de gegevens waarmee het is getraind en niet altijd in staat is om subjectieve of contextuele factoren te overwegen. Daarom moeten recruiters altijd menselijke evaluaties uitvoeren om de juistheid van de antwoorden van ChatGPT te verifiëren.”
“Het is mogelijk dat spieken en fraude door middel van ChatGPT bij intelligentietesten een rol gaan spelen in de praktijk van het screenen van sollicitanten. Aangezien ChatGPT gebaseerd is op kunstmatige intelligentie en grote hoeveelheden gegevens, is het in staat om antwoorden te genereren die op de een of andere manier manipulerend kunnen zijn. Hierdoor kan het gebruikt worden om te frauderen tijdens intelligentietesten. Daarom is het belangrijk om te realiseren dat de resultaten van deze tests niet alleen op ChatGPT-antwoorden moeten worden gebaseerd, maar altijd in combinatie met menselijke evaluaties en andere beoordelingsmethoden. Het is aan te raden om adequate maatregelen te nemen om spieken en fraude te voorkomen, zoals bijvoorbeeld het invoeren van geavanceerde anti-fraude technologieën en het uitvoeren van regelmatige audits", aldus ChatGPT.
ChatGPT: “Er zijn verschillende effectieve middelen om spieken en fraude bij assessments voor selectie te voorkomen:
“Er zijn verschillende statistische maten die inzicht kunnen geven in de mate van fraude en impressiemanagement bij assessments:
Het is belangrijk om te realiseren dat deze maten slechts aanwijzingen zijn en dat het noodzakelijk is om ze te combineren met andere methoden, zoals menselijke evaluaties en audits, om een vollediger beeld te krijgen van de mate van fraude en impressiemanagement", antwoordt ChatGPT.
ChatGPT is natuurlijk een geweldige uitvinding! Een chatbot met zelfinzicht, waar vind je dat? En deze zal nog veel beter gaan worden en meer kunnen. Voor de praktijk van selectie assessment heeft het wel degelijk impact, nu al. Als ik er over nadenk kom ik tot de volgende inzichten.
Het einde van het online afnemen van kennistesten zonder observatie?
Kennistesten kun je met de beschikbaarheid van dit soort middelen niet meer online afnemen. De verleiding even te spieken met ChatGPT is gewoon te groot. Dat zal allemaal weer onder observatie moeten. Dat kan met online proctoring, maar eigenlijk denk ik dat we dit alleen onder observatie kunnen doen. Het is te verleidelijk om een mobieltje onder je tafel te verstoppen en daarmee antwoorden op te zoeken. Ook zie ik een herleving van mondelinge examens en schriftelijke examens zonder ‘devices’. Als je die niet wilt of kunt organiseren, zou je gebruik kunnen maken van fysieke examencentra, zoals die van Lamark.
En hoe zit dat met intelligentietesten?
Fraude komt nu al voor bij online afname van intelligentietesten, door bijvoorbeeld iemand anders mee te laten kijken. Proctoring is eigenlijk noodzakelijk, online of live. Er is veel weerstand bij kandidaten en opdrachtgevers tegen online proctoring, omdat het nogal ‘intrusive’ is. Je observeert immers iemand in zijn thuissituatie.
Wij werken met een Approve test, een hertest gebaseerd op iemands resultaten van een test die thuis is ingevuld. Wanneer je de Approve test inzet en dat ook duidelijk communiceert, zien wij beperkte pogingen tot fraude. En dan valt men zeker door de mand wanneer men eruit gevist wordt voor een volledige hertest onder observatie.
Speelt hetzelfde bij persoonlijkheidstesten?
Ik verwacht dat persoonlijkheidstesten minder beïnvloed zullen worden door ChatGPT-achtige toepassingen. Ik kan niet zien wat je eraan zou hebben. Daarbij speelt impressiemanagement natuurlijk altijd al een rol bij vragenlijsten. Observatie heeft hier geen betekenis, omdat er geen goede of foute antwoorden zijn. Je wordt gevraagd een beeld van jezelf te schetsen.
Statistische maten voor detecteren impressiemanagement
Zoals ChatGPT al aangeeft, en gevonden heeft in alles wat het gelezen heeft, zijn er wel enkele maten die we kunnen toepassen om fraude, impressiemanagement en de ‘gewone’ sociaal wenselijkheid te detecteren. Person-fit statistics bieden die mogelijkheid. Ook slimme combinaties van ipsatieve en adaptieve testen zullen inzicht geven. We zijn aan het experimenteren met AI om dit te detecteren in de antwoordpatronen. Hierbij houden we ook rekening met de tijd die men nodig heeft voor het invullen van een vraag. Deze statistics zijn wel deels context specifiek en zullen we dus deels per opdrachtgever moeten ontwikkelen. Wat sociaal wenselijk is in de ene context, is mogelijk niet sociaal wenselijk in een andere context.
Kortom, het is goed om je af te vragen hoe je hiermee wilt omgaan. Wij zullen hier in ieder geval bij de testconstructie rekening mee houden.