De wereld zal ingrijpend veranderen door ChatGPT, zoveel is zeker geworden de afgelopen weken. We zullen voor allerlei toepassingen ChatGPT gaan gebruiken. Laten we ChatGPT daar zelf eens wat vragen over stellen. Vervolgens kom ik met enkele hoogst persoonlijke conclusies, gegenereerd door mijn eigen menselijk intellect.
Op welke wijze gaat ChatGPT de praktijk van selectie assessments beïnvloeden?
ChatGPT: “ChatGPT kan de praktijk van het afnemen van assessments voor selectie op verschillende manieren beïnvloeden. Het kan bijvoorbeeld worden gebruikt om snel en efficiënt een groot aantal sollicitanten te screenen op basis van hun antwoorden op gestandaardiseerde vragen. Hierdoor kunnen recruiters sneller beslissingen nemen over welke kandidaten geschikt zijn voor verdere selectie. Echter, het is belangrijk om te realiseren dat ChatGPT alleen antwoorden kan genereren op basis van de gegevens waarmee het is getraind en niet altijd in staat is om subjectieve of contextuele factoren te overwegen. Daarom moeten recruiters altijd menselijke evaluaties uitvoeren om de juistheid van de antwoorden van ChatGPT te verifiëren.”
Zal spieken en fraude door ChatGPT bij intelligentietesten een rol spelen bij het screenen van sollicitanten?
“Het is mogelijk dat spieken en fraude door middel van ChatGPT bij intelligentietesten een rol gaan spelen in de praktijk van het screenen van sollicitanten. Aangezien ChatGPT gebaseerd is op kunstmatige intelligentie en grote hoeveelheden gegevens, is het in staat om antwoorden te genereren die op de een of andere manier manipulerend kunnen zijn. Hierdoor kan het gebruikt worden om te frauderen tijdens intelligentietesten. Daarom is het belangrijk om te realiseren dat de resultaten van deze tests niet alleen op ChatGPT-antwoorden moeten worden gebaseerd, maar altijd in combinatie met menselijke evaluaties en andere beoordelingsmethoden. Het is aan te raden om adequate maatregelen te nemen om spieken en fraude te voorkomen, zoals bijvoorbeeld het invoeren van geavanceerde anti-fraude technologieën en het uitvoeren van regelmatige audits", aldus ChatGPT.
Wat zijn effectieve middelen om spieken en fraude bij assessments te voorkomen?
ChatGPT: “Er zijn verschillende effectieve middelen om spieken en fraude bij assessments voor selectie te voorkomen:
- Anti-fraude technologieën: Dit omvat bijvoorbeeld geavanceerde technologieën zoals proctoring, waarbij de proefpersoon wordt gemonitord tijdens het afnemen van de test.
- Versleuteling en beveiliging: Zorg voor sterk beveiligde systemen die frauduleuze activiteiten kunnen detecteren en voorkomen.
- Menselijke evaluaties: Voer regelmatig menselijke evaluaties uit, bijvoorbeeld door experts op het gebied van psychometrie, om de resultaten van de assessments te beoordelen en te verifiëren.
- Regelmatige audits: Voer regelmatig audits uit om ervoor te zorgen dat de processen en systemen die worden gebruikt voor assessments voor selectie, betrouwbaar en effectief zijn.
- Educatie en bewustzijn: Bied opleidingen en trainingen aan aan recruiters, beoordelaars en kandidaten over de implicaties van spieken en fraude en hoe hiermee om te gaan.
Het is belangrijk om te realiseren dat geen enkele oplossing 100% effectief is en dat een combinatie van verschillende middelen nodig is om spieken en fraude bij assessments voor selectie te voorkomen."
Welke statistische maten kunnen inzicht geven in de mate van fraude en impressiemanagement?
“Er zijn verschillende statistische maten die inzicht kunnen geven in de mate van fraude en impressiemanagement bij assessments:
- Statistische afwijkingen: Als bepaalde scores of antwoorden significant afwijken van de verwachte resultaten, kan dit wijzen op fraude of impressiemanagement.
- Vergelijking met normgroepen: Door de resultaten van de proefpersoon te vergelijken met die van een normgroep, kan worden bepaald of de resultaten abnormaal zijn en of er sprake is van fraude of impressiemanagement.
- Respondent gedrag: Het gedrag van de proefpersoon tijdens het afnemen van de test, zoals het aantal pogingen om antwoorden te wijzigen, kan wijzen op impressiemanagement.
- Respondent validiteit: Er kunnen ook specifieke vragen worden opgenomen in de test die gericht zijn op het verkrijgen van informatie over de echte intenties en motivaties van de proefpersoon.
- Multiple-choice analyse: Bij multiple-choice vragen, kunnen de antwoordpatronen van de proefpersoon worden geanalyseerd om te bepalen of er sprake is van impressiemanagement.
Het is belangrijk om te realiseren dat deze maten slechts aanwijzingen zijn en dat het noodzakelijk is om ze te combineren met andere methoden, zoals menselijke evaluaties en audits, om een vollediger beeld te krijgen van de mate van fraude en impressiemanagement", antwoordt ChatGPT.
Conclusies en inzichten, gegenereerd door mijn menselijke intelligentie
ChatGPT is natuurlijk een geweldige uitvinding! Een chatbot met zelfinzicht, waar vind je dat? En deze zal nog veel beter gaan worden en meer kunnen. Voor de praktijk van selectie assessment heeft het wel degelijk impact, nu al. Als ik er over nadenk kom ik tot de volgende inzichten.
Het einde van het online afnemen van kennistesten zonder observatie?
Kennistesten kun je met de beschikbaarheid van dit soort middelen niet meer online afnemen. De verleiding even te spieken met ChatGPT is gewoon te groot. Dat zal allemaal weer onder observatie moeten. Dat kan met online proctoring, maar eigenlijk denk ik dat we dit alleen onder observatie kunnen doen. Het is te verleidelijk om een mobieltje onder je tafel te verstoppen en daarmee antwoorden op te zoeken. Ook zie ik een herleving van mondelinge examens en schriftelijke examens zonder ‘devices’. Als je die niet wilt of kunt organiseren, zou je gebruik kunnen maken van fysieke examencentra, zoals die van Lamark.
En hoe zit dat met intelligentietesten?
Fraude komt nu al voor bij online afname van intelligentietesten, door bijvoorbeeld iemand anders mee te laten kijken. Proctoring is eigenlijk noodzakelijk, online of live. Er is veel weerstand bij kandidaten en opdrachtgevers tegen online proctoring, omdat het nogal ‘intrusive’ is. Je observeert immers iemand in zijn thuissituatie.
Wij werken met een Approve test, een hertest gebaseerd op iemands resultaten van een test die thuis is ingevuld. Wanneer je de Approve test inzet en dat ook duidelijk communiceert, zien wij beperkte pogingen tot fraude. En dan valt men zeker door de mand wanneer men eruit gevist wordt voor een volledige hertest onder observatie.
Speelt hetzelfde bij persoonlijkheidstesten?
Ik verwacht dat persoonlijkheidstesten minder beïnvloed zullen worden door ChatGPT-achtige toepassingen. Ik kan niet zien wat je eraan zou hebben. Daarbij speelt impressiemanagement natuurlijk altijd al een rol bij vragenlijsten. Observatie heeft hier geen betekenis, omdat er geen goede of foute antwoorden zijn. Je wordt gevraagd een beeld van jezelf te schetsen.
Statistische maten voor detecteren impressiemanagement
Zoals ChatGPT al aangeeft, en gevonden heeft in alles wat het gelezen heeft, zijn er wel enkele maten die we kunnen toepassen om fraude, impressiemanagement en de ‘gewone’ sociaal wenselijkheid te detecteren. Person-fit statistics bieden die mogelijkheid. Ook slimme combinaties van ipsatieve en adaptieve testen zullen inzicht geven. We zijn aan het experimenteren met AI om dit te detecteren in de antwoordpatronen. Hierbij houden we ook rekening met de tijd die men nodig heeft voor het invullen van een vraag. Deze statistics zijn wel deels context specifiek en zullen we dus deels per opdrachtgever moeten ontwikkelen. Wat sociaal wenselijk is in de ene context, is mogelijk niet sociaal wenselijk in een andere context.
Kortom, het is goed om je af te vragen hoe je hiermee wilt omgaan. Wij zullen hier in ieder geval bij de testconstructie rekening mee houden.
