Factsheet Inbox Foodtruck

Beschrijving

De Inbox Foodtruck is een volledig digitale versie van een postbak of in-tray oefening, met een agenda module. Binnen deze werksimulatie, neemt de kandidaat de rol aan van planner. De kandidaat krijgt eerst 15 minuten de tijd om informatie te lezen over de organisatie Jamie's Foodtrucks en diens verantwoordelijkheden binnen dit bedrijf. Vervolgens start de simulatie met een mailbox waarin 19 ongelezen berichten staan. De kandidaat heeft 60 minuten de tijd om de e-mails te verwerken en een zo goed mogelijke planning te maken. Hierbij moet de kandidaat de prioriteit van iedere e-mail inschatten; beslissingen nemen; en afspraken plannen, afwijzen en wijzigen in de agenda. Ter voorbereiding kan de kandidaat vooraf een instructievideo bekijken en oefenopgaven maken om de functionaliteiten te begrijpen. 

De beoordeling van de gemaakte inbox loopt volledig automatisch en resulteert in een rapportage die gebruikt kan worden bij selectie- en adviesgesprekken. Scores worden gebaseerd op verschillende prestatiematen, zoals het aantal ingeplande afspraken, het aantal dubbele afspraken en in welke mate de prioritering van de kandidaat overeenkomt met die van een expertpanel. 

Toepassing

De Inbox Foodtruck geeft inzicht in het vermogen van een kandidaat om te plannen. Er wordt gekeken hoeveel aanleg de kandidaat heeft voor het maken van een planning, het stellen van prioriteiten en het maken van beslissingen. De simulatie gaat uit van een profiel van operationeel planner. Hiermee wordt een profiel bedoeld van iemand die zich binnen een bedrijf bezig houdt met het plannen van bijvoorbeeld personeel, productie, transport en/of logistiek. Het gaat naast specifieke planningsfuncties ook om andere administratieve beroepen waarbij plannen en organiseren een belangrijke rol spelen. De Inbox Foodtruck is geschikt voor advies- en selectiesituaties en kan ingezet worden voor diverse niveaus, van MBO- tot WO-niveau.

Ontwikkeling

Constructie

De Inbox Foodtruck is een werksimulatie voor het profiel van operationeel planner. Bij de constructie waren een aantal punten van belang: de inbox  moest de werkzaamheden en obstakels van een planner nauwkeurig nabootsen, binnen een context die voor veel mensen aansprekend zou zijn. Om specifiek planningsvaardigheden te meten en interferentie van andere vaardigheden te voorkomen is er bovendien gelet op taalniveau, kleurenblindheid en digitale behendigheid. De werksimulatie is ontwikkeld op taalniveau B1, B2 en daarmee goed te begrijpen voor de meeste Nederlanders. Daarnaast is het onderscheidend vermogen tussen kleuren zo gekozen, dat dit zo min mogelijk tot geen beperkend effect heeft op de prestatie van mensen met kleurenblindheid (type protanopia of deuteranopia). Ten slotte zijn verschillen tussen mensen in digitale behendigheid ondervangen door de toevoeging van zowel een instructievideo als instructie oefening.

Een eerste versie van de inbox is getest in een kwalitatief pilot onderzoek (N = 5). Dit onderzoek diende ertoe om de duidelijkheid van het systeem en de opdracht te verifiëren. Aan de hand van de hieruit verstrekte informatie zijn aanpassingen gedaan aan de vormgeving, de structuur en de inhoud van de inbox. Daarnaast is een aanvullend gebruikersonderzoek uitgevoerd (N = 9), om te verzekeren dat de inbox goed aansloot bij de doelgroep. Deze groep bestond uit 3 mannen en 6 vrouwen met een diversiteit aan planningservaring, leeftijd (M = 43.2, SD = 14.5), opleidingsniveau (vwo; mbo3; mbo4; hbo; wo) en computerervaring. In beide onderzoeken zijn de gebruikservaring en interpretatie van de inbox onderzocht door interviews (hardop-denk-interviews en ‘probing’ interviews) af te nemen. Op basis van dit onderzoek en de verstrekte feedback zijn functionele en inhoudelijke aspecten van de inbox verbeterd ter bevordering van de gebruiksvriendelijkheid van het instrument. 

Meetpretentie

De Inbox Foodtruck geeft twee soorten uitslagen:

• Statistieken: die een indicatie geven van de manier waarop de test is uitgevoerd.
• Competentiescores: die aangeven in welke mate bepaalde competenties zijn getoond.

De rapportage gaat in op de volgende competenties:

• Planningsvaardigheden: In staat zijn om een passend plan op te stellen waarbij rekening gehouden wordt met beperkingen en vereisten.
• Prioriteiten stellen: In staat zijn de juiste belang van zaken te bepalen.
• Besluitvaardigheid: In staat zijn om zelfstandig en adequaat beslissingen te kunnen nemen op basis van de beschikbare informatie.

In elk van deze hoofdstukken worden bovendien statistieken getoond die een beeld geven van de wijze waarop de kandidaat de test heeft aangepakt. Vanwege de automatische scoring van deze inbox hoeft de adviseur niet zelf alle e-mails na te kijken. Wel kan de adviseur gebruik maken van een overzicht van gemaakte keuzes, waarin ook fouten en bijzonderheden worden vermeld.  

Normgroep

De huidige normgroep (N  = 285) is gebaseerd op data verkregen uit onderzoek. Deze steekproef bestaat uit 140 mannen en 146 vrouwen tussen de 18 en 65 jaar (M = 28.27, SD = 9.48). Van de normgroep heeft 6,3% een laag opleidingsniveau, 29,1% midden en 64,7% een hoog opleidingsniveau (indeling conform CBS). De helft van de groep (50,7%) is werkzaam of werkzaam geweest binnen een administratieve functie, waarbij men tussen de 1-30 jaar administratieve ervaring had (M = 4.3, SD = 5.1).

Betrouwbaarheid en validiteit

Uit onderzoek blijkt dat de betrouwbaarheden van de competenties die met de inbox gemeten worden zeer wisselend zijn. Dit is voor een belangrijk deel toe te schrijven aan de testvorm. Een inbox geeft de kandidaat veel vrijheid. Hierdoor ontstaan er verschillen in de manier waarop kandidaten de inbox aanpakken en de hoeveelheid e-mails die zij behandelen. Dit levert vervolgens verschillen op in het aantal meetpunten dat beschikbaar is per kandidaat. Een laag aantal meetpunten heeft al snel een lagere betrouwbaarheid tot gevolg.

De betrouwbaarheden van de diverse onderdelen zijn als volgt:

* Gemiddelde van Kendall’s Tau b

Naast betrouwbaarheidsonderzoek is ook validiteitsonderzoek uitgevoerd. Resultaten hiervan volgen binnenkort. 

COTAN beoordeling

De Inbox Foodtruck is niet beoordeeld door de COTAN.