Waarom zijn de scores van de TSA-denktoets voor veel kandidaten lager dan verwacht?

Dit jaar is het de tweede keer dat de Hanoi University of Science and Technology het TSA-denkvaardigheidsexamen op een nieuwe manier organiseert. Dit betekent dat de examenstructuur is aangepast ten opzichte van 2022 en eerder. Naast de aanpassing van de examenstructuur heeft de Hanoi University of Science and Technology een nieuwe beoordelingstheorie toegepast, namelijk de vraag-responstheorie (IRT), bij het beoordelen van de kwaliteit van vragen en het berekenen van examenscores voor kandidaten.

Dit heeft ertoe geleid dat kandidaten zichzelf na het afronden van de test niet konden beoordelen, maar moesten wachten op de beoordelingsresultaten na analyse van de testgegevens van de kandidaat. Veel kandidaten raken dan ook in de war na ontvangst van de uitslagmelding, omdat de ontvangen scores niet zijn zoals ze zich hadden voorgesteld.

Veel studenten zijn erg geïnteresseerd in de TSA-denktoets die wordt georganiseerd door de Hanoi University of Science and Technology.

Testscores zijn een gekwantificeerd model van de inschatting van de vaardigheden van een kandidaat.

Om deze zorg bij kandidaten weg te nemen, heeft de krant Thanh Nien een interview gehad met Dr. Dang Xuan Cuong, een onafhankelijk wetenschapper met vele jaren aan onderzoek en implementatie op het gebied van educatieve beoordeling en meting. Hij is een van de mensen die de afgelopen 2 jaar de Hanoi University of Science and Technology heeft geadviseerd bij de implementatie van de TSA-denktoets.

Volgens Dr. Dang Xuan Cuong is de vraag-antwoordtheorie gebaseerd op wiskundige modellen om de relatie te verklaren tussen het vermogen van de kandidaat en de vragen die dat vermogen meten. Met deze theoretische benadering worden de parameters van de vragen (zoals moeilijkheidsgraad, onderscheidingsvermogen, gokvaardigheid, enz.) en het vermogen van de kandidaat gekwantificeerd op basis van de testgegevens van de groep kandidaten die aan de test deelnemen. Het vermogen van de kandidaat dat wordt geschat op basis van de vraag-antwoordtheorie, zal daarom verschillen van de traditionele beoordelingsmethode.

Voordat kandidaten de TSA-denkvaardigheidstest afleggen, worden ze getest.

Bij traditionele beoordeling is de score van de toets simpelweg een mechanische optelling van de scores van de vragen in de toets volgens een specifieke beoordelingsrichtlijn. Experts noemen dit de ruwe score. Met de ruwe score kunnen de meeste kandidaten vertrouwen op de antwoorden om hun eigen toets te beoordelen. Zelfs als de toets alleen uit objectieve meerkeuzevragen bestaat, kunnen kandidaten zichzelf beoordelen na het afleggen van de toets.

Volgens de vraag-antwoordtheorie is de testscore een resultaat dat aan de kandidaat wordt meegedeeld na een proces van analyse van de testgegevens van de kandidaat. Dit is een vrij complexe stap in termen van expertise, uitgevoerd met behulp van gespecialiseerde software en zorgvuldig beoordeeld aan de hand van statistische indicatoren. In wezen is de testscore een gekwantificeerd resultaat dat dient als basis om kandidaten te helpen hun vaardigheden te begrijpen en om hun testresultaten te vergelijken met de resultaten van alle andere kandidaten in het examen.

Dr. Dang Xuan Cuong legt uit: "In principe zal het systeem, nadat de kandidaten de test hebben afgerond, op basis van de gegevens van elke vraag in de test een inschatting maken van het vermogen van de kandidaten. Hierbij wordt onder andere gekeken naar hoeveel kandidaten elke bijbehorende vraag kunnen beantwoorden en welke kandidaten dat zijn, hoeveel vragen elke kandidaat kan beantwoorden en welke vragen dat zijn.

De testresultaten van de kandidaat helpen het systeem een ​​model te genereren om het denkvermogen van de kandidaat te schatten. Op basis van dit geschatte vermogen wordt de score voor de denkvaardigheidstoets berekend door deze om te rekenen naar de schaal die voor de test wordt gebruikt (meestal van 0 tot 100).

Zelfs als u 70 vragen goed beantwoordt, kan uw testscore afwijken.

Dr. Dang Xuan Cuong zei ook dat de huidige TSA-denktoets van de Universiteit van Hanoi voor Wetenschap en Technologie een examen is dat de toepassing combineert van een vraag-antwoordmodel met één parameter (alleen gericht op de moeilijkheidsgraad van de vraag) en twee parameters (gericht op de moeilijkheidsgraad en het onderscheidingsvermogen van de vraag). Volgens bovenstaand principe heeft een groep kandidaten dezelfde ruwe score, maar zijn de TSA-testscores van de studenten verschillend.

Dr. Dang Xuan Cuong gaf een voorbeeld: "Stel dat de test 100 vragen heeft. Volgens de traditionele aanpak is elk goed antwoord 1 punt waard. Als twee kandidaten dan 70 vragen tegelijk kunnen beantwoorden, krijgt elke kandidaat 70 punten. Met de vraag-antwoordtheorie heeft elke vraag in de test echter een andere moeilijkheidsgraad en wordt het niveau van de kandidaat ingeschat op basis van welke specifieke vragen hij correct heeft beantwoord. En met de twee hier genoemde kandidaten, als kandidaat A moeilijkere vragen kan beantwoorden dan kandidaat B, zal het geschatte niveau van kandidaat A hoger zijn dan dat van kandidaat B. Bovendien is het onderscheid tussen de vragen ook een factor die wordt gebruikt bij het inschatten van het niveau van de kandidaten. Het resultaat is dat de aangekondigde score van student A hoger is dan die van student B."

Simpel gezegd: bij de traditionele aanpak op basis van ruwe scores worden de scores van vragen berekend met hetzelfde "gewicht", wat betekent dat de moeilijkheidsgraad en het gemak van die vragen niet worden berekend. Volgens de vraag-antwoordtheorie zullen de scores van vragen verschillende "gewichten" hebben. Dit gewicht is echter niet afhankelijk van de subjectieve wil van de testontwerper, maar wordt berekend op basis van wiskundige modellen op basis van de testgegevens van de kandidaten.

Bij het toepassen van de theorie van vraagrespons wordt bij de analyse van testgegevens ook gebruikgemaakt van de vergelijkingstechniek om de testscores van kandidaten op dezelfde schaal te brengen. De denkvaardigheidstest bestaat elk jaar uit meerdere rondes en kandidaten worden kort na het afleggen van de test op de hoogte gebracht van de uitslag (niet pas bij de jaarlijkse test).

Om een ​​eerlijke toelatingsprocedure te garanderen voor kandidaten die in verschillende ronden examen doen, gebruikt de examenorganisator de schaal van de eerste ronde als de oorspronkelijke schaal. Voor de volgende ronden wordt tijdens de analyse van de examenresultaten de vergelijkingstechniek toegepast om de scores van de kandidaten die de volgende ronde afleggen terug te brengen naar de oorspronkelijke schaal en vervolgens de officiële resultaten van de kandidaten te presenteren. Dit maakt het gemakkelijker om de examenresultaten tussen ronden te vergelijken.

Volgens Dr. Dang Xuan Cuong heeft elke theorie zijn voor- en nadelen. "Met de toepassing van de vraag-antwoordtheorie aan de Hanoi University of Science and Technology voor het denkvermogensexamen, zijn we ook zeer zorgvuldig en hanteren we een specifiek stappenplan om het examen elk jaar te perfectioneren," aldus de heer Cuong.

Dr. Dang Xuan Cuong promoveerde in de onderwijskunde met een proefschrift over onderwijsmeting en -evaluatie aan Flinders University in Australië. Hij heeft meer dan 18 jaar ervaring in dit vakgebied.

Bron: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm