Varför upplever många kandidater att deras TSA-tänkandebedömningsresultat inte är som förväntat?

I år är det andra året som Hanoi University of Science and Technology har organiserat TSA thinking assessment-provet på ett nytt sätt, vilket innebär att provstrukturen har justerats jämfört med 2022 och tidigare. Utöver att justera provstrukturen har Hanoi University of Science and Technology tillämpat en ny bedömningsteori, nämligen fråge- och svarsteorin (IRT), för att bedöma frågornas kvalitet samt beräkna provresultat för kandidater.

Detta har lett till att kandidater inte kan betygsätta sig själva efter att ha avslutat provet, utan måste vänta på betygsresultaten från analysen av kandidatens testdata. Därför blir många kandidater förvirrade efter att ha fått resultatbeskedet eftersom de erhållna resultaten inte är som de föreställt sig.

Många studenter är mycket intresserade av TSA:s tänkandetest som anordnas av Hanoi University of Science and Technology.

Testresultat är en kvantifierad modell för kandidatens uppskattning av förmåga.

För att lindra denna oro för kandidaterna hade Thanh Nien Newspaper en intervju med Dr. Dang Xuan Cuong, en oberoende forskare med många års forskning och implementering av pedagogisk bedömning och mätning, en av de personer som konsulterat Hanois universitet för vetenskap och teknik för att implementera TSA:s tänkandebedömningstest under de senaste två åren.

Enligt Dr. Dang Xuan Cuong bygger frågesvarsteorin på matematiska modeller för att förklara sambandet mellan kandidatens förmåga och de frågor som mäter den förmågan. Med denna teoretiska metod kommer frågornas parametrar (såsom svårighetsgrad, urskiljningsförmåga, gissning etc.) och kandidatens förmåga att kvantifieras baserat på testdata från den grupp kandidater som deltar i testet. Därför kommer kandidatens förmåga uppskattad utifrån frågesvarsteorin att skilja sig från den traditionella poängsättningsmetoden.

Kandidater testas innan de gör TSA:s tänkandebedömningstest.

Med traditionell betygsättning är testresultatet helt enkelt en mekanisk addition av poängen för frågorna i testet enligt en specifik betygsguide. Experter kallar detta för råpoäng. Med råpoängen kan de flesta kandidater förlita sig på svaren för att betygsätta sitt eget test, och även om testet bara består av objektiva flervalsfrågor kan kandidaterna betygsätta sig själva efter att ha gjort testet.

Med hjälp av fråge- och svarsteori är testresultatet ett resultat som tillkännages för kandidaten efter en process där kandidatens testdata analyseras. Detta är ett ganska komplicerat steg i termer av expertis, utfört med specialiserad programvara och noggrant beaktat genom statistiska indikatorer. I huvudsak är testresultatet ett kvantifierat resultat som fungerar som en grund för att hjälpa kandidater att förstå sina förmågor samt ha en grund för att jämföra sina testresultat med resultaten från alla andra kandidater i provet.

Dr. Dang Xuan Cuong förklarade: "I princip, efter att kandidaterna har avslutat testet, kommer systemet att förlita sig på data för varje fråga i testet för att uppskatta kandidaternas förmåga, inklusive information om hur många kandidater som kan svara på varje motsvarande fråga och vilka kandidater de är, hur många frågor varje kandidat kan svara på och vilka frågor de är."

Testdeltagarens testresultatdata hjälper systemet att generera en modell för att uppskatta testdeltagarens förmåga. Från denna uppskattade förmåga beräknas tankebedömningens poäng genom att konvertera den till den skala som används av testet (vanligtvis från 0 till 100).

Även om du svarar rätt på 70 frågor kan dina testresultat bli annorlunda.

Dr. Dang Xuan Cuong sa också att det nuvarande TSA-tänkandebedömningstestet vid Hanoi University of Science and Technology är ett prov som kombinerar tillämpningen av en enparameters frågesvarsmodell (som endast rör frågans svårighetsgrad) och två parametrar (som rör frågans svårighetsgrad och urskiljningsförmåga). Enligt principen ovan har en grupp kandidater samma råpoäng men studenternas TSA-testresultat är olika.

Dr. Dang Xuan Cuong gav ett exempel: "Anta att provet har 100 frågor. Enligt den traditionella metoden är varje rätt svar värt 1 poäng. Om två kandidater kan svara på 70 frågor tillsammans får varje kandidat 70 poäng. Men med frågesvarsteorin har varje fråga i provet olika svårighetsgrad och kandidatens förmåga uppskattas baserat på vilka specifika frågor kandidaten har svarat korrekt på. Och med de två kandidaterna som nämns här, om kandidat A kan svara på svårare frågor än kandidat B, kommer kandidat A:s uppskattade förmåga att vara högre än kandidat B:s. Dessutom är frågornas skillnad också en faktor som används för att uppskatta kandidaternas förmåga. Resultatet blir att elev A:s tillkännagivna poäng är högre än elev B:s."

Enklare uttryckt, med den traditionella metoden baserad på råa poäng, beräknas poängen för frågorna med samma "vikt", vilket innebär att svårighetsgraden och lättheten för dessa frågor inte beräknas. För frågesvarsteorin kommer poängen för frågorna att ha olika "vikter", men denna vikt beror inte på testdesignerns subjektiva vilja utan beräknas baserat på matematiska modeller från kandidaternas testdata.

I processen att tillämpa teorin om frågesvar använder analysen av testdata även jämförelsetekniken för att få kandidaternas testresultat till samma gemensamma skala. Varje år har tankebedömningsprovet många omgångar, och kandidaterna meddelas resultaten kort efter att de har gjort provet (inte väntat tills det årliga provet hålls).

För att säkerställa rättvisa i antagningsprocessen mellan kandidater som skriver provet i olika omgångar kommer provarrangören att använda skalan från den första omgången som den ursprungliga skalan. För de följande omgångarna, under analysen av provresultaten, tillämpas en jämförelseteknik för att få tillbaka poängen för kandidaterna som tar nästa omgång till den ursprungliga skalan, och sedan ge kandidaternas officiella resultat. Detta kommer att bidra till att jämföra provresultaten mellan omgångarna lättare.

Enligt Dr. Dang Xuan Cuong har varje teori sina fördelar och nackdelar. ”Med tillämpningen av frågesvarsteori vid Hanois universitet för vetenskap och teknik för tankebedömningsprovet är vi också mycket noggranna, genom en specifik färdplan för att finslipa provet varje år”, sa Mr. Cuong.

Dr. Dang Xuan Cuong doktorerade i pedagogik med en avhandling om pedagogisk mätning och utvärdering från Flinders University i Australien. Han har över 18 års erfarenhet inom detta område.

Källa: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm