Warum fallen die Ergebnisse des TSA-Denktestes bei vielen Kandidaten anders aus als erwartet?

Dieses Jahr ist das zweite Jahr, in dem die Hanoi University of Science and Technology die TSA-Denkfähigkeitsprüfung auf neue Weise organisiert hat, was bedeutet, dass die Prüfungsstruktur im Vergleich zu 2022 und früher angepasst wurde. Insbesondere hat die Hanoi University of Science and Technology neben der Anpassung der Prüfungsstruktur eine neue Bewertungstheorie angewendet: die Item-Response-Theorie (IRT) zur Bewertung der Fragenqualität und zur Berechnung der Prüfungsergebnisse der Kandidaten.

Dies führte dazu, dass die Kandidaten sich nach Abschluss des Tests nicht selbst bewerten konnten, sondern auf die Bewertungsergebnisse aus der Analyse der Testdaten der Kandidaten warten mussten. Daher waren viele Kandidaten nach der Bekanntgabe der Ergebnisse verwirrt, weil die erzielten Ergebnisse nicht ihren Erwartungen entsprachen.

Viele Studenten sind sehr an dem TSA-Denktest der Hanoi University of Science and Technology interessiert.

Testergebnisse sind ein quantifiziertes Modell zur Einschätzung der Fähigkeiten eines Kandidaten.

Um diese Bedenken der Kandidaten zu zerstreuen, führte die Zeitung Thanh Nien ein Interview mit Dr. Dang Xuan Cuong, einem unabhängigen Wissenschaftler mit langjähriger Forschungs- und Umsetzungserfahrung im Bereich der Bildungsbeurteilung und -messung. Er ist einer der Berater der Hanoi University of Science and Technology bei der Umsetzung des TSA-Denktests in den letzten zwei Jahren.

Laut Dr. Dang Xuan Cuong basiert die Frage-Antwort-Theorie auf mathematischen Modellen, um die Beziehung zwischen den Fähigkeiten der Kandidaten und den Fragen zur Messung dieser Fähigkeiten zu erklären. Bei diesem theoretischen Ansatz werden die Parameter der Fragen (wie Schwierigkeit, Unterscheidungsvermögen, Raten usw.) und die Fähigkeiten der Kandidaten anhand der Testdaten der am Test teilnehmenden Kandidatengruppe quantifiziert. Daher wird die anhand der Frage-Antwort-Theorie geschätzte Fähigkeit des Kandidaten von der traditionellen Bewertungsmethode abweichen.

Die Kandidaten werden getestet, bevor sie den TSA-Denkfähigkeitstest absolvieren.

Bei der herkömmlichen Benotung ist das Testergebnis lediglich die mechanische Addition der Punktzahlen der Testfragen gemäß einem bestimmten Benotungsleitfaden. Experten nennen dies den Rohwert. Bei Rohergebnissen können sich die meisten Kandidaten bei ihrer Selbstbewertung auf die Antworten verlassen. Auch wenn der Test nur aus objektiven Multiple-Choice-Fragen besteht, können sich die Kandidaten nach dem Test selbst bewerten.

Beim Ansatz der Frage-Antwort-Theorie ist ein Testergebnis ein Ergebnis, das dem Kandidaten nach der Analyse seiner Testdaten mitgeteilt wird. Dies ist ein ziemlich komplizierter Schritt, der Fachwissen erfordert und mithilfe spezieller Software durchgeführt und anhand statistischer Indikatoren sorgfältig geprüft wird. Tatsächlich handelt es sich bei dem Testergebnis um ein quantifiziertes Ergebnis, das den Kandidaten dabei hilft, ihre Fähigkeiten einzuschätzen und ihre Testergebnisse mit den Ergebnissen aller anderen Kandidaten in der Prüfung zu vergleichen.

Dr. Dang Xuan Cuong erklärte: „Grundsätzlich wird das System, nachdem die Kandidaten den Test beendet haben, auf der Grundlage der Daten jeder einzelnen Frage im Test die Fähigkeiten der Kandidaten einschätzen. Dazu gehören Informationen darüber, wie viele Kandidaten die jeweilige Frage beantworten können und um welche Kandidaten es sich handelt, wie viele Fragen jeder Kandidat beantworten kann und um welche Fragen es sich handelt.“

Die Testergebnisdaten der Kandidaten helfen dem System dabei, ein Modell zur Einschätzung der Fähigkeiten der Kandidaten zu entwickeln. Aus dieser geschätzten Fähigkeit wird ein Denkfähigkeitswert berechnet, indem dieser in die vom Test verwendete Skala (normalerweise 0 bis 100) umgerechnet wird.

Selbst wenn Sie 70 Fragen richtig beantworten, können Ihre Testergebnisse anders ausfallen.

Dr. Dang Xuan Cuong sagte außerdem, dass es sich bei der aktuellen TSA-Prüfung zur Beurteilung des Denkvermögens der Hanoi University of Science and Technology um eine Prüfung handele, bei der die Anwendung eines einparametrigen Frage-Antwort-Modells (das sich nur mit der Schwierigkeit der Frage befasst) und zweiparametrigen Modells (das sich mit der Schwierigkeit und Unterscheidungskraft der Frage befasst) kombiniert werde. Nach dem oben genannten Prinzip hat eine Gruppe von Kandidaten zwar die gleiche Rohpunktzahl, die TSA-Testergebnisse der Schüler sind jedoch unterschiedlich.

Dr. Dang Xuan Cuong nannte ein Beispiel: „Angenommen, der Test umfasst 100 Fragen. Nach dem traditionellen Ansatz ist jede richtige Antwort 1 Punkt wert. Wenn dann zwei Kandidaten 70 Fragen beantworten können, erhält jeder Kandidat 70 Punkte. Beim Ansatz der Frage-Antwort-Theorie hat jedoch jede Frage im Test einen anderen Schwierigkeitsgrad, und die Fähigkeiten des Kandidaten werden anhand der Fragen eingeschätzt, die er richtig beantwortet hat. Und bei den beiden hier genannten Kandidaten ist die geschätzte Fähigkeit von Kandidat A höher als die von Kandidat B, wenn Kandidat A schwierigere Fragen beantworten kann als Kandidat B. Darüber hinaus spielt die Differenziertheit der Fragen eine Rolle bei der Einschätzung der Fähigkeiten der Kandidaten. Daraus folgt, dass die angekündigte Punktzahl von Student A höher ist als die von Student B.“

Einfacher ausgedrückt: Beim traditionellen Ansatz, der auf Rohpunktzahlen basiert, werden die Punktzahlen der Fragen mit der gleichen „Gewichtung“ berechnet, d. h. der Schwierigkeitsgrad oder die Leichtigkeit dieser Fragen wird nicht berechnet. Bei der Frage-Antwort-Theorie werden die Punktzahlen der Fragen unterschiedlich „gewichtet“, allerdings beruht diese Gewichtung nicht auf dem subjektiven Willen des Testentwicklers, sondern wird anhand mathematischer Modelle aus den Testdaten des Testteilnehmers berechnet.

Bei der Anwendung der Frage-Antwort-Theorie wird bei der Analyse der Testdaten auch die Vergleichstechnik eingesetzt, um die Ergebnisse der Kandidaten auf eine gemeinsame Skala zu bringen. Die Prüfung zur Beurteilung des Denkvermögens besteht jedes Jahr aus mehreren Runden, und die Kandidaten werden kurz nach Ablegen der Prüfung über die Ergebnisse informiert (und nicht erst, wenn die jährliche Prüfung abgeschlossen ist).

Um eine faire Zulassung zwischen den Kandidaten zu gewährleisten, die die Prüfung in verschiedenen Runden ablegen, verwendet der Prüfungsorganisator den Maßstab der ersten Runde als Originalmaßstab. Bei den folgenden Prüfungen wird bei der Analyse der Prüfungsergebnisse die Vergleichstechnik angewendet, um die Punktzahlen der Kandidaten in den folgenden Prüfungen wieder auf die ursprüngliche Skala zu bringen. Anschließend werden die offiziellen Ergebnisse der Kandidaten bekannt gegeben. Dadurch wird der Vergleich der Prüfungsergebnisse zwischen den Sitzungen erleichtert.

Laut Dr. Dang Xuan Cuong hat jede Theorie ihre Vor- und Nachteile. „Bei der Anwendung der Frage-Antwort-Theorie für die Denkfähigkeitsprüfung an der Hanoi University of Science and Technology gehen wir sehr sorgfältig vor und arbeiten mit einem speziellen Plan daran, die Prüfung jedes Jahr zu perfektionieren“, sagte Herr Cuong.

Dr. Dang Xuan Cuong erhielt seinen Doktortitel in Pädagogik mit einer Arbeit über Bildungsmessung und -bewertung an der Flinders University, Australien. Er verfügt über mehr als 18 Jahre Erfahrung auf diesem Gebiet.

Quelle: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm