Warum entsprechen die Ergebnisse der TSA-Denkfähigkeitsbeurteilung vieler Kandidaten nicht den Erwartungen?

Die Technische Universität Hanoi führt die TSA-Kritikprüfung dieses Jahr zum zweiten Mal in neuem Format durch. Die Prüfungsstruktur wurde im Vergleich zu 2022 und den Vorjahren angepasst. Neben der Strukturänderung wendet die Universität nun auch die Frage-Antwort-Theorie (IRT) an, um die Qualität der Fragen zu bewerten und die Prüfungsergebnisse zu berechnen.

Dies hat zur Folge, dass die Kandidaten sich nach Abschluss des Tests nicht selbst bewerten können, sondern auf die Auswertung ihrer Testdaten warten müssen. Daher sind viele Kandidaten nach Erhalt der Ergebnisbenachrichtigung verunsichert, da die erhaltenen Punktzahlen nicht ihren Erwartungen entsprechen.

Viele Studenten sind sehr interessiert an dem von der Technischen Universität Hanoi organisierten TSA-Denktest.

Die Testergebnisse stellen ein quantifiziertes Modell zur Einschätzung der Fähigkeiten eines Kandidaten dar.

Um diese Bedenken der Kandidaten auszuräumen, führte die Zeitung Thanh Nien ein Interview mit Dr. Dang Xuan Cuong, einem unabhängigen Wissenschaftler mit langjähriger Forschungs- und Praxiserfahrung im Bereich der Bildungsbewertung und -messung, der zu denjenigen gehörte, die die Universität für Wissenschaft und Technologie Hanoi in den letzten zwei Jahren bei der Durchführung des TSA-Denkfähigkeitstests beraten haben.

Laut Dr. Dang Xuan Cuong basiert die Frage-Antwort-Theorie auf mathematischen Modellen, die den Zusammenhang zwischen den Fähigkeiten der Kandidaten und den Fragen, die diese Fähigkeiten messen, erklären. Mit diesem theoretischen Ansatz werden die Parameter der Fragen (wie Schwierigkeitsgrad, Trennschärfe, Rateanteil usw.) und die Fähigkeiten der Kandidaten anhand der Testdaten der teilnehmenden Kandidatengruppe quantifiziert. Daher unterscheidet sich die mithilfe der Frage-Antwort-Theorie ermittelte Fähigkeit der Kandidaten von der traditionellen Bewertungsmethode.

Die Kandidaten werden vor dem TSA-Denkfähigkeitstest geprüft.

Bei der traditionellen Benotung ergibt sich die Testnote einfach aus der Summe der Punktzahlen der einzelnen Fragen gemäß einem festgelegten Bewertungsschema. Experten bezeichnen dies als Rohpunktzahl. Anhand der Rohpunktzahl können die meisten Kandidaten ihre Testergebnisse selbst bewerten, selbst wenn der Test nur aus Multiple-Choice-Fragen besteht.

Gemäß der Theorie der Antwortfragen wird das Testergebnis dem Kandidaten nach der Analyse seiner Testdaten mitgeteilt. Dieser Prozess ist fachlich anspruchsvoll und wird mithilfe spezieller Software und unter Berücksichtigung statistischer Indikatoren durchgeführt. Im Wesentlichen stellt das Testergebnis ein quantifiziertes Resultat dar, das den Kandidaten hilft, ihre Fähigkeiten einzuschätzen und ihre Ergebnisse mit denen aller anderen Prüfungsteilnehmer zu vergleichen.

Dr. Dang Xuan Cuong erklärte: „Im Prinzip wird das System, nachdem die Kandidaten den Test abgeschlossen haben, anhand der Daten jeder einzelnen Frage im Test die Fähigkeiten der Kandidaten einschätzen. Dazu gehören Informationen darüber, wie viele Kandidaten die jeweilige Frage beantworten können und welche Kandidaten das sind, sowie darüber, wie viele Fragen jeder Kandidat beantworten kann und welche Fragen das sind.“

Die Testergebnisse des Teilnehmers helfen dem System, ein Modell zur Einschätzung seiner Fähigkeiten zu erstellen. Aus dieser Einschätzung wird der Wert für die Denkfähigkeit berechnet, indem er auf die im Test verwendete Skala (üblicherweise von 0 bis 100) umgerechnet wird.

Selbst wenn Sie 70 Fragen richtig beantworten, können Ihre Testergebnisse unterschiedlich ausfallen.

Dr. Dang Xuan Cuong erklärte außerdem, dass der aktuelle TSA-Denktest der Technischen Universität Hanoi eine Prüfung ist, die ein einparametriges Frage-Antwort-Modell (das sich nur auf den Schwierigkeitsgrad der Frage konzentriert) mit einem zweiparametrigen Modell (das den Schwierigkeitsgrad und die Trennschärfe der Frage berücksichtigt) kombiniert. Nach diesem Prinzip erzielen Kandidaten derselben Gruppe zwar die gleiche Rohpunktzahl, ihre TSA-Testergebnisse unterscheiden sich jedoch.

Dr. Dang Xuan Cuong führte folgendes Beispiel an: „Angenommen, der Test umfasst 100 Fragen. Nach der traditionellen Methode entspricht jede richtige Antwort einem Punkt. Wenn zwei Kandidaten gemeinsam 70 Fragen beantworten, erhält jeder 70 Punkte. Gemäß der Frage-Antwort-Theorie hat jedoch jede Frage im Test einen unterschiedlichen Schwierigkeitsgrad, und die Fähigkeiten der Kandidaten werden anhand der von ihnen korrekt beantworteten Fragen eingeschätzt. Wenn Kandidat A schwierigere Fragen beantworten kann als Kandidat B, wird seine Fähigkeit höher eingeschätzt als die von Kandidat B. Darüber hinaus fließt auch die Unterscheidung der Fragen in die Einschätzung der Fähigkeiten der Kandidaten ein. Daraus ergibt sich, dass die angegebene Punktzahl von Schüler A höher ist als die von Schüler B.“

Vereinfacht ausgedrückt: Beim traditionellen Ansatz, der auf Rohpunktzahlen basiert, werden die Punktzahlen der Fragen gleich gewichtet, d. h. Schwierigkeitsgrad und Leichtigkeit der Fragen werden nicht berücksichtigt. Bei der Frage-Antwort-Theorie hingegen werden die Punktzahlen der Fragen unterschiedlich gewichtet. Diese Gewichtung beruht jedoch nicht auf der subjektiven Einschätzung des Testentwicklers, sondern wird anhand mathematischer Modelle aus den Testdaten der Kandidaten berechnet.

Bei der Anwendung der Theorie der Fragebeantwortung wird die Analyse der Testdaten ebenfalls mittels Vergleichsmethoden durchgeführt, um die Testergebnisse der Kandidaten auf eine gemeinsame Skala zu bringen. Der Denkfähigkeitstest umfasst jährlich mehrere Runden, und die Kandidaten werden kurz nach der Testteilnahme über ihre Ergebnisse informiert (nicht erst bis zum jährlichen Test).

Um die Fairness des Zulassungsverfahrens für alle Kandidaten, die die Prüfung in verschiedenen Runden ablegen, zu gewährleisten, verwendet der Prüfungsveranstalter die Skala der ersten Runde als Ausgangsskala. In den folgenden Runden werden die Ergebnisse der Kandidaten, die die nächste Runde absolvieren, mithilfe eines Vergleichsverfahrens auf die Ausgangsskala zurückgesetzt, bevor die offiziellen Ergebnisse bekanntgegeben werden. Dies erleichtert den Vergleich der Prüfungsergebnisse zwischen den Runden.

Laut Dr. Dang Xuan Cuong hat jede Theorie ihre Vor- und Nachteile. „Auch bei der Anwendung der Frage-Antwort-Theorie an der Technischen Universität Hanoi für die Prüfung zur Beurteilung des Denkvermögens gehen wir sehr sorgfältig vor und verfolgen jedes Jahr einen konkreten Plan zur Optimierung der Prüfung“, so Herr Cuong.

Dr. Dang Xuan Cuong promovierte an der Flinders University in Australien im Fachbereich Erziehungswissenschaften mit einer Dissertation über Bildungsforschung und -bewertung. Er verfügt über mehr als 18 Jahre Berufserfahrung in diesem Bereich.

Quelle: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm