Dlaczego wielu kandydatów uważa, że ​​ich wyniki testów myślenia TSA nie są takie, jakich oczekiwali?

W tym roku Uniwersytet Nauki i Technologii w Hanoi po raz drugi zorganizował egzamin TSA Thinking Assessment w nowy sposób, co oznacza, że ​​struktura egzaminu została dostosowana w porównaniu z rokiem 2022 i wcześniejszymi. Oprócz zmiany struktury egzaminu, Uniwersytet Nauki i Technologii w Hanoi zastosował nową teorię oceny, czyli teorię odpowiedzi na pytanie (IRT), do oceny jakości pytań oraz obliczania wyników egzaminów dla kandydatów.

Spowodowało to, że kandydaci nie mogli sami ocenić swoich prac po zakończeniu testu, lecz musieli czekać na wyniki oceny uzyskane w wyniku analizy danych testowych kandydata. W związku z tym, po otrzymaniu powiadomienia o wynikach, wielu kandydatów jest zdezorientowanych, ponieważ otrzymane wyniki nie są takie, jakich się spodziewali.

Wielu studentów jest bardzo zainteresowanych testem oceniającym umiejętności myślenia TSA organizowanym przez Uniwersytet Nauki i Technologii w Hanoi.

Wyniki testów stanowią ilościowy model oceny umiejętności kandydata.

Aby rozwiać obawy kandydatów, gazeta Thanh Nien przeprowadziła wywiad z dr. Dang Xuan Cuongiem, niezależnym naukowcem z wieloletnim doświadczeniem badawczym i wdrożeniowym w zakresie oceny i pomiaru wykształcenia . Jest on jedną z osób, które przez ostatnie 2 lata doradzały Uniwersytetowi Nauki i Technologii w Hanoi w sprawie wprowadzenia testu oceny myślenia TSA.

Według dr. Dang Xuan Cuonga, teoria odpowiedzi na pytania opiera się na modelach matematycznych, które wyjaśniają związek między zdolnościami kandydata a pytaniami mierzącymi te zdolności. Dzięki temu podejściu teoretycznemu parametry pytań (takie jak trudność, rozróżnianie, zgadywanie itp.) oraz zdolności kandydata zostaną określone ilościowo na podstawie danych testowych grupy kandydatów biorących udział w teście. W związku z tym, zdolność kandydata oszacowana na podstawie teorii odpowiedzi na pytania będzie różnić się od tradycyjnej metody punktacji.

Kandydaci są testowani przed przystąpieniem do testu oceniającego umiejętności myślenia TSA.

W tradycyjnym ocenianiu, wynik testu to po prostu mechaniczne dodanie punktów za pytania w teście, zgodnie z określonym przewodnikiem oceniania. Eksperci nazywają to wynikiem surowym. Dzięki niemu większość kandydatów może opierać się na odpowiedziach, aby ocenić swój test, a nawet jeśli test składa się wyłącznie z obiektywnych pytań wielokrotnego wyboru, kandydaci mogą sami ocenić swój wynik po jego rozwiązaniu.

Zgodnie z podejściem teorii odpowiedzi na pytania, wynik testu to rezultat ogłoszony kandydatowi po procesie analizy danych testowych kandydata. Jest to dość skomplikowany proces pod względem wiedzy specjalistycznej, przeprowadzany za pomocą specjalistycznego oprogramowania i starannie analizowany za pomocą wskaźników statystycznych. W rzeczywistości wynik testu jest wynikiem ilościowym, służącym kandydatom jako podstawa do oceny swoich umiejętności, a także jako podstawa do porównania ich wyników z wynikami wszystkich innych kandydatów na egzaminie.

Dr Dang Xuan Cuong wyjaśnił: „Zasadniczo, po zakończeniu testu przez kandydatów, system będzie bazował na danych z każdego pytania w teście, aby oszacować umiejętności kandydatów, w tym informacje o tym, ilu kandydatów może odpowiedzieć na każde pytanie i kim są kandydaci, na ile pytań każdy kandydat może odpowiedzieć i jakie to pytania.

Dane z wyników testu osoby zdającej pomogą systemowi wygenerować model do oszacowania jej zdolności. Na podstawie tej oszacowanej zdolności zostanie obliczony wynik oceny myślenia poprzez przeliczenie go na skalę używaną w teście (zazwyczaj od 0 do 100).

Nawet jeśli odpowiesz poprawnie na 70 pytań, Twój wynik testu może być inny.

Dr Dang Xuan Cuong powiedział również, że obecny test oceny zdolności myślenia TSA na Uniwersytecie Nauki i Technologii w Hanoi to egzamin łączący zastosowanie modelu odpowiedzi na pytanie z jednym parametrem (dotyczącego wyłącznie trudności pytania) oraz dwóch parametrów (dotyczących trudności i rozróżniania pytania). Zgodnie z powyższą zasadą, grupa kandydatów ma ten sam wynik surowy, ale wyniki testów TSA poszczególnych studentów są różne.

Dr Dang Xuan Cuong podał przykład: „Załóżmy, że test składa się ze 100 pytań. Zgodnie z tradycyjnym podejściem każda poprawna odpowiedź jest warta 1 punkt. Następnie, jeśli dwóch kandydatów odpowie na 70 pytań jednocześnie, każdy z nich otrzyma 70 punktów. Jednak zgodnie z teorią odpowiedzi na pytania, każde pytanie w teście będzie miało inny poziom trudności, a umiejętności kandydata zostaną oszacowane na podstawie tego, na które konkretne pytania kandydat odpowiedział poprawnie. W przypadku dwóch wspomnianych tutaj kandydatów, jeśli kandydat A odpowie na trudniejsze pytania niż kandydat B, szacowane umiejętności kandydata A będą wyższe niż kandydata B. Ponadto, rozróżnienie pytań jest również czynnikiem branym pod uwagę przy ocenie umiejętności kandydatów. W rezultacie ogłoszony wynik studenta A jest wyższy niż studenta B”.

Mówiąc prościej, w tradycyjnym podejściu opartym na surowych wynikach, wyniki pytań są obliczane z tą samą „wagą”, co oznacza, że ​​trudność i łatwość odpowiedzi tych pytań nie są brane pod uwagę. W teorii odpowiedzi na pytania, wyniki pytań będą miały różne „wagi”, jednak waga ta nie wynika z subiektywnej woli projektanta testu, lecz jest obliczana na podstawie modeli matematycznych z danych testowych kandydatów.

W procesie stosowania teorii odpowiedzi na pytania, analiza danych testowych wykorzystuje również technikę porównania, aby sprowadzić wyniki kandydatów do jednej wspólnej skali. Każdego roku test oceniający myślenie składa się z wielu rund, a kandydaci są powiadamiani o wynikach wkrótce po jego wykonaniu (bez czekania na coroczny test).

Aby zapewnić sprawiedliwy proces rekrutacji kandydatów przystępujących do egzaminu w różnych rundach, organizator egzaminu będzie stosował skalę z pierwszej rundy jako skalę pierwotną. W kolejnych rundach, podczas analizy wyników egzaminu, stosowana będzie technika porównawcza, aby przywrócić wyniki kandydatów przystępujących do kolejnej rundy do skali pierwotnej, a następnie podać oficjalne wyniki kandydatów. Ułatwi to porównywanie wyników egzaminu między rundami.

Według dr. Dang Xuan Cuonga każda teoria ma swoje zalety i wady. „Stosując teorię odpowiadania na pytania na Uniwersytecie Nauki i Technologii w Hanoi do egzaminu oceniającego myślenie, dokładamy wszelkich starań, aby każdego roku udoskonalać egzamin, opracowując szczegółowy plan działania” – powiedział dr Cuong.

Dr Dang Xuan Cuong uzyskał tytuł doktora nauk o edukacji, opierając się na rozprawie na temat pomiaru i ewaluacji edukacji na Uniwersytecie Flindersa w Australii. Ma ponad 18 lat doświadczenia w tej dziedzinie.

Source: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm