Miért nem felelnek meg sok jelölt elvárásainak a TSA gondolkodási teszteredményei?

Idén már második éve, hogy a Hanoi Tudományos és Technológiai Egyetem új módon szervezi meg a TSA gondolkodást értékelő vizsgát, ami azt jelenti, hogy a vizsga szerkezetét a 2022-es és korábbi évekhez képest módosították. A vizsga szerkezetének módosítása mellett a Hanoi Tudományos és Technológiai Egyetem egy új értékelési elméletet, a kérdés-válasz elméletet (IRT) alkalmazta a kérdések minőségének értékelésére, valamint a jelöltek vizsgapontszámainak kiszámítására.

Emiatt a jelöltek a teszt befejezése után nem tudják magukat osztályozni, hanem meg kell várniuk a jelölt tesztadatainak elemzéséből származó osztályozási eredményeket. Ezért az eredményekről szóló értesítés kézhezvétele után sok jelölt zavart, mert a kapott pontszámok nem olyanok, mint amilyennek elképzelték.

Sok diák érdeklődik a Hanoi Tudományos és Technológiai Egyetem által szervezett TSA gondolkodást felmérő teszt iránt.

A teszteredmények a jelölt képességbecslésének számszerűsített modelljei.

Hogy enyhítse a jelöltek aggodalmát, a Thanh Nien újság interjút készített Dr. Dang Xuan Cuonggal, egy független tudóssal, aki sokéves kutatási és gyakorlati tapasztalattal rendelkezik az oktatási értékelés és mérés területén, és aki az elmúlt két évben a Hanoi Tudományos és Technológiai Egyetemet konzultálta a TSA gondolkodást értékelő teszt bevezetésével kapcsolatban.

Dr. Dang Xuan Cuong szerint a kérdés-válasz elmélet matematikai modellekre épül, hogy magyarázatot adjon a jelölt képessége és az azt mérő kérdések közötti kapcsolatra. Ezzel az elméleti megközelítéssel a kérdések paramétereit (például nehézség, megkülönböztető képesség, találgatás stb.) és a jelölt képességét a tesztben részt vevő jelöltek csoportjának tesztadatai alapján számszerűsítik. Ezért a jelölt kérdés-válasz elméletből becsült képessége eltér a hagyományos pontozási módszertől.

A jelölteket a TSA gondolkodást felmérő teszt előtt tesztelik.

A hagyományos osztályozás során a teszteredmény egyszerűen a tesztkérdések pontszámainak mechanikus összeadása egy adott osztályozási útmutató szerint. A szakértők ezt nyers pontszámnak nevezik. A nyers pontszámmal a legtöbb jelölt a válaszokra támaszkodhat a saját tesztje osztályozásakor, és még ha a teszt csak objektív feleletválasztós kérdésekből áll, a jelöltek a teszt elvégzése után értékelhetik magukat.

A kérdés-válasz elmélet megközelítésében a teszteredmény egy olyan eredmény, amelyet a jelöltnek a tesztadatok elemzése után jelentenek be. Ez egy meglehetősen bonyolult lépés a szakértelem szempontjából, amelyet speciális szoftverrel végeznek, és statisztikai mutatók segítségével gondosan mérlegelnek. Valójában a teszteredmény egy számszerűsített eredmény, amely alapul szolgál ahhoz, hogy a jelöltek megismerjék képességeiket, valamint összehasonlítsák teszteredményeiket a vizsgán részt vevő összes többi jelölt eredményével.

Dr. Dang Xuan Cuong elmagyarázta: „Elvileg, miután a jelöltek befejezték a tesztet, a rendszer a tesztben szereplő egyes kérdések adataira támaszkodik a jelöltek képességeinek becsléséhez, beleértve azt is, hogy hány jelölt tud válaszolni az egyes kérdésekre, és kik ők, hány kérdésre tudnak válaszolni az egyes jelöltek, és melyek azok a kérdések.”

A vizsgázó teszteredményei segítenek a rendszernek egy modell létrehozásában a vizsgázó képességének becsléséhez. Ebből a becsült képességből kiszámítják a gondolkodási értékelési pontszámot, amelyet a teszt által használt skálára (általában 0-tól 100-ig) konvertálnak.

Még ha 70 kérdést helyesen is oldasz meg, a teszteredményeid eltérőek lehetnek.

Dr. Dang Xuan Cuong azt is elmondta, hogy a Hanoi Tudományos és Technológiai Egyetem jelenlegi TSA gondolkodást felmérő tesztje egy olyan vizsga, amely egyparaméteres kérdés-válasz modell (csak a kérdés nehézségével foglalkozik) és két paraméter (a kérdés nehézségével és megkülönböztető képességével kapcsolatos) alkalmazását ötvözi. A fent említett elv szerint a jelöltek egy csoportja azonos nyers pontszámmal rendelkezik, de a diákok TSA teszteredményei eltérőek.

Dr. Dang Xuan Cuong egy példát hozott fel: „Tegyük fel, hogy a teszt 100 kérdésből áll. A hagyományos megközelítés szerint minden helyes válasz 1 pontot ér. Ekkor, ha 2 jelölt együtt 70 kérdést tud megoldani, akkor mindkét jelölt 70 pontot kap. A kérdés-válasz elmélet megközelítésével azonban a teszt minden kérdésének eltérő nehézségi szintje lesz, és a jelölt képességét az alapján becsülik meg, hogy a jelölt mely konkrét kérdésekre válaszolt helyesen. Az itt említett 2 jelölt esetében pedig, ha az A jelölt nehezebb kérdéseket tud megoldani, mint a B jelölt, akkor az A jelölt becsült képessége magasabb lesz, mint a B jelölté. Ezenkívül a kérdések különbsége is tényező a jelöltek képességeinek becslésében. Innen az az eredmény, hogy az A diák bejelentett pontszáma magasabb, mint a B diáké.”

Egyszerűbben fogalmazva, a nyers pontszámokon alapuló hagyományos megközelítésnél a kérdések pontszámait azonos „súlyozással” számítják ki, ami azt jelenti, hogy a kérdések nehézségét és könnyűségét nem számítják ki. A kérdés-válasz elmélet szerint a kérdések pontszámai eltérő „súlyozással” rendelkeznek, azonban ez a súly nem a teszttervező szubjektív akaratától függ, hanem a jelöltek tesztadataiból származó matematikai modellek alapján számítják ki.

A kérdés-válasz elméletének alkalmazási folyamatában a tesztadatok elemzése során az összehasonlítás technikáját is alkalmazzák, hogy a jelöltek teszteredményeit ugyanarra a közös skálára hozzák. A gondolkodást értékelő teszt minden évben több fordulóból áll, és a jelölteket a teszt elvégzése után röviddel értesítik az eredményekről (nem várják meg az éves teszt megtartását).

A különböző fordulókban vizsgázó jelöltek közötti felvételi eljárás pártatlanságának biztosítása érdekében a vizsgaszervező az első forduló skáláját használja eredeti skálaként. A következő fordulókban, a vizsgaeredmények elemzése során összehasonlítási technikát alkalmaznak, hogy a következő fordulóban részt vevő jelöltek pontszámait visszaállítsák az eredeti skálára, majd megadják a jelöltek hivatalos eredményeit. Ez segít a vizsgaeredmények fordulók közötti összehasonlításában.

Dr. Dang Xuan Cuong szerint minden elméletnek megvannak a maga előnyei és hátrányai. „A Hanoi Tudományos és Technológiai Egyetemen a gondolkodást felmérő vizsgán a kérdés-válasz elmélet alkalmazásával nagyon körültekintőek vagyunk, és minden évben egy konkrét ütemtervet követünk a vizsga tökéletesítése érdekében” – mondta Cuong úr.

Dr. Dang Xuan Cuong ausztráliai Flinders Egyetemen szerezte meg PhD fokozatát neveléstudományból, disszertációját az oktatási mérésről és értékelésről írta. Több mint 18 éves tapasztalattal rendelkezik ezen a területen.

Forrás: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm