Proč mnoho kandidátů shledává své výsledky v testu myšlení TSA neodpovídající očekáváním?

Letošní rok je druhým rokem, kdy Hanojská univerzita vědy a techniky organizuje zkoušku TSA thinking assessment novým způsobem, což znamená, že struktura zkoušky byla upravena ve srovnání s rokem 2022 a dříve. Kromě úpravy struktury zkoušky Hanojská univerzita vědy a techniky konkrétně aplikovala novou teorii hodnocení, kterou je teorie otázek a odpovědí (IRT), při posuzování kvality otázek a výpočtu skóre uchazečů.

To způsobilo, že se kandidáti po dokončení testu nemohou sami hodnotit, ale musí čekat na výsledky hodnocení z analýzy svých testovacích dat. Po obdržení oznámení o výsledcích je proto mnoho kandidátů zmatených, protože získané skóre neodpovídá jejich představám.

Mnoho studentů má velký zájem o test myšlení TSA, který pořádá Hanojská univerzita vědy a techniky.

Výsledky testů jsou kvantifikovaným modelem odhadu schopností kandidáta.

Aby se uchazeči zbavili těchto obav, noviny Thanh Nien poskytly rozhovor Dr. Dang Xuan Cuongovi, nezávislému vědci s dlouholetou praxí v oblasti výzkumu a implementace v oblasti hodnocení a měření ve vzdělávání , jednomu z lidí, kteří v posledních dvou letech konzultovali s Hanojskou univerzitou vědy a techniky zavádění testu TSA pro hodnocení myšlení.

Podle Dr. Dang Xuan Cuonga je teorie otázek a odpovědí postavena na matematických modelech, které vysvětlují vztah mezi schopnostmi kandidáta a otázkami, které tyto schopnosti měří. S tímto teoretickým přístupem budou parametry otázek (jako je obtížnost, rozlišování, hádání atd.) a schopnosti kandidáta kvantifikovány na základě testovacích dat skupiny kandidátů účastnících se testu. Schopnosti kandidáta odhadnuté z teorie otázek a odpovědí se proto budou lišit od tradiční metody bodování.

Kandidáti jsou testováni před složením testu myšlení TSA.

Při tradičním hodnocení je skóre testu jednoduše mechanickým součtem skóre otázek v testu podle specifické metodiky hodnocení. Odborníci to nazývají surové skóre. Díky surovému skóre se většina kandidátů může při hodnocení svého testu spolehnout na odpovědi, a i když test obsahuje pouze objektivní otázky s výběrem odpovědí, kandidáti se mohou po absolvování testu ohodnotit sami.

V přístupu teorie otázek a odpovědí je skóre testu výsledkem oznámeným kandidátovi po analýze jeho testovacích dat. Jedná se o poměrně složitý krok z hlediska odbornosti, prováděný pomocí specializovaného softwaru a pečlivě posuzovaný pomocí statistických ukazatelů. V podstatě je skóre testu kvantifikovaný výsledek, který slouží jako základ, jenž pomáhá kandidátům poznat jejich schopnosti a zároveň má základ pro porovnání jejich výsledků testu s výsledky všech ostatních kandidátů ve zkoušce.

Dr. Dang Xuan Cuong vysvětlil: „V zásadě platí, že poté, co kandidáti dokončí test, systém na základě dat z každé otázky v testu odhadne schopnosti kandidátů, včetně informací o tom, kolik kandidátů dokáže odpovědět na každou odpovídající otázku a kteří kandidáti to jsou, kolik otázek dokáže každý kandidát odpovědět a které otázky to jsou.“

Data o výsledcích testu uchazeče pomohou systému vygenerovat model pro odhad schopností uchazeče. Z této odhadované schopnosti se vypočítá skóre pro hodnocení myšlení převedením na stupnici používanou v testu (obvykle od 0 do 100).

I když správně odpovíte na 70 otázek, vaše výsledky testu se mohou lišit.

Dr. Dang Xuan Cuong také uvedl, že současný test TSA pro hodnocení myšlení na Hanojské univerzitě vědy a techniky je zkouška, která kombinuje použití modelu odpovědí na otázky s jedním parametrem (týkajícího se pouze obtížnosti otázky) a dvou parametrů (týkajících se obtížnosti a rozlišitelnosti otázky). Podle výše uvedeného principu má skupina kandidátů stejné hrubé skóre, ale skóre studentů v testu TSA se liší.

Dr. Dang Xuan Cuong uvedl příklad: „Předpokládejme, že test má 100 otázek. Podle tradičního přístupu má každá správná odpověď hodnotu 1 bodu. Pokud tedy 2 kandidáti zvládnou společně 70 otázek, každý kandidát získá 70 bodů. S přístupem teorie otázek a odpovědí však bude mít každá otázka v testu jinou úroveň obtížnosti a schopnosti kandidáta budou odhadnuty na základě toho, na které konkrétní otázky kandidát správně odpověděl. A u 2 zde zmíněných kandidátů, pokud kandidát A zvládne obtížnější otázky než kandidát B, budou odhadované schopnosti kandidáta A vyšší než u kandidáta B. Rozdíl v otázkách je navíc faktorem používaným při odhadování schopností kandidátů. Z toho vyplývá, že oznámené skóre studenta A je vyšší než u studenta B.“

Jednoduše řečeno, u tradičního přístupu založeného na hrubém skóre se skóre otázek počítají se stejnou „váhou“, což znamená, že se obtížnost a snadnost těchto otázek nepočítají. V případě teorie otázek a odpovědí bude mít skóre otázek různé „váhy“, tato váha však není způsobena subjektivní vůlí tvůrce testu, ale je vypočítána na základě matematických modelů z testovacích dat kandidátů.

V procesu aplikace teorie odpovědí na otázky využívá analýza testových dat také techniku ​​srovnání, aby se skóre kandidátů srovnalo do stejné společné stupnice. Test myšlení má každý rok mnoho kol a kandidáti jsou o výsledcích informováni krátce po absolvování testu (nečekají na konání každoročního testu).

Aby byla zajištěna spravedlivost v přijímacím řízení mezi uchazeči, kteří skládají zkoušku v různých kolech, použije organizátor zkoušky jako původní stupnici stupnici z prvního kola. V následujících kolech se při analýze výsledků zkoušky použije porovnávací technika, která vrátí skóre uchazečů, kteří se účastní dalšího kola, na původní stupnici a poté se uvedou oficiální výsledky uchazečů. To pomůže snadněji porovnat výsledky zkoušky mezi jednotlivými koly.

Podle Dr. Dang Xuan Cuonga má každá teorie své výhody a nevýhody. „Při aplikaci teorie otázek a odpovědí na Hanojské univerzitě vědy a techniky pro zkoušku zaměřenou na hodnocení myšlení postupujeme také velmi opatrně a každý rok ji zdokonalujeme prostřednictvím specifického plánu,“ řekl pan Cuong.

Dr. Dang Xuan Cuong získal doktorát z pedagogiky s prací o měření a hodnocení vzdělávání na Flinders University v Austrálii. V tomto oboru má více než 18 let zkušeností.

Zdroj: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm