Чому багато кандидатів вважають, що їхні бали за оцінюванням мислення TSA не відповідають очікуванням?

Цього року Ханойський університет науки і технологій вже другий рік організовує іспит з оцінювання мислення TSA по-новому, що означає, що структура іспиту була скоригована порівняно з 2022 роком та попередніми роками. Зокрема, окрім коригування структури іспиту, Ханойський університет науки і технологій застосував нову теорію оцінювання, а саме теорію відповідей на запитання (IRT), для оцінки якості питань, а також для розрахунку балів кандидатів.

Через це кандидати не можуть оцінити себе після завершення тесту, а змушені чекати на результати оцінювання, отримані в результаті аналізу своїх тестових даних. Тому, отримавши повідомлення про результати, багато кандидатів спантеличені, оскільки отримані бали не такі, як вони собі уявляли.

Багато студентів дуже зацікавлені в тесті TSA на оцінювання мислення, організованому Ханойським університетом науки і технологій.

Результати тестів – це кількісна модель оцінки здібностей кандидата.

Щоб позбутися цього занепокоєння кандидатів, газета Thanh Nien взяла інтерв'ю у доктора Данг Сюань Куонга, незалежного науковця з багаторічним досвідом досліджень та впровадження в галузі оцінювання та вимірювання освіти , одного з людей, які протягом останніх 2 років консультували Ханойський університет науки і технологій щодо впровадження тесту TSA на оцінювання мислення.

За словами доктора Дан Сюань Куонга, теорія відповідей на запитання побудована на математичних моделях для пояснення зв'язку між здібностями кандидата та питаннями, які вимірюють ці здібності. За допомогою цього теоретичного підходу параметри питань (такі як складність, дискримінація, вгадування тощо) та здібності кандидата будуть кількісно визначені на основі тестових даних групи кандидатів, які беруть участь у тестуванні. Таким чином, здібності кандидата, оцінені за теорією відповідей на запитання, відрізнятимуться від традиційного методу оцінювання.

Кандидати проходять тестування перед складанням тесту TSA на оцінку мислення.

За традиційного оцінювання результат тесту – це просто механічне додавання балів за питання в тесті відповідно до певного посібника з оцінювання. Експерти називають це «сирим» результатом. Маючи «сирий» результат, більшість кандидатів можуть покладатися на відповіді для оцінювання власного тесту, і навіть якщо тест містить лише об’єктивні питання з кількома варіантами відповідей, кандидати можуть оцінити себе після складання тесту.

Згідно з підходом теорії відповідей на запитання, результат тесту – це результат, який оголошується кандидату після аналізу його тестових даних. Це досить складний крок з точки зору експертизи, який виконується за допомогою спеціалізованого програмного забезпечення та ретельно розглядається за допомогою статистичних показників. По суті, результат тесту – це кількісний результат, який служить основою для того, щоб допомогти кандидатам зрозуміти свої здібності, а також мати основу для порівняння своїх результатів тесту з результатами всіх інших кандидатів на іспиті.

Доктор Дан Сюань Куонг пояснив: «В принципі, після того, як кандидати завершать тест, система спиратиметься на дані кожного питання в тесті, щоб оцінити здібності кандидатів, включаючи інформацію про те, скільки кандидатів можуть відповісти на кожне відповідне питання та які вони кандидати, на скільки питань може відповісти кожен кандидат і які вони питання».

Дані результатів тестування учасника допоможуть системі створити модель для оцінки його здібностей. На основі цієї оціненої здатності буде розраховано бал за оцінку мислення шляхом його перетворення на шкалу, що використовується в тесті (зазвичай від 0 до 100).

Навіть якщо ви правильно відповісте на 70 запитань, ваші результати тесту можуть відрізнятися.

Д-р Данг Сюань Куонг також зазначив, що поточний тест на оцінювання мислення TSA Ханойського університету науки і технологій – це іспит, який поєднує застосування моделі відповідей на запитання з одним параметром (стосується лише складності запитання) та двох параметрів (стосуються складності та роздільності запитання). Згідно з вищезазначеним принципом, група кандидатів має однаковий первинний бал, але результати тесту TSA студентів різні.

Д-р Дан Сюань Куонг навів приклад: «Припустимо, що тест містить 100 запитань. Згідно з традиційним підходом, кожна правильна відповідь оцінюється в 1 бал. Тоді, якщо 2 кандидати можуть разом відповісти на 70 запитань, кожен кандидат отримає 70 балів. Однак, згідно з підходом теорії питань та відповідей, кожне питання в тесті матиме різний рівень складності, і здібності кандидата будуть оцінюватися на основі того, на які конкретні питання кандидат відповів правильно. І з двома згаданими тут кандидатами, якщо кандидат А може відповісти на складніші запитання, ніж кандидат Б, оцінені здібності кандидата А будуть вищими, ніж у кандидата Б. Крім того, різниця між питаннями також є фактором, який використовується для оцінки здібностей кандидатів. Звідси випливає, що оголошений бал учня А вищий, ніж у учня Б».

Простіше кажучи, за традиційного підходу, заснованого на сирих балах, бали питань розраховуються з однаковою «вагою», тобто складність і легкість цих питань не розраховуються. Згідно з теорією питань-відповідей, бали питань матимуть різну «вагу», проте ця вага не зумовлена ​​суб'єктивною волею розробника тесту, а розраховується на основі математичних моделей з тестових даних кандидатів.

У процесі застосування теорії відповідей на питання, аналіз тестових даних також використовує метод порівняння, щоб привести тестові бали кандидатів до однієї загальної шкали. Щороку тест на оцінку мислення має багато раундів, і кандидати отримують повідомлення про результати невдовзі після складання тесту (не чекаючи до проведення щорічного тесту).

Для забезпечення справедливості процесу допуску між кандидатами, які складають іспит у різних турах, організатор іспиту використовуватиме шкалу першого туру як початкову шкалу. Для наступних турів, під час аналізу результатів іспиту, застосовується метод порівняння, щоб повернути бали кандидатів, які складають наступний тур, до початкової шкали, а потім надавати офіційні результати кандидатів. Це допоможе легше порівнювати результати іспитів між турами.

За словами доктора Дан Сюань Куонга, кожна теорія має свої переваги та недоліки. «Застосовуючи теорію питань і відповідей у ​​Ханойському університеті науки і технологій для іспиту з оцінювання мислення, ми також дуже ретельно працюємо над удосконаленням іспиту щороку за допомогою конкретної дорожньої карти», – сказав пан Куонг.

Доктор Данг Сюань Куонг отримав ступінь доктора філософії з освіти, захистивши дисертацію з вимірювання та оцінювання освіти в Університеті Фліндерса, Австралія. Він має понад 18 років досвіду в цій галузі.

Джерело: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm