Почему многие кандидаты получают не совсем те результаты оценки мышления, которые ожидались при прохождении TSA?

В этом году Ханойский университет науки и технологий уже второй год проводит новый формат экзамена по оценке мышления TSA, что означает, что структура экзамена была скорректирована по сравнению с 2022 годом и более ранними годами. В частности, помимо корректировки структуры экзамена, Ханойский университет науки и технологий применил новую теорию оценки – теорию вопросов и ответов (IRT) – для оценки качества вопросов и подсчёта баллов кандидатов.

Из-за этого кандидаты не могут самостоятельно оценить себя после завершения теста, а вынуждены ждать результатов анализа данных теста. Поэтому, получив уведомление о результатах, многие кандидаты испытывают недоумение, поскольку полученные баллы не соответствуют их ожиданиям.

Многие студенты проявляют большой интерес к тесту на оценку мышления TSA, организованному Ханойским университетом науки и технологий.

Результаты теста представляют собой количественную модель оценки способностей кандидата.

Чтобы развеять эти опасения кандидатов, газета Thanh Nien взяла интервью у доктора Данг Сюань Кыонга, независимого ученого, имеющего многолетний опыт исследований и внедрения методов оценки и измерения образовательного процесса , одного из тех, кто в течение последних двух лет консультировал Ханойский университет науки и технологий по внедрению теста оценки мышления TSA.

По словам доктора Данг Сюань Кыонга, теория вопросов и ответов основана на математических моделях, объясняющих взаимосвязь между способностями кандидата и вопросами, которые их измеряют. При таком теоретическом подходе параметры вопросов (такие как сложность, дискриминация, угадывание и т. д.) и способности кандидата будут количественно оцениваться на основе данных тестирования группы кандидатов, участвующих в тестировании. Следовательно, способности кандидата, оцененные с помощью теории вопросов и ответов, будут отличаться от оценок, полученных традиционным методом.

Перед сдачей теста TSA на оценку мышления кандидаты проходят тестирование.

При традиционной системе оценивания результат теста представляет собой просто механическое сложение баллов за вопросы теста в соответствии с определённым руководством по оценке. Эксперты называют это «сырым» баллом. С помощью «сырым» баллом большинство кандидатов могут опираться на ответы при оценке своего теста, и даже если тест состоит только из объективных вопросов с несколькими вариантами ответов, кандидаты могут оценить себя после прохождения теста.

Согласно подходу теории вопросов и ответов, результат теста объявляется кандидату после анализа его тестовых данных. Это довольно сложный этап с точки зрения экспертизы, выполняемый с помощью специализированного программного обеспечения и тщательно анализируемый с помощью статистических показателей. По сути, результат теста – это количественный результат, служащий основой для оценки кандидатами своих способностей, а также для сравнения их результатов с результатами всех остальных кандидатов, сдавших экзамен.

Доктор Данг Сюань Куонг пояснил: «В принципе, после того как кандидаты завершат тест, система будет опираться на данные каждого вопроса теста, чтобы оценить способности кандидатов, включая информацию о том, сколько кандидатов могут ответить на каждый соответствующий вопрос и к каким кандидатам они относятся, на сколько вопросов может ответить каждый кандидат и к каким вопросам они относятся».

Данные о результатах теста помогут системе создать модель для оценки способностей испытуемого. На основе этой оценки способностей будет рассчитан балл оценки мышления, преобразованный в шкалу, используемую в тесте (обычно от 0 до 100).

Даже если вы правильно ответите на 70 вопросов, ваши результаты теста могут быть другими.

Доктор Данг Сюань Кыонг также отметил, что текущий тест TSA по оценке мышления Ханойского университета науки и технологий представляет собой экзамен, сочетающий в себе применение модели ответа на вопрос с одним параметром (относящейся только к сложности вопроса) и двумя параметрами (относящимися к сложности и различению вопросов). Согласно вышеизложенному принципу, группа кандидатов получает одинаковый первичный балл, но результаты теста TSA у студентов различаются.

Доктор Данг Сюань Куонг привёл пример: «Предположим, тест состоит из 100 вопросов. Согласно традиционному подходу, каждый правильный ответ оценивается в 1 балл. Тогда, если два кандидата смогут ответить на 70 вопросов вместе, каждый получит 70 баллов. Однако, согласно теории ответов на вопросы, каждый вопрос в тесте будет иметь разный уровень сложности, и способности кандидата будут оцениваться на основе того, на какие вопросы он ответил правильно. В случае двух упомянутых здесь кандидатов, если кандидат А может ответить на вопросы сложнее, чем кандидат Б, предполагаемые способности кандидата А будут выше, чем у кандидата Б. Кроме того, различие вопросов также является фактором, используемым при оценке способностей кандидатов. В результате заявленный балл студента А выше, чем у студента Б».

Проще говоря, при традиционном подходе, основанном на сырых баллах, баллы за вопросы рассчитываются с одинаковым «весом», то есть сложность и лёгкость вопросов не учитываются. Согласно теории ответов на вопросы, баллы за вопросы будут иметь разный «вес», однако этот вес не обусловлен субъективной волей разработчика теста, а рассчитывается на основе математических моделей, основанных на тестовых данных кандидатов.

В процессе применения теории вопросов и ответов анализ тестовых данных также использует метод сравнения для приведения результатов кандидатов к единой шкале. Каждый год тест на оценку мышления проводится в несколько туров, и кандидатам сообщают результаты вскоре после сдачи теста (не дожидаясь ежегодного тестирования).

Для обеспечения справедливости при допуске кандидатов, сдающих экзамен в разных турах, организатор экзамена использует шкалу первого тура в качестве исходной. В последующих турах при анализе результатов экзамена применяется метод сравнения, позволяющий привести баллы кандидатов, сдавших следующий тур, к исходной шкале, а затем представить официальные результаты кандидатов. Это облегчит сравнение результатов экзаменов разных туров.

По словам доктора Данг Сюань Кыонга, у каждой теории есть свои преимущества и недостатки. «Применяя теорию вопросно-ответных методов в Ханойском университете науки и технологий для оценки мышления, мы также очень тщательно подходим к этому вопросу, следуя определённому плану, чтобы каждый год совершенствовать экзамен», — сказал г-н Кыонг.

Доктор Данг Сюань Кыонг получил докторскую степень в области образования, защитив диссертацию по измерению и оценке качества образования в Университете Флиндерса, Австралия. Он имеет более чем 18-летний опыт работы в этой области.

Источник: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm