¿Por qué muchos candidatos consideran que sus puntuaciones en la evaluación de razonamiento de la TSA no son las esperadas?

Este año, por segundo año consecutivo, la Universidad de Ciencia y Tecnología de Hanói organiza el examen de evaluación del pensamiento TSA con un nuevo enfoque, lo que implica ajustes en su estructura con respecto a 2022 y años anteriores. En concreto, además de ajustar la estructura, la universidad ha implementado una nueva teoría de evaluación: la teoría de respuesta a preguntas (TRI), para valorar la calidad de las preguntas y calcular las puntuaciones de los candidatos.

Esto ha provocado que los candidatos no puedan autoevaluarse tras finalizar la prueba, sino que tengan que esperar los resultados del análisis de sus datos. Por lo tanto, tras recibir la notificación de los resultados, muchos candidatos se confunden porque las puntuaciones obtenidas no son las que esperaban.

Muchos estudiantes están muy interesados ​​en la prueba de evaluación del pensamiento TSA organizada por la Universidad de Ciencia y Tecnología de Hanoi.

Las puntuaciones de las pruebas son un modelo cuantificado de estimación de la capacidad del candidato.

Para aliviar esta preocupación de los candidatos, el periódico Thanh Nien entrevistó al Dr. Dang Xuan Cuong, científico independiente con muchos años de investigación e implementación en evaluación y medición educativa , una de las personas que asesoró a la Universidad de Ciencia y Tecnología de Hanoi para implementar la prueba de evaluación del pensamiento TSA durante los últimos 2 años.

Según el Dr. Dang Xuan Cuong, la teoría de respuesta a preguntas se basa en modelos matemáticos para explicar la relación entre la habilidad del candidato y las preguntas que la miden. Con este enfoque teórico, los parámetros de las preguntas (como la dificultad, la discriminación y la probabilidad de acierto al azar) y la habilidad del candidato se cuantifican a partir de los datos de la prueba realizada al grupo de candidatos participantes. Por lo tanto, la habilidad del candidato estimada mediante la teoría de respuesta a preguntas difiere del método de puntuación tradicional.

Los candidatos son evaluados antes de realizar la prueba de evaluación cognitiva de la TSA.

Con la calificación tradicional, la puntuación del examen es simplemente la suma mecánica de las puntuaciones de las preguntas según una guía de calificación específica. Los expertos la denominan puntuación bruta. Con la puntuación bruta, la mayoría de los candidatos pueden basarse en sus respuestas para autoevaluarse, e incluso si el examen consta únicamente de preguntas objetivas de opción múltiple, pueden calificarse a sí mismos después de realizarlo.

Con el enfoque de la teoría de respuesta a preguntas, la puntuación del examen es el resultado que se comunica al candidato tras analizar sus datos. Este proceso, complejo y que requiere conocimientos especializados, se lleva a cabo con software específico y se basa en indicadores estadísticos. En esencia, la puntuación es un resultado cuantificado que permite a los candidatos conocer sus habilidades y comparar sus resultados con los de los demás participantes.

El Dr. Dang Xuan Cuong explicó: "En principio, una vez que los candidatos finalicen la prueba, el sistema se basará en los datos de cada pregunta de la prueba para estimar la capacidad de los candidatos, incluyendo información sobre cuántos candidatos pueden responder a cada pregunta correspondiente y cuáles son esos candidatos, cuántas preguntas puede responder cada candidato y cuáles son esas preguntas."

Los datos de los resultados de la prueba del participante ayudarán al sistema a generar un modelo para estimar su capacidad. A partir de esta capacidad estimada, se calculará la puntuación de la evaluación del razonamiento convirtiéndola a la escala utilizada en la prueba (normalmente de 0 a 100).

Aunque respondas correctamente a 70 preguntas, tus resultados en el examen pueden ser diferentes.

El Dr. Dang Xuan Cuong también afirmó que la prueba de evaluación del pensamiento TSA de la Universidad de Ciencia y Tecnología de Hanoi combina un modelo de respuesta a preguntas de un solo parámetro (que solo considera la dificultad de la pregunta) con un modelo de dos parámetros (que considera la dificultad y la capacidad de discriminación de la pregunta). Según este principio, un grupo de candidatos puede obtener la misma puntuación bruta, pero sus puntuaciones en la prueba TSA varían.

El Dr. Dang Xuan Cuong dio un ejemplo: «Supongamos que el examen tiene 100 preguntas. Según el método tradicional, cada respuesta correcta vale 1 punto. Si dos candidatos responden 70 preguntas en conjunto, cada uno obtendrá 70 puntos. Sin embargo, con el enfoque de la teoría de respuesta a preguntas, cada pregunta del examen tendrá un nivel de dificultad diferente, y la habilidad del candidato se estimará en función de las preguntas específicas que haya respondido correctamente. En el caso de los dos candidatos mencionados, si el candidato A responde preguntas más difíciles que el candidato B, la habilidad estimada del candidato A será mayor que la del candidato B. Además, la distinción entre las preguntas también es un factor que se utiliza para estimar la habilidad de los candidatos. Por lo tanto, el resultado es que la puntuación anunciada del estudiante A es mayor que la del estudiante B».

En resumen, con el método tradicional basado en puntuaciones brutas, las preguntas se ponderan de la misma manera, sin tener en cuenta su dificultad. En cambio, con la teoría de respuesta a preguntas, las preguntas tienen ponderaciones diferentes; sin embargo, esta ponderación no depende de la subjetividad del diseñador del examen, sino que se calcula mediante modelos matemáticos a partir de los datos de las pruebas de los candidatos.

En el proceso de aplicación de la teoría de respuesta a preguntas, el análisis de los datos de las pruebas también utiliza la técnica de comparación para estandarizar las puntuaciones de los candidatos. Cada año, la prueba de evaluación del razonamiento consta de varias rondas, y los candidatos reciben los resultados poco después de realizarla (sin esperar a la prueba anual).

Para garantizar la equidad en el proceso de admisión entre los candidatos que realizan el examen en diferentes rondas, la entidad organizadora utilizará la escala de la primera ronda como escala original. En las rondas siguientes, durante el análisis de los resultados, se aplicará una técnica de comparación para ajustar las puntuaciones de los candidatos a la escala original y, posteriormente, emitir los resultados oficiales. Esto facilitará la comparación de los resultados entre las distintas rondas.

Según el Dr. Dang Xuan Cuong, cada teoría tiene sus ventajas y desventajas. "Con la aplicación de la teoría de preguntas y respuestas en la Universidad de Ciencia y Tecnología de Hanoi para el examen de evaluación del pensamiento, también somos muy cuidadosos, siguiendo una hoja de ruta específica para perfeccionar el examen cada año", dijo el Sr. Cuong.

El Dr. Dang Xuan Cuong obtuvo su doctorado en Educación con una tesis sobre medición y evaluación educativa en la Universidad de Flinders, Australia. Cuenta con más de 18 años de experiencia en este campo.

Fuente: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm