Simulación computacional de predicciones de rendimiento en el contexto de pruebas estandarizadas

Abstract

Cuando una persona se enfrenta a una prueba realiza predicciones acerca de su rendimiento, estas estimaciones se conocen como juicios metacognitivos. Los juicios metacognitivos pueden diferir del rendimiento real por factores como la ansiedad, el género, entre otros. Frecuentemente la diferencia entre el juicio metacognitivo y el resultado real genera un efecto negativo que a largo plazo puede comprometer el autoconcepto de la persona. Para estimar la probabilidad de acertar un ítem en una prueba estandarizada se utiliza la ecuación de Rash que depende de dos variables, la habilidad del sujeto resolutor en el constructo y la dificultad del ítem. La hipótesis del presente estudio es que los humanos realizamos un proceso análogo al descrito por la ecuación de Rash para establecer los juicios metacognitivos. El presente estudio tiene como objetivo proponer un modelo computacional de la relación entre el desempeño de ítems en pruebas estandarizadas de matemática y los juicios metacognitivos de la predicción del rendimiento. Se realizaron múltiples simulaciones computacionales en la cuales se asume la ecuación de Rash para generar estimaciones de las posibilidades de los sujetos de acertar un ítem alterando mediante errores aditivos los parámetros de habilidad del sujeto y dificultad del ítem. Se compararon estas simulaciones con juicios metacognitivos emitidos por estudiantes en pruebas anteriores y se encontraron dos simulaciones con resultados similares a la de los datos reales.

When a person faces a test, they make predictions about their performance; these estimates are known as metacognitive judgments. Metacognitive judgments can differ from actual performance due to factors such as anxiety, gender, and others. Frequently, the difference between metacognitive judgment and actual results generates a negative effect that, in the long term, can compromise a person's self-concept. To estimate the probability of correctly answering an item in a standardized test, the Rasch equation is used, which depends on two variables: the subject's ability in the construct and the difficulty of the item. The hypothesis of this study is that humans perform a process analogous to that described by the Rasch equation to make metacognitive judgments. The aim of this study is to propose a computational model of the relationship between item performance in standardized math tests and metacognitive judgments of performance prediction. Multiple computer simulations were conducted, assuming the Rasch equation to generate estimates of the likelihood of subjects correctly answering an item by altering the ability parameters of the subject and the difficulty of the item through additive errors. These simulations were compared with metacognitive judgments made by students in previous tests, and two simulations were found to have results similar to the real data.

Quando uma pessoa enfrenta um teste, ela faz previsões sobre seu desempenho; essas estimativas são conhecidas como julgamentos metacognitivos. Os julgamentos metacognitivos podem diferir do desempenho real devido a fatores como ansiedade, gênero, entre outros. Frequentemente, a diferença entre o julgamento metacognitivo e os resultados reais gera um efeito negativo que, a longo prazo, pode comprometer o autoconceito da pessoa. Para estimar a probabilidade de acertar um item em um teste padronizado, é utilizada a equação de Rasch, que depende de duas variáveis: a habilidade do sujeito no construto e a dificuldade do item. A hipótese deste estudo é que os humanos realizam um processo análogo ao descrito pela equação de Rasch para fazer julgamentos metacognitivos. O objetivo deste estudo é propor um modelo computacional da relação entre o desempenho em itens de testes padronizados de matemática e os julgamentos metacognitivos de previsão de desempenho. Foram realizadas múltiplas simulações computacionais nas quais se assume a equação de Rasch para gerar estimativas das probabilidades dos sujeitos acertarem um item, alterando os parâmetros de habilidade do sujeito e a dificuldade do item por meio de erros aditivos. Essas simulações foram comparadas com julgamentos metacognitivos emitidos por estudantes em testes anteriores, e duas simulações apresentaram resultados semelhantes aos dados reais.