Elementos metodológicos de thinking aloud para la obtención de evidencias de validez de contenido

Abstract

Los test thinking aloud se han implementado en la investigación educativa, principalmente, para obtener las estrategias de solución de los sujetos en diferentes tareas. En particular, se han empleado con la finalidad de determinar las estrategias que los examinados implementan para dar solución a ítems en pruebas educativas. Sin embargo, los elementos metodológicos para elaborar un thinking aloud paso a paso y obtener evidencias de validez no son explícitos en la literatura. Sin embargo, es importante obtener esos resultados, por lo que el objetivo de este artículo es proporcionar los pasos metodológicos, desde una perspectiva práctica de implementación en la obtención de habilidades de razonamiento cuantitativo. Para llevar a cabo los test thinking aloud, se realizó una revisión exhaustiva de la literatura y se propusieron las siguientes etapas: 1) definición del propósito, 2) elaboración de los procesos de solución de los ítems desde una perspectiva teórica y práctica, 3) selección de la muestra, 4) proceso de simulación, 5) recolección de los datos, 6) transcripción y análisis. Al seguir estas etapas, se pueden efectuar los test thinking aloud que resulten exitosos y que permitan obtener evidencias válidas y confiables.

Think-aloud has been implemented in educational research mainly to define the solution strategies of the subjects on different tasks. In particular, it has been used to determine the strategies the subjects implement to find solutions to items in educational tests. However, since the steps of the methodological think-aloud elements followed to obtain valid evidence are not explicit and are important to define, this article aims to provide the methodological steps, from a theoretical perspective so they can be implemented. To develop the steps, a comprehensive literature review was carried out, and the following steps were proposed: 1) define the purpose, 2) elaborate the solution processes of the items from a theoretical perspective, 3) select the thinking-aloud sample, 4) simulation process, 5) data recollection, 6) think-aloud transcript and analysis. These steps can lead to a successful think-aloud process that produces reliable, valid evidence.