Informe 2019-2023 del PPPAA 1 Instituto de Investigaciones Psicológicas Programa Permanente de la Prueba de Aptitud Académica Informe del Programa Permanente Prueba de Aptitud Académica (PPPAA) 2023 Dr. Guaner Rojas Rojas Coordinador Académico 2023 guaner.rojas@ucr.ac.cr Tel.: 2511 6035 o 8530 9294 Equipo de investigación del PPPAA del IIP M.Ed. Danny Cerdas N. M.L. Diana Martínez A. M.L. Karen Calvo D. M.Sc. Karol Jiménez A. Lcdo. Kenner Ordóñez L. Lcda. Laura Solano A. Dr. Luis Rojas T. Licda. Marisela Valverde G. Dra. Mónica Arias M. M.Sc. Nelson Pérez R. M.L. Sigrid Solano M. Director IIP: Dr. Javier Tapia Balladares. Cite este documento: Rojas, G., Calvo, K., Jiménez, K., Rojas, L., Solano, S., Ordóñez, K., Martínez, D., Valverde, M., Arias, M., Solano, L., Cerdas, D., Pérez, N. y Chacón, D. (2023). Informe del Programa Permanente Prueba de Aptitud Académica (PPPAA) 2023. Universidad de Costa Rica. Informe del Programa Permanente de la Prueba de Aptitud Académica de la Universidad de Costa Rica © 2024 by Rojas, G., Calvo, K., Jiménez, K., Rojas, L., Solano, S., Ordóñez, K., Martínez, D., Valverde, M., Arias, M., Solano, L., Cerdas, D., Pérez, N. y Chacón, D. está bajo una Licencia Creative Commons Atribución-NoComercial-NoDerivadas 4.0 Internacional. Obtenga una copia de esta licencia en http://creativecommons.org/licenses/by-nc-nd/4.0/ Los usuarios pueden descargar nuestra publicación y compartirla con otros, pero no están autorizados a modificar su contenido de ninguna manera ni a utilizarlo para fines comerciales. Informe 2019-2023 del PPPAA 2 TABLA DE CONTENIDO Antecedentes 3 Justificación 4 Metodología 5 Población 7 Objetivos 8 Cronograma 15 Conclusiones 15 CV del PPPAA 16 Informe 2019-2023 del PPPAA 3 ANTECEDENTES En el periodo 2019-2023 de la ampliación de vigencia del PPPAA, el trabajo del equipo de investigación del PPPAA se ha enfocado en cuatro áreas: diseño, información, actualización e investigación sobre la PAA. Las políticas y líneas de investigación del PPPAA se rigen bajo el marco de la validez. En específico, los procesos de investigación se enmarcan en la equidad, justicia, el desarrollo de métodos de medición, psicometría y estadística de última generación, la gestación de procesos de juzgamiento y revisión de pruebas y la creación de adecuaciones, adaptaciones y ajustes razonables. La labor de investigación que se realiza en el PPPAA se desarrolla con el apoyo del equipo administrativo para lograr mantener los estándares de medición y de control de seguridad de la PAA. Asimismo, la rigurosidad científica enmarca actividades investigativas que dirigen desde la gestación de proyectos y los procesos de creación de preguntas hasta la calificación de la PAA, pasando por la administración y logística de aplicación de la prueba. El periodo 2019-2023 significó para el PPPAA un trabajo en un contexto coyuntural complejo de entrada y remotamente saliente de la pandemia por COVID-19 y la recuperación de un calendario institucional de admisión similar a años previos al 2019. También, durante este periodo 2019-2023 se reflejó en la aplicación de la PAA los intentos de fraude de la población de aspirantes, lo cual provocó que la aplicación presencial de la PAA se fortaleciera con la experiencia adquirida en los procesos vividos en este periodo. El proceso 2023 de aplicación de la Prueba culminó con la inscripción de 61 611 aspirantes, de los cuales 48 860 asistieron a realizar la PAA distribuidos en las 192 sedes a lo largo de todo el país. La asistencia al examen subió levemente con respecto al 2022, pasando del 77% al 79,3% en el 2023. En dichas sedes participaron 136 personas coordinadoras de sedes y más de 841 personas funcionarias de la UCR quienes realizaron la labor de aplicadores de aula (no se cuenta con el registro de aplicadores participantes de la UNA. Los miembros de equipo de investigación continuaron su trabajo en uno o varios de los 17 proyectos del PPPAA realizados entre el 2019 y 2023. También, a partir de agosto 2023 se diseñó y formuló la Prueba que se aplicará en setiembre u octubre del 2024. El equipo de investigación del PPPPA continuó con la generación de ítems con minuciosos procesos que requieren una alta inversión en tiempo, innovación y concentración. A la gestación, escritura y revisión detallada de preguntas se unió la exhaustiva revisión y redacción de instructivos y materiales asociados a la aplicación logística de la Prueba: capacitación para coordinadores y aplicadores implementada en mediación virtual, instructivos para aspirantes y aplicadores, entre otros. Informe 2019-2023 del PPPAA 4 La coordinación académica y la dirección del IIP participaron activamente en reuniones con las autoridades universitarias y otras instancias para la comunicación de los cambios y planeamientos de la PAA: Rectoría y Consejo Universitario. Finalmente, la PAA se caracteriza por el constante estado de revisión desde distintos niveles cualitativos y cuantitativos: • En el 2015 se dio un salto a un ensamblaje de la PAA con categorías que reflejan los procesos dominantes esperados para la resolución de las preguntas. • En el 2017 la prueba disminuyó la cantidad de preguntas y pasó de 85 ítems a 75. Este cambio permitió valorar con mayor precisión la calidad de los ítems ubicados al final de la Prueba y que solían quedar con menos respuestas debido a la restricción de tiempo de 3 horas de realización de la PAA. • En el 2018 se aplicó una Prueba con 75 ítems ordenados desde el más fácil al de mayor dificultad en función de los valores estimados del modelo de dos parámetros de la Teoría de Respuesta al Ítem. El ordenamiento de los ítems posibilitó aumentar la presencia del factor dominante de habilidades generales de razonamiento medido por la Prueba. • En el 2019 inició la vigencia (emitido en diciembre de 2018) de que la nota de la PAA es válida únicamente para el año en que realiza la PAA. • En el 2020 se aplicó una PAA con un cambio sustancial en la reducción de 5 a 4 opciones de respuesta por ítem. • En el 2021 se aplicó una PAA con disminución de la cantidad de preguntas y en tiempo de aplicación. La PAA disminuyó de 75 ítems a 50 preguntas con 4 opciones de respuesta cada una y pasó a duración de dos horas. • En el 2022 se aplicó el diseño en condiciones del 2021: 50 preguntas con 4 opciones de respuesta. Las preguntas se distribuyeron en 6 formularios paralelos. • En el 2023 se aplicó el diseño que replica las condiciones del 2022 con ítems clasificados en 10 procesos de respuesta: oponer, deducir, reducir, parafrasear, presuponer, suponer, generalizar, verificar, indagar y representar. • En el 2024 se aplicará un diseño de 11 formularios paralelos con ítems clasificados en los procesos de respuesta establecidos en el Programa. JUSTIFICACIÓN La UCR ha optado por utilizar instrumentos de selección de estudiantes desde el año 1957, con el fin de seleccionar a los estudiantes que tengan mayor probabilidad de alcanzar el éxito académico. La emergente PAA aplicada en 1960 se transformó con el paso del tiempo en el Programa Permanente de la Prueba de Aptitud Académica. El Programa se encarga de realizar investigación en torno al diseño, Informe 2019-2023 del PPPAA 5 construcción, ensamblaje, embalaje, aplicación, calificación y análisis de los resultados obtenidos en las distintas etapas que cumple la Prueba durante el año. METODOLOGÍA El equipo de investigación del Programa propone e implementa proyectos en el marco de la construcción de los ítems, el diseño de la prueba y el constructo medido sobre habilidades generales de razonamiento. Los ítems que conforman el banco siguen una tabla de especificaciones basada en procesos de respuesta en la que se desglosan los ítems uno a uno con su clasificación por procesos de resolución de las preguntas. La tabla actualmente se explicita en categorías referentes a los tipos de razonamiento que subyace a la resolución de los ítems: generalizar, indagar, oponer, parafrasear, presuponer, suponer, reducir, deducir, representar y verificar. Los procesos de respuesta a los ítems que conforman el banco también tienen una caracterización más detallada y profunda con criterios para la predicción de la dificultad y discriminación de las preguntas o la aptitud de funcionamiento por igual para los grupos de población que realizan la PAA y representan a las personas con discapacidad. En general, la metodología de funcionamiento del Programa se rige por las metodologías específicas de cada proyecto de investigación, sin embargo, los resultados y análisis de los distintos proyectos convergen en la fundamentación y generación de evidencias para la interpretación de las puntuaciones derivadas de las respuestas que las personas dan a la PAA. La tabla 1 (actualizada al 2023) recaba la convergencia de los proyectos y se complementa con análisis sistemáticos y rutinarios establecidos como protocolo en el Programa. Informe 2019-2023 del PPPAA 6 Tabla 1. Criterios de evidencia para la PAA (Rojas, G. 2023). Tipo de evidencia Descripción Aplicación metodológica Constructo Procesos de respuesta Establece el dominio meta, las habilidades y procesos de respuesta esperados y medidos para fundamentar las interpretaciones de las puntuaciones. Análisis y revisión de bibliografía y estudios referenciales de fundamentación teórica para la PAA. Generación de teoría sustantiva y modelos teóricos que reflejan el razonamiento medido con la PAA. Generación de la tabla de especificaciones con base en procesos de respuesta y atributos específicos. Establecimiento de atributos que favorecen o desvirtúan la formación del constructo medido por la PAA. Estructura interna Genera análisis que confirmen la estructura del modelo de constructos generales y específicos partir de las respuestas dadas por las personas en la prueba. Análisis con modelos de análisis factorial confirmatorios mediante diversas estructuras establecidas por los procesos de respuesta. Análisis con el modelo bifactor de teoría respuesta a los ítems establecidos para el conjunto de ítems. Contenido Incluye las bases teóricas y conceptuales para la revisión sistemática de ítems por parte de expertos. Diseño y escritura de preguntas según las especificaciones de procesos de respuesta, los modelos de ajustes razonables y las adecuaciones. Análisis, revisión y juzgamiento de ítems por parte de un panel de expertos conformado por desarrolladores de la PAA y externos a la prueba. Análisis de las calidades métricas para cada uno de los ítems de la PAA y a nivel global para la prueba. Caracterización y cuantificación del aporte o peso de atributos específicos de los procesos o categoría de respuesta presentes en los ítems de la PAA. Análisis de la fidelidad del diseño para verificar si el modelo de TRI produce puntuaciones consistentes con el marco del diseño intencionado. Análisis del cambio en los niveles de los parámetros de adivinación o respuesta por azar, discriminación y dificultad en las preguntas de la PAA a través de las distintas aplicaciones anuales. Relación con otras variables Establece la relación entre las puntuaciones de la PAA con las mediciones de rendimiento académico de las personas en los primeros años de la Universidad. Análisis de la obtención de respuestas similares por personas con el mismo nivel de habilidad en la prueba. Análisis predictivo de las puntuaciones de la PAA sobre el promedio ponderado de las personas en cursos que miden habilidades generales de razonamiento. Informe 2019-2023 del PPPAA 7 POBLACIÓN Se benefician todas las personas aspirantes que se seleccionan año con año. En ellos se centra la inversión educativa con la que cuenta la Universidad. En la tabla 2 se desglosan la cantidad de personas inscritas y que realizaron la PAA entre el 2019 y 2023. Tabla 2. Desglose cantidad de personas inscritas y asistente a la realización de la prueba. Año Cantidad de personas inscritas Cantidad de personas que realizaron la prueba Porcentaje de asistencia 2019 66923 52301 78,15% Tipo de evidencia Descripción Aplicación Generalizabilidad Garantiza que cada uno de los ítems no estén sesgados a un grupo específico de personas. Garantiza que las puntuaciones observadas sean consistentes para el futuro y en las diversas fórmulas paralelas. Análisis de sesgo mediante la revisión de sensibilidad y funcionamiento diferencial del ítem. Análisis de diferencias por impacto entre grupos de población. Análisis de confiabilidad y precisión con teoría de respuesta al ítem. Análisis de distractores y de la respuesta correcta de los ítems. Análisis de clases latentes (no predefinidas) para determinar grupos separados dentro de poblaciones que comparten alguna característica. Análisis del nivel de exposición del banco de ítems a la población de aspirantes. Análisis de los tiempos de reacción para determinar el tiempo empleado para solucionar una pregunta y diferenciar entre personas que intentan la solución de quienes la responden por azar. Consecuencias Considera la forma en como las puntuaciones y resultados impactan a las personas que realizan la PAA. Discusión con tomadores de decisión o autoridades universitarias. Capacitación y preparación de coordinadores de sedes de aplicación y aplicadores de aula en la administración y logística de la PAA. Gestión y control de los procesos asociados al embalaje y preparación del material de las sedes y aulas de aplicación de la PAA. Gestión y control de la calificación de la PAA. Interpretabilidad Considera la comunicación cualitativa del significado de las puntuaciones de la PAA. Reporte de la formulación de cálculo e interpretación de puntuaciones con referencia a normas. Informe 2019-2023 del PPPAA 8 2020 64962 47423 73,00% 2021 64614 50557 78,24% 2022 61136 47130 77,09% 2023 61611 48860 79,30% OBJETIVOS El Programa cuenta con 4 objetivos, por lo que se detallan los avances durante el periodo 2019-2023: Avances del objetivo 1: Ofrecer a las autoridades universitarias, estudiantes, padres y otras partes interesadas información general y técnica referente a la naturaleza y uso de la PAA, y al modelo de admisión a la UCR, para facilitar que la toma de decisiones se realice con un fundamento científico. Con respecto al objetivo 1 se ofrecen algunas intervenciones relevantes para la consecución del objetivo. • Reunión en febrero de 2023 con la Comisión de Asuntos Estudiantiles del Consejo Universitario en el cual se conversó sobre la modificación del artículo 14 del reglamento de admisión la Prueba de Aptitud Académica. El artículo 14 trata sobre fraude durante la aplicación de la PAA por parte de los aspirantes. • Generación y divulgación de información oral, virtual y escrita de la siguiente manera: afiches para colegios y folletos de práctica en formato impreso, en braille, grabaciones en LESCO, en el sitio web y grabaciones de audio. o https://www.facebook.com/PAAUCR/ o https://www.instagram.com/paa_ucr/ o https://paa.iip.ucr.ac.cr/ • Visita y presentación al Consejo Universitario en el marco de la gestión de la PAA 2022. En el enlace se aprecia la participación que inicia en el minuto 2:47:05 y finaliza en 3:58:11. https://www.youtube.com/watch?v=jY2seKghmKE • Artículo 10, acta 6651 con exposición sobre los modelos de admisión y la Prueba de Aptitud Académica. https://www.cu.ucr.ac.cr/uploads/tx_ucruniversitycouncildatabases/minute/2022/6651.pdf • Información sobre las medidas de seguridad de la PAA: Informe 2019-2023 del PPPAA 9 https://semanariouniversidad.com/universitarias/prueba-de-admision-ucr-mantendra-medidas- contra-uso-de-dispositivos-electronicos/ • Reunión (2022) con la Comisión de Asuntos Estudiantiles del Consejo Universitario en el cual se presentaron las actividades que realiza el Programa de la Prueba de Aptitud Académica. También se dio respuesta a dudas sobre el proceso de admisión por PAA. • Participación del equipo de investigación como presentadores en las Jornadas del IIP 2022 con la presentación: "Evidencias para la validez: calibración y mantenimiento del banco de ítems de la PAA". • Simposio Evidencias del cambio en la nueva PAA: evaluaciones durante la COVID-19. Organizado por el Programa Permanente de la Prueba de Aptitud Académica y el Programa Permanente de Actualización, Capacitación y Difusión. Sesión 1: https://www.facebook.com/PAAUCR/videos/evidencias-del-cambio-en-la-nueva-paa- evaluaciones-durante-la-covid-19/512862319983177/ Sesión 2: https://www.facebook.com/PAAUCR/videos/evidencias-del-cambio-en-la-nueva-paa- evaluaciones-durante-la-covid-19/798803770803123/ Sesión 3: https://www.facebook.com/PAAUCR/videos/evidencias-del-cambio-en-la-nueva-paa- evaluaciones-durante-la-covid-19/811512589735167/ Sesión 4: https://www.facebook.com/PAAUCR/videos/evidencias-del-cambio-en-la-nueva-paa- evaluaciones-durante-la-covid-19/326624012464928/ • Informe al Consejo Universitario y a la Rectoría sobre las evidencias predictivas de la PAA. Ver el acta del CU de la sesión 6550. • Práctica en línea: http://www.paa.iip.ucr.ac.cr/?q=node/9 • Información sobre la PAA con infografía y videos: https://www.facebook.com/PAAUCR/ • Información generada en redes sociales en el programa creado en la PAA sobre “Cápsulas informativas de la PAA”: https://www.facebook.com/PAAUCR/ • Información generada para redes sociales en el programa de 16 episodios creado en la PAA sobre “Rostros de la Prueba”: https://www.facebook.com/PAAUCR/ • Información generada para Semanario Universidad debido a los cambios en la PAA: Informe 2019-2023 del PPPAA 10 https://semanariouniversidad.com/universitarias/brecha-entre-colegios-publicos-y-privados-en- promedio-de-admision-a-ucr-se-redujo-en-2020/ • Información generada para el portal de la investigación de la VI: https://iip.ucr.ac.cr/index.php/es/noticias/compromiso-del-iip-ucr-permite-realizar-prueba-de-aptitud- academica-en-todo-el-pais • Información generada para canal 15 en Desde la U sobre medidas en las aplicaciones de la PAA. • Información generada para canal 15 en Desde la U sobre adecuaciones. • Información generada para el Archivo Universitario debido al 60 aniversario de la PAA y el IIP: http://archivo.ucr.ac.cr/docmes/diciembre2020.pdf • Información generada para Semanario Universidad debido al 60 aniversario de la PAA y el IIP: https://semanariouniversidad.com/wp-content/uploads/2020/11/Suplemento-PAA- %20VFF2020.pdf?fbclid=IwAR1OfXc3iN4y_skZH_EHkAOCbFm_AgoxUx8FRftiHGkyRD67%20bgpB RCQiCYw • Participación en el programa de radio el 19/11/2020 de Diálogo Abierto de la Rectoría en Radio Universidad de Costa Rica. Avances del objetivo 2: Mantener un sistema de enriquecimiento del PPPAA en sus aspectos conceptuales, metodológicos y técnicos que permitan mantenerlo actualizado, de acuerdo con los más altos estándares de rigurosidad científica. • Participación de jueces externos al Programa para el juzgamiento de ítems: en cada área de la Prueba se incorporaron jueces externos para la revisión y análisis cualitativo de los ítems experimentales. • Participación en actividades académicas y de formación por parte de los miembros del equipo de investigación en temáticas de interés y mejoramiento de la prueba. Avances del objetivo 3: Realizar investigaciones académicas y científicas que se dirijan a las temáticas de validez y equidad en la PAA, y que incluyan enfoques y corrientes actuales en psicometría, medición educativa y psicología cognitiva. Además de las actividades de investigación diarias del Programa en torno al diseño y construcción de la PAA, se implementaron 17 proyectos de investigación, de los cuales 2 proyectos siguen vigentes. Se espera que durante el 2024 se presenten proyectos ante el Consejo Científico para evaluación y aprobación. A continuación, se agrega una descripción breve de los proyectos del PPPAA realizados durante el periodo 2019-2023 inscritos en la Vicerrectoría Investigación, Docencia y Acción Social. La descripción es un insumo para la consulta más detallada que se dará cuando se presenten los correspondientes informes de los proyectos por parte de las personas investigadoras principales de los equipos de trabajo. Informe 2019-2023 del PPPAA 11 • Proyecto 723-C2-207: Dominio léxico y su relación con la Prueba de Aptitud Académica de la Universidad de Costa Rica a cargo de M.L. Sigrid Solano, M.L. Karen Calvo, M.L. Diana Martínez, M.L. Nelson Pérez y Dr. Guaner Rojas. El proyecto se enfoca en determinar en qué medida el uso de cierto vocabulario influye en la resolución de las preguntas de la PAA. El reconocimiento del efecto en la solución de ítems contribuirá al diseño de estrategias evaluadas por los ítems y complementarán los procesos de juzgamiento que sigue cada una de las preguntas, reforzando la medición del constructo de la prueba. • Proyecto 723-C1-209: Elementos asociados a la dificultad de los ítems de razonamiento en contexto matemático de la Prueba de Aptitud Académica desde el enfoque de los modelos explicativos de respuesta al item a cargo de M.Sc. Luis Rojas, M.Sc. Karol Jiménez, Lcdo. Kenner Ordóñez, Lcda. Marisela Valverde y Dr. Guaner Rojas. El proyecto se dirige a detectar las fuentes que modifican la dificultad de de un subgrupo de preguntas de razonamiento en contexto matemático mediante la caracterización de las categorías de respuesta por parte de un panel de jueces expertos. El análisis se complementa con la implementación de un modelo de respuesta al ítem explicativo que cuantifica los pesos de cada fuente o atributo de dificultad establecida por los jueces. • Proyecto 723-C01-004: Formulación de un modelo de respuesta al ítem explicativo en función de listas de palabras para minería de textos aplicada a los ítems de una prueba de razonamiento a cargo de M.Ed. Danny Cerdas, M.L. Nelson Pérez y Dr. Guaner Rojas. El proyecto formula un modelo de respuesta al ítem explicativo en función de listas de palabras para minería de textos aplicada a los ítems de una prueba de razonamiento. Las listas de palabras se crean utilizando datos psicolingüísticos obtenidos de bibliografía y mediante la exploración cuantitativa de textos. El estudio permite obtener el peso de las variables de frecuencia léxica, coaparición, categoría gramatical (sustantivos, adjetivos y verbos) y nivel de abstracción de las palabras en los ítems, ya sea sobre la probabilidad de respuesta a los ítems o sobre la dificultad de las preguntas. • Proyecto 723-C1-003: Simplificación de textos en los ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica a cargo de M.L. Nelson Pérez y Dr. Guaner Rojas. El proyecto analiza los efectos del uso de textos simplificados o textos equivalentes más comprensibles para un determinado grupo en la dificultad de los ítems que miden habilidades generales de razonamiento. El diseño del estudio incluye la comparación de las dificultades de los ítems de banco en su versión original con la versión construida en texto simplificado. • Proyecto 723-C0-345: La informatividad del enunciado en ítems de razonamiento en contexto verbal de la Prueba de Aptitud Académica de la Universidad de Costa Rica a cargo de M.L. Karen Calvo, M.L. Diana Martínez, M.L. Sigrid Solano y Dr. Guaner Rojas. Informe 2019-2023 del PPPAA 12 El proyecto recaba información sobre la novedad en el contenido del ítem o la informatividad. También se determina cómo se procesa la información de los texto o enunciados de los ítems a partir del análisis del banco de preguntas de razonamiento en contexto verbal de la prueba de admisión y los reportes verbales de un grupo seleccionado de estudiantes de primer ingreso a la universidad. • Proyecto 723-C0-182: Generación de los subprocesos de resolución de ítems de la Prueba de Aptitud Académica. A cargo de M.L. Diana Martínez, M.L. Sigrid Solano, Lic. Marisela Valverde y Dr. Guaner Rojas. El proyecto utiliza como metodología la teoría fundamentada para la extracción de subprocesos de las categorías de la tabla de especificaciones de la PAA. El estudio incluye entrevistas a expertos. Las sesiones con los jueces expertos y desarrolladores de ítems se graban y se fragmentan para la recolección de evidencias de los subprocesos emergentes. • Proyecto 723-B9-274: Modelo teórico de ajustes razonables en pruebas estandarizadas a cargo de Dra. Mónica Arias, Lcda. Laura Solano y Dr. Guaner Rojas. El proyecto analiza los ajustes del diseño y juzgamiento de ítems para personas con sordera y ceguera. El enfoque de la investigación es cualitativo porque parte de la descripción, interpretación y comprensión de la interacción de significados sobre el conocimiento de las relaciones entre los criterios, los ítems y la experiencia de los participantes, para la generación del modelo teórico. Se emplea la entrevista y los procedimientos de análisis de codificación abierta y muestreo teórico. • Proyecto 723-B9-214: Conceptualización de los atributos asociados al procesamiento textual en los ítems de la Prueba de Aptitud Académica a cargo de M.L. Nelson Pérez y Dr. Guaner Rojas. El proyecto se rige por los siguientes pasos: identificación de las estructuras textuales de los ítems, la revisión bibliográfica y la verificación de la presencia de los atributos inherentes al procesamiento textual de los ítems de la PAA. • Proyecto de Acción Social ED-3544: Preparándonos para la Prueba de Admisión de la UCR: Colegios públicos con bajo ingreso a la Universidad de Costa Rica a cargo de la Dra. Eiliana Montero. El proyecto incorpora una metodología de formación de docentes de colegios académicos. La formación da la guía de cómo preparar a los estudiantes para enfrentarse a pruebas estandarizadas incluyendo una aplicación de una prueba simulada de admisión, los materiales didácticos y metodologías pedagógicas. • Proyecto de Acción Social ED-3552: Asesoría técnico-científica a la Comisión Permanente Especial de Nombramientos de la Asamblea Legislativa, en procesos de selección para puestos públicos de alto nivel a cargo de la Dra. Eiliana Montero. Informe 2019-2023 del PPPAA 13 El proyecto contribuye mediante la transferencia de herramientas y conocimientos de los procesos de selección para la utilización por la Comisión Permanente Especial de Nombramientos de la Asamblea Legislativa en la selección de personal en cargos públicos de alto nivel. • Proyecto de Acción Social ED-3565: Capacitación y asesoría a entidades públicas en el desarrollo y validación de pruebas estandarizadas a cargo de la Dra. Eiliana Montero. El proyecto brinda capacitación y asesoría a entidades públicas en aspectos técnico-científicos de la construcción y validación de pruebas estandarizadas en ámbitos educativos y laborales a las instituciones públicas que aplican pruebas estandarizadas. • Proyecto 723-B8-195: Aplicación de un modelo bifactor de la teoría de respuesta al ítem para la exploración de la estructura factorial de la Prueba de Aptitud Académica de la UCR a cargo de Dr. Guaner Rojas y M. Sc Karol Jiménez. El proyecto emplea un modelo bifactor de la teoría de respuesta al ítem para la exploración de la estructura factorial de la PAA a partir del peso relativo de cada pregunta de la prueba en el factor general de razonamiento. • Proyecto 723-B8-194: Análisis de la calidad de los ítems de elección única de la PAA según la cantidad de alternativas y el marco de los modelos politómicos de TRI a cargo de de Dr. Guaner Rojas y M.Sc. Luis Rojas El proyecto realiza un estudio de la cantidad óptima de opciones de respuesta en los ítems de la PAA mediante el modelo nominal de teoría de respuesta al ítem. El análisis contempla un estudio con un diseño de simulación y la descripción del comportamiento de los distractores de ítems de la PAA aplicada en el 2020. • Proyecto 723-B9-149: Marcación tipográfica de énfasis en los ítems de razonamiento en contextos verbales y matemáticos de la prueba de aptitud académica de la Universidad de Costa Rica a cargo de M.L. Karen Calvo, M.L. Diana Martínez, Lic. Kenner Ordóñez y Dr. Guaner Rojas. El proyecto se basa en la realización de reportes verbales de examinados que responden a una serie de preguntas de la PAA. Posteriormente se aplica una prueba piloto con dos formularios. Luego se analizan las propiedades métricas de cada formulario y se realiza un análisis con un modelo lineal mixto para capturar diferencias en la dificultad de los ítems por el uso de la negrita y subrayado de palabras. • Proyecto de Acción Social ED-3517: Preparándonos para la Prueba de Admisión de la UCR: Implementando las lecciones aprendidas a cargo de la Dra. Eiliana Montero. El proyecto incorpora una metodología de formación de docentes de colegios diurnos académicos de la gran área metropolitana. La formación da la guía de cómo preparar a los estudiantes para enfrentarse a pruebas estandarizadas incluyendo una aplicación de una prueba simulada de admisión. Informe 2019-2023 del PPPAA 14 • Proyecto de docencia IIP-1700-2019: Formación docente en evaluación del desempeño a partir de las pruebas de ingreso en artes plásticas, arquitectura y diplomado en asistente se laboratorio: validez, excelencia y equidad a cargo de la Dra. Eiliana Montero. • Actividad de investigación 723-B9-342 registrada en el INIE: Seguimiento al proyecto ED 3259 Preparándonos para la Prueba de Admisión de la UCR y lecciones aprendidas en el 2017-2018 a cargo de la Dra. Susan Francis y la Dra. Eiliana Montero. Avances del objetivo 4: Diseñar, construir, validar y aplicar la Prueba de Aptitud Académica (PAA o examen de admisión), con el fin de contar con una prueba que permita escoger a los estudiantes con mayores posibilidades de logro y éxito académico a nivel general a la Universidad de Costa Rica y controlar, en alguna medida, elevados índices de deserción. • Construcción y diseño de fórmulas de examen: los formularios del 2019 al 2023 se ensamblaron en función de las categorías de resolución de los ítems de la PAA, a saber, suponer, presuponer parafrasear, oponer, deducir, reducir, indagar, generalizar, representar y verificar. Durante el periodo 2019-2023 se aplicaron formularios de examen distribuidos para la población regular, 1 para la población con discapacidad auditiva, la cual se aplica en dos formatos: una prueba en video para la población cuya primera lengua es el LESCO y otra en papel para no usuarios LESCO, y 1 para la población con discapacidad visual, la cual se preparan dos formatos: una versión para usuarios Braille, y otra para ampliaciones de letra y con grabación de audio. • Construcción de ítems experimentales: durante el se incorporaron al banco los ítems que cumplen con los estándares de calidad en la construcción y juzgamiento. Los ítems se sometieron a un riguroso proceso de juzgamiento que incluye al menos cuatro etapas (individual, intragrupo, intergrupo y externo) de análisis cualitativo previos a la aplicación piloto. En cada etapa se abordan diferentes perspectivas con el fin de mejorar la precisión en la medición y determinar cuáles ítems son aptos para aplicarse en las fórmulas de examen. • Aplicación piloto adicional: Usualmente el Programa incorpora ítems experimentales en las aplicaciones regulares anuales de la PAA, sin embargo en el 2022 y 2023 se realizaron aplicaciones de prueba piloto alcanzando una muestra de 1610 y 1957, respectivamente de estudiantes de colegios de secundaria repartidos en instituciones de diversos lugares del país. Las aplicaciones piloto adicionales permitieron incorporar un grupo de preguntas al banco de la PAA. • Actualización del banco de ítems: los ítems del banco se revisan y actualizan cada año. Con las revisiones se identifican y garantiza que los ítems sean aptos para ser respondidos por personas con discapacidad o si los ítems representan correctamente el constructo de la Prueba. Informe 2019-2023 del PPPAA 15 CRONOGRAMA El cronograma ha sido cumplido a cabalidad a pesar de las vicisitudes y retos de la aplicación. El ciclo de la preparación de la Prueba continúa en el 2024. CONCLUSIONES Los proyectos implementados y las actividades sistemáticas establecidas en el programa garantizan el funcionamiento y la calidad del Programa y la Prueba en todas sus dimensiones tal como se refleja en parte en la tabla 1. El contar con personal capacitado con experiencia y experticia adquirida en conjunto con el apoyo de la Dirección y el Consejo Científico, permitirá que el IIP pueda contar con el prestigio actual en medición y evaluación con pruebas estandarizadas. El periodo 2019-2023 dio dos retos en la aplicación de pruebas estandarizadas: 1) aplicación de la prueba durante la pandemia de COVID-19 y 2) aplicación de la prueba en contexto de intentos de fraude por parte de la población de aspirantes. La capacidad de reacción que posee el IIP mediante el PPPAA en la aplicación de pruebas estandarizadas se materializó al aplicar la PAA en condiciones presenciales con las medidas y protocolos sanitarios durante la pandemia. El año 2020 marcará un hito en los 60 años de existencia de la Prueba puesto que se evidenció que el esfuerzo de modernización y preparación del personal a cargo de la Prueba produjo resultados de orgullo y prestigio para la Universidad. En el 2021 se continuó con el fortalecimiento de la creación de protocolos específicos para la atención de personas con discapacidad en las aplicaciones de la PAA durante la situación de pandemia por Covid-19. La implementación de los protocolos permitió direccionar de manera oportuna la atención de eventualidades y la anticipación al comportamiento de la aplicación de la Prueba para los distintos grupos de población. El proceso de aplicación de la Prueba 2022 culminó con la atención oportuna de más de sesenta mil aspirantes inscritos para realizar la PAA y cumplió a cabalidad con los intereses institucionales de redireccionar el inicio del ciclo lectivo 2023 en el mes de marzo. El 2023 trajo nuevos retos para la producción de metodología de mitigación del fraude por parte de personas aspirantes en la PAA. Además de la ardua y cuidadosa labor de aplicación de la PAA, los miembros de equipo de investigación continuaron su trabajo en los proyectos de investigación, los cuales alimentan la gestación, generación, escritura y revisión detallada de ítems con una alta inversión en tiempo, innovación y concentración. Informe 2019-2023 del PPPAA 16 CV DEL PPPAA Las siguientes páginas proporcionan información adicional del trabajo del Programa Permanente de la Prueba de Aptitud Académica. LA PAA Programa Permanente de la Prueba de Aptitud Académica Dr. Guaner Rojas, Coordinador Académico guaner.rojas@ucr.ac.cr Acerca del Programa La investigación del PPPAA se enfoca en el desarrollo e implementación de metodologías y modelos para la construcción, aplicación y análisis de pruebas estandarizadas. En investigación aplicada se dedica a la investigación empírica sobre las habilidades generales de razonamiento y los procesos de respuesta a los ítems de la Prueba de Aptitud Académica. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 1/14 Contenido Equipo de trabajo ...................................................................................................................................................... 2 Resumen de algunas acciones del recorrido del PPPAA ............................................................................................ 4 Proyectos nuevos en el 2024 .................................................................................................................................... 7 Proyectos vigentes y nuevos en el 2023 .................................................................................................................... 7 Proyectos finalizados entre el 2019 y 2022 ............................................................................................................... 7 Proyectos inscritos y finalizados entre el 2013 y 2018 .............................................................................................. 8 Proyectos inscritos y finalizados antes del 2013 ....................................................................................................... 9 Producción académica del 2010 a la fecha: artículos derivados de los proyectos inscritos y del Programa ............ 10 Producción académica publicada del 2013 al 2015 con datos de la PAA sin proyecto inscrito en el Programa ...... 11 Producción de obras profesionales publicadas del Programa ................................................................................. 12 Productos significativos del PPPAA ......................................................................................................................... 12 Trabajos finales de graduación realizados con datos generados por el PPPAA ....................................................... 13 Personas que han participado en talleres sobre la construcción y juzgamiento de ítems después del 2000 .......... 13 CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 2/14 Equipo de trabajo El PPPAA está conformado por profesionales de distintas áreas, medición y evaluación, metodología, estadística y docencia. Equipo docente actual: 1. M.Sc. Karol Jiménez (2001-) 2. Dr. Guaner Rojas (2006-) 3. M.Ed Danny Cerdas (2006-) 4. Lic. Kenner Ordóñez (2009-) 5. M.Sc. Luis Rojas (2009-) 6. M.L. Nelson Pérez (2010-) 7. M.L Karen Calvo (2013-) 8. M.L Diana Martínez (2017-) 9. Dra. Mónica Arias (2018-) 10. Lic. Marisela Valverde (2018-) 11. M.A. Sigrid Solano (2019-) 12. Lic. David Chacón (2020 -) Equipo administrativo actual: 1. Mg. Jenny Bolaños 2. M.B.A Carlos Solera 3. M.Sc. Laura Solano 4. Bach. Ninoska Pamela Prada 5. Sra. Mirania Astorga 6. Bach. Marisel Monestel 7. Sra. Rosa Víquez. 8. Lic. Andrei Fallas Equipo no permanente actual en adecuaciones: 1. Grabriela González 2. Jason Alvarado Personal que laboró en el Programa entre el 2001 y 2022: 1. Dra. Eiliana Montero 2. Lic. Guisselle Ugalde 3. Lic. Marta Brian 4. Dra. Aida Mainieri 5. M.L Armando Ríos 6. M.Sc. Lucrecia Alfaro CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 3/14 7. M.Sc. Armel Brizuela 8. M.Sc. Guido Seas 9. M.Sc. Gabriel Rivel 10. Lic. Selene Fallas 11. Bach. Sarai Morales 12. Bach. Ronulfo Morera 13. M.L Olga Marta Rodriguez 14. Lic. Jeannette Villalobos 15. Lic. Evelyn Morales 16. M.Sc. Estela Herrera. 17. Bach. Kembly Sojo Personal que laboró en el Programa antes del 2001: 1. Rosa Isabel Blanco Montero 2. Teresita Murillo Penón 3. Olga González Dobles 4. Marielos Cubero Vega 5. Elizabeth Longhi Carvajal. Experiencia del equipo La trayectoria del equipo ha permitido su participación en diversos cursos de actualización y ha dado capacitaciones a profesionales en aspectos vinculados con el desarrollo y análisis de pruebas estandarizadas. Registro de coordinadores académicos 2024- M.L. Karen Calvo 2014-2023 Dr. Guaner Rojas 2012-2014 M.Sc. Luis Rojas 2009-2012 M.Sc. Karol Jiménez 2008-2009 Lic. Selene Fallas 2006-2008 M.L. Olga Rodríguez 2004-2006 Lic. Jeannette Villalobos 2003-2004 Lic. Evelyn Morales Títulos de los proyectos y actividades: Programa 723-A3-906: Permanente de la Prueba de Aptitud Académica. Oficios IIP-051-2016 y VI-1898-2016: Vigencia hasta el 31/01/2024 PRESENTACIÓN DE INFORMES: CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 4/14 Informe Parcial: 31 de enero de 2020-2021-2022-2023. Informes Final: 31 de enero de 2024. Proyectos y actividades actualizadas al 31 de enero de 2023. Oficios IIP-21-2017, VI-2818-2017, VI-2433-2019 Resumen de algunas acciones del recorrido del PPPAA 2000 • Inicio de investigación aplicada en torno a intereses prácticos pues el marco teórico inicial no estaba claramente delimitado. • Inicio de la formación del personal en medición. 2001 • Implementación del paso de la TCT a la TRI. En TCT la varianza máxima se alcanza en 0,5 y los ítems presentan buena calidad técnica. 2004 • Eliminación del uso de la formula correctiva de azar (el NR). 2008 • Realización del análisis de funcionamiento diferencial del ítem a las pruebas aplicadas desde 1998 a 2007. A partir de ese análisis se realiza DIF bajo la TCT con Mantel-Haenszel y p estandarizada. • Realización del análisis de sensibilidad en el juzgamiento de los ítems. • Implementación de estudios de AFC para la estructura interna de la PAA. 2011 • Eliminación de las preguntas con el formato de analogías por AFE, predicción y falta de familiaridad con el formato. 2012 • Aplicación de prueba piloto para la construcción de un folleto de prácticas. 2013 • Aplicación de entrevistas a estudiantes para valorar la idoneidad de los ítems de banco con el planteamiento de nuevos procesos. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 5/14 • Realización de estudios de predicción: puntuaciones de la PAA y la nota de presentación con valores estrechamente similares sobre el logro académico. 2014 • Continuación de estudios de AFC para la estructura interna de la PAA. • Incorporación explícita de la temática de equidad en la investigación. • Planteamiento de la incorporación paulatina del desarrollo de contribuciones metodológicas 2015 • Aplicación de la PAA ensamblada con la actualización de la tabla de especificaciones a partir de 8 categorías de procesos de respuesta. • Comprobación de la dimensionalidad de la PAA con el modelo bifactor en el enfoque de modelado de ecuaciones estructurales. • Capacitación en la familiaridad con pruebas estandarizadas y su contribución al aumento de la puntuación en la PAA. El efecto de la capacitación fue de 3.5 puntos porcentuales y significativo, y se estimó utilizando un modelo bayesiano de regresión multinivel. • Incorporación de construcción de ítems orientada explícitamente al modelo de 2PL de TRI. 2016 • Revisión del total del banco de ítems para actualizar el funcionamiento para las distintas poblaciones. • Categorización del total del banco según la tabla de especificaciones generada en el 2015. 2017 • Realización de entrevistas a estudiantes para valorar la idoneidad de los ítems experimentales. • Generación de metodología de entrevistas guiadas por el experto. • Eliminación de las preguntas con el formato de completar oracione debido a que el formato no es apto en la prueba con adecuaciones para personas sordas y ciegas. Además el formato es susceptible a medir vocabulario y dominio gramatical. • Disminución de la cantidad de ítems, de 85 a 75. • Inclusión de una fórmula 8 en braille con 60 preguntas y sin ítem experimentales. 2018 • Generación de un ordenamiento de las preguntas de la PAA en orden de dificultad sin considerar la pertenencia al contexto. • Incorporación y cambio de métodos de detección de DIF: Raju, Logístico. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 6/14 • Manisfestación del proceso iniciado en el 2000 al hacerse evidentes los logros de formación del personal: 3 investigadores con Doctorado, 7 con Maestría y 2 con Licenciatura. • Implementación de cambio en el diseño de la hoja para respuestas. Se eliminan espacios innecesarios y se amplia el tamaño de la letra. • Aplicación de la PAA según el número de formula al emplear un mismo folleto por fin de semana. 2019 • Verificación de la presencia de un factor dominante de razonamiento a partir del análisis con el modelo bifactor de teoría de respuesta al ítem con datos categóricos. • Realización de análisis del funcionamiento de las opciones de respuesta con el modelo politómico de respuesta nominal de las pruebas aplicadas desde el 2012 al 2017. • Afianzamiento de la revisión de la precisión de la medida debido a que la PAA es una prueba de selección de altas consecuencias. En promedio, los ítems deben brindar mayor información en los niveles altos de la localización de examinados. • Emisión sobre la modificación de que la nota de la PAA es válida únicamente para el año en que realiza la PAA. Se emite en diciembre 2018 y rige a partir del 2019. • Continuación con la PAA en audio para personas que requieran la adecuación. 2020 • Reducción de la cantidad de opciones de respuesta. A partir del 2020 la prueba cuenta con cuatro opciones de respuesta. • Eliminación del punto de corte de 442. Se emite en febrero 2020 y rige a partir del 2021. • Reducción de la cantidad de fines de semana de aplicación. Por la pandemia se pasó a dos turnos de aplicación. • Aplicación de la PAA con adecuación de audio sin la función de una persona lectora. 2021 • Implementación de cambios en la hoja para respuestas. Se elimina la letra de la opción E. Se cambia la portada del examen. • Disminución de la cantidad de ítems, de 75 a 50. • Disminución de tiempo para realizar la PAA a 2 horas. • Actualización de estudios de predicción de la nota de la PAA en el contexto de pandemia. 2022 • Se inicia la aplicación de 8 formularios (6 para regular y 2 para adecuación). • Se incorporan mayores controles de seguridad en la aplicación para continuar con la minimización de los intentos de copia y fraude. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 7/14 • Se inicia con aplicación formal de pruebas piloto para incluir ítems directamente al banco. • Se inicia con un aplicación en un periodo corto para minimizar la exposición de las preguntas de la PAA y dar continuidad al calendario institucional. • Se solicita a la Rectoría la modificación del artículo 14 de Reglamento de Admisión por PAA. 2023 • Se aplica la PAA en dos fines de semana la mayor cantidad de pruebas para minimizar la exposición de las preguntas de la PAA. Proyectos nuevos en el 2024 1. Efecto de las variables moderadoras que resultan de la interacción entre el ítem y el sujeto en una prueba estandarizada aplicada a personas ciegas y sordas a cargo de Dra. Mónica Arias, M.Sc. Laura Solano, M.L. Nelson Pérez y Dr. Guaner Rojas. 2. Funcionamiento diferencial de los ítems de generalización de la Prueba de Aptitud Académica según género a cargo de Dr. Luis Rojas, Lic. Kenner Ordóñez, M.Sc. Karol Jiménez, Lic. Marisela Valverde y Dr. Guaner Rojas. Proyectos vigentes y nuevos en el 2023 3. Proyecto 723-C2-207: Dominio léxico y su relación con la Prueba de Aptitud Académica de la Universidad de Costa Rica a cargo de M.A. Sigrid Solano, M.L. Diana Martínez, M.L. Nelson Pérez, M.L. Karen Calvo y Dr. Guaner Rojas. Proyectos finalizados entre el 2019 y 2023 4. Proyecto 723-C1-1003: Simplificación de textos en los ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica a cargo de M.L. Nelson Pérez y Dr. Guaner Rojas. 5. Proyecto 723-C0-0345: La informatividad del enunciado en ítems de razonamiento en contexto verbal de la Prueba de Aptitud Académica de la Universidad de Costa Rica. de M.L. Karen Calvo, Diana Martínez, M.A. Sigrid Solano y Dr. Guaner Rojas. 6. Proyecto 723-C1-209: Elementos asociados a la dificultad de los ítems de razonamiento en contexto matemático en la Prueba de Aptitud Académica desde el enfoque de los modelos explicativos de respuesta al ítem a cargo de M.Sc. Luis Rojas, Lic. Kenner Ordóñez, M.Sc. Karol Jiménez, Lic. Marisela Valverde y Dr. Guaner Rojas. 7. Proyecto 723-C1-1004: Formulación de un modelo de respuesta al ítem explicativo en función de listas de palabras para minería de textos aplicada a los ítems de una prueba de razonamiento, a cargo del M.Ed. Danny Cerdas Núñez, M.L. Nelson Pérez y Dr. Guaner Rojas. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 8/14 8. Proyecto 723-B9-214: Conceptualización de los atributos asociados al procesamiento textual en los ítems de la Prueba de Aptitud Académica a cargo de M.L. Nelson Pérez y Dr. Guaner Rojas. 9. Proyecto 723-B8-195: Aplicación de un modelo bifactor de la teoría de respuesta al ítem para la exploración de la estructura factorial de la Prueba de Aptitud Académica de la UCR a cargo de Dr. Guaner Rojas y M. Sc Karol Jiménez. 10. Proyecto 723-B8-194: Análisis de la calidad de los ítems de elección única de la PAA según la cantidad de alternativas y el marco de los modelos politómicos de TRI a cargo de de Dr. Guaner Rojas y M.Sc. Luis Rojas 11. Proyecto 723-B9-274: Modelo teórico de ajustes razonables en pruebas estandarizadas a cargo de Dra. Mónica Arias, Lic. Laura Solano y Dr. Guaner Rojas. 12. Proyecto 723-C0-182: Generación de los subprocesos de resolución de ítems de la Prueba de Aptitud Académica. de M.L. Diana Martínez, M.A. Sigrid Solano, Lic. Marisela Valverde y Dr. Guaner Rojas. 13. Proyecto 723-B9-149: Marcación tipográfica de énfasis en los ítems de razonamiento en contextos verbales y matemáticos de la prueba de aptitud académica de la Universidad de Costa Rica a cargo de M.L. Karen Calvo, M.L. Diana Martínez, Lic. Kenner Ordóñez y Dr. Guaner Rojas. 14. Proyecto de Acción Social ED-3517: Preparándonos para la Prueba de Admisión de la UCR: Implementando las lecciones aprendidas a cargo de la Dra. Eiliana Montero. 15. Proyecto de Acción Social Pry01-1776-2020: Asesoría técnica en construcción de pruebas estandarizadas para la selección de personal en la Oficina de Recursos Humanos de la UCR y la Compañía Nacional de Fuerza y Luz. a cargo de la Dra. Eiliana Montero. 16. Proyecto de docencia IIP-1700-2019: Formación docente en evaluación del desempeño a partir de las pruebas de ingreso en artes plásticas, arquitectura y diplomado en asistente se laboratorio: validez, excelencia y equidad a cargo de la Dra. Eiliana Montero. 17. Actividad de investigación 723-B9-342 registrada en el INIE: Seguimiento al proyecto ED 3259 Preparándonos para la Prueba de Admisión de la UCR y lecciones aprendidas en el 2017-2018 a cargo de la Dra. Susan Francis y la Dra. Eiliana Montero. Proyectos inscritos y finalizados entre el 2013 y 2018 18. Proyecto 723-B7-319: Análisis de los reportes verbales de los ítems experimentales del área verbal de la Prueba de Aptitud Académica de la Universidad de Costa Rica, obtenidos a partir de entrevista cognitiva a cargo de M. L Karen Calvo, M.Sc. Armel, Bach. Nelson Pérez, M.L. Armando Ríos y Dr. Guaner Rojas. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 9/14 19. Proyecto 723- B6-333: Estrategias de resolución en los ítems de razonamiento en contextos verbales del banco de la Prueba de Aptitud Académica: suponer, presuponer y reducir, a cargo de M.Sc. Armel Brizuela, Bach. Nelson Pérez y Dr. Guaner Rojas 20. Proyecto 723-B5-783: Evaluación del banco de ítems de razonamiento en contexto matemático de la Prueba de Aptitud Académica de la Universidad de Costa Rica, según marco referencia de la investigación 723-B3-351 a cargo de M.Sc. Karol Jiménez, M. Sc. Luis Rojas, Bach. Kenner Ordóñez y Dr. Guaner Rojas. 21. 723-B3-351: Búsqueda de evidencias de la fundamentación teórica para la Prueba de Aptitud Académica de la Universidad de Costa Rica a cargo de M.Sc. Karol Jiménez, M.Sc. Armel Brizuela, Bach. Nelson Pérez y Dr. Guaner Rojas. 22. 723-B4-417: Asesoría técnica para la construcción de pruebas estandarizadas de conocimiento para la selección de personal profesional en el Régimen del Servicio Civil costarricense, a cargo de la Dra. Eiliana Montero Rojas. 23. Proyecto 723-B5-337: Estudios de validez de las pruebas que se realizan como requisitos especiales en la UCR, primera etapa: carreras de Diseño Gráfico, Artes Plásticas y Arquitectura a cargo de Dra. Eiliana Montero. 24. 723-B4-310: Efectos de la capacitación sobre los resultados de la PAA: un estudio cuasiexperimental a cargo de la Dra. Eiliana Montero y la Dra. Susan Francis. 25. 723-B5-771: Sistematizar datos y elaboración del artículo "Innovaciones en modelos de admisión vigentes en la educación superior: estudio de casos y estrategias de inclusión a cargo de la Dra. Aida Mainieri. Proyectos inscritos y finalizados antes del 2013 26. Proyecto 723-B2-726. Actividad de investigación sobre fuentes de dificultad de los ítems verbales de la Prueba de Aptitud Académica. Investigador: Armel Brizuela. 27. Proyecto 723-A9-754. Tabla de especificaciones para el contexto matemático de la Prueba de Aptitud Académica de la Universidad de Costa Rica mediante la aplicación del modelo de Rasch. Investigador Danny Cerdas. 28. Proyecto 723-A8-076. Análisis de la estructura subyacente de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica”. Investigadores: Dr. Mauricio Molina y Licda. Jeannette Villalobos (investigadora principal). CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 10/14 29. Proyecto 723-A8-115. Análisis del funcionamiento diferencial de los ítems en la Prueba de Aptitud Académica de la Universidad de Costa Rica desde el año 1997 hasta el año 2007. Investigadores Guaner Rojas, Selene Fallas Salazar, Danny Cerdas Núñez. 30. Proyecto 723-A5-186: Reconstrucción teórica e histórica de los fundamentos de la Prueba de Aptitud Académica. 31. Proyecto 723-A2-166. Estudio de validez predictiva de los puntajes de la PAA 1999-2000. Investigadores: Karol Jiménez y Evelyn Morales. 32. Proyecto 723-A2-165. Destrezas cognoscitivas en los estudiantes de décimo año de Educación Diversificada en la resolución de ítems de analogías”. Investigadoras M.L. Olga Marta Rodríguez Jiménez, Bach. Selene Fallas Salazar, Bach. Sarai Morales Garay. Producción académica del 2010 a la fecha: artículos derivados de los proyectos inscritos y del Programa Publicados y en revisión a partir de proyecto inscrito Rojas, L., Jiménez, K., Ordóñez, K., Valverde, M. & Rojas, G. (2023). Procesos de razonamiento en contexto matemático: caracterización y aporte a la dificultad de los ítems. Revista de Investigación y Evaluación Educativa. 10(2), 8-23. https://doi.org/10.47554/revie.vol10.num2.2023.pp8-23 Calvo, K., Rojas, G., Martínez, D., Solano, S. (2023). Marcación tipográfica de énfasis en ítems de razonamiento de una prueba de admisión. Arias, M., Solano, L., & Rojas, G. (2023). Análisis de idoneidad de un banco de ítems para personas con discapacidad auditiva y visual en una prueba estandarizada de acceso a la educación superior en Costa Rica. Actualidades Investigativas en Educación, 23(1), 1-35. http://doi.org/10.15517/ revedu.v47i1.51963 Calvo, K., Martínez, D., Pérez, N., Rojas, G. y Solano, S. (2023). Dominio léxico y relaciones semánticas: validación de vocabulario para ítems de razonamiento. Revista Educación, 47(1). http://doi.org/10.15517/ revedu.v47i1.51963 Calvo, K., Rojas, G., Pérez, N., & Ríos, A. (2019). Identificación de elementos irrelevantes para la compresión de ítems de una prueba de razonamiento. Revista Mexicana de Investigación Educativa, 24(81). Arias, M. (2019). El diseño y juzgamiento de ítems en pruebas estandarizadas de acceso a Estudios Superiores para personas con discapacidad visual: Dimensiones analíticas de un modelo teórico de ajustes razonables. REIRE Revista d’Innovació i Recerca en Educació, 12(2), 1–18. Jiménez, K., Rojas, G., Brizuela, A., & Pérez, N. (2018). Validación de un modelo de cuatro estrategias de resolución de ítems de razonamiento en una prueba estandarizada de selección. Revista Costarricense de Psicología, 37(1), 77-88. Brizuela, A., Pérez, N., & Rojas, G. (2018). Respuestas guiadas por el experto: validación de las inferencias basadas en los procesos de respuesta. Actualidades Investigativas en Educación, 18(3), 1-21. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 11/14 Brizuela, A., Jiménez, K., Pérez, N., & Rojas, G. (2016). Autorreportes verbales en voz alta para la identificación de procesos de razonamiento en pruebas estandarizadas. Revista Costarricense de Psicología, 35(1), 17-30. Cerdas, D; & Montero, E. (2016). Uso del modelo de Rasch para la construcción de tablas de especificaciones: propuesta metodológica aplicada a una prueba de selección universitaria. Actualidades Investigativas en Educación, 17(1). 1-16. Montero, E., Rojas, G., Negrín, M., & Francis, S. (2015). Efecto de una capacitación sobre los puntajes de la prueba de admisión de la Universidad de Costa Rica: una aproximación bayesiana. Actualidades en Psicología, 29(119), 115-130. Brizuela, A. & Montero-Rojas, E. (2013). Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva. Relieve, 19 (2). Jiménez, K. & Morales, E. (2009-2010). Validez predictiva del Promedio de Admisión de la Universidad de Costa Rica y sus componentes. Actualidades en psicología, 23-24 (110-111), 21-55. Mainieri, A. (en prensa). La Prueba de Aptitud Académica de la Universidad de Costa Rica, 1942-2010. Artículos derivados del Programa sin proyecto inscrito Rojas, L., Brizuela, A., & Rojas, G (2018). Measurement invariance as evidence of validity: the case of the academic aptitude test at the University of Costa Rica. Revista Evaluar, 18(2), 45-58. Calvo, K., Cerdas, D., Jiménez, K., Martínez, D., Ordóñez, K., Pérez, N. rojas, G., Rojas, L., Solano, S. y Valverde, M. (2022). 60 - 10 preguntas y respuestas de práctica para la PAA. SIEDIN. Rojas-Torres, L., Furlan, L., Sánchez-Rosas, J. y Rojas, G. (2022). Construcción y validación de la Escala de Afrontamiento de la Ansiedad durante los Exámenes. Ansiedad y Estrés, 28(2) 81-90. doi: 10.5093/anyes2022a9 Producción académica publicada del 2013 al 2015 con datos de la PAA sin proyecto inscrito en el Programa Rojas, L., Furlan, L., Sánchez, J., & Rojas, G (2022). Construcción y validación de la Escala de Afrontamiento de la Ansiedad durante los exámenes. Ansiedad y Estrés, 28(2), 81-90. Alfaro-Rojas, L. & Rojas, L. (2015). Desempeño de las personas con la adecuación de tiempo adicional en una prueba estandarizada. Revista Latinoamericana de Educación Inclusiva. Rojas, L. (2014). Predicción de reprobación de cursos de matemática básicos en las carreras de física, meteorología, matemática, ciencias actuariales y farmacia. Revista Electrónica Educare, 18 (3) 3- 15. Rojas, L. (2014). Evidencias de validez de la Prueba de Aptitud Académica de la Universidad de Costa Rica basadas en su estructura interna. Actualidades en Psicología, 28 (116) 15-26. Rojas, L. & Alfaro-Rojas, L. (2014). Análisis de sobrevivencia para la estimación de tiempo adicional como adecuación para la aplicación en una prueba estandarizada. Pensamiento Educativo, 51 (1) 135- 155. CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 12/14 Rojas, L. (2013). Similaridades de las carreras de Ciencias, Ciencias Económicas y Ciencias Sociales con respecto a situaciones asociadas a la equidad y la excelencia. Calidad en la Educación Superior, 4 (2), 1-20. Rojas, L. (2013). Validez predictiva de los componentes del promedio de admisión a la Universidad de Costa Rica utilizando el género y el tipo de sexo como variables control. Actualidades Investigativas en Educación, 13 (1), 24 pp. Montero, E., Castelain, T., Moreira, T., Alfaro, L., Cerdas, D., García A. & Roldán, G. (2013). Evidencias iniciales de validez de criterio de los resultados de una Prueba de razonamiento con figuras para la selección de estudiantes indígenas para la Universidad de Costa Rica y el Instituto Tecnológico de Costa Rica. Actualidades investigativas en Educación, 37(2), 103-117. Mainieri, A. (2011). La prueba de aptitud académica de la Universidad de Costa Rica para aplicantes con necesidades especiales: nuevos desarrollos. Actualidades Investigativas en Educación. 11(2), 1- 30. Producción de obras profesionales publicadas del Programa Calvo, K., Cerdas, D., Jiménez, J., Martínez, D., Ordóñez, K., Pérez, N., Rojas, G., Rojas, L., Solano, S., & Valverde, M. (2023). 60-10 preguntas y respuestas de práctica para la Prueba de Aptitud Académica. Editorial UCR, Costa Rica. Arias, M., Calvo, K., Cerdas, D., Jiménez, J., Martínez, D., Ordóñez, K., Pérez, N., Rojas, G., Rojas, L., Solano, L., Solano, S., & Valverde, M. (2021). Práctica para la Prueba de Aptitud Académica. Programa Permanente de la Prueba de Aptitud Académica del Instituto de Investigaciones Psicológicas, UCR, Costa Rica. Brizuela, A., Cerdas, D., Fallas, S., Ordóñez, K., Pérez, N., Rojas, L., y Seas, G. (2015). Resolvamos la PAA. Editorial UCR, Costa Rica. Productos significativos del PPPAA 1. Folleto de práctica para la PAA 2. Instructivos de aplicación. 3. Manual de procesos de la Prueba de Aptitud Académica. 4. Lineamientos de digitación de la Prueba de Aptitud Académica 5. Guía para lectores de pruebas estandarizadas 6. Definición de adecuaciones de la Prueba de Aptitud Académica 7. Protocolo de funcionamiento y manejo responsable de información, materiales y recursos del PPPAA 8. Ensamblaje de la Prueba y tablas de especificaciones. 9. Resolvamos la PAA. 10. Suplementos en el Semanario 11. Protocolos de la logística de aplicación de la PAA CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 13/14 Trabajos finales de graduación realizados con datos generados por el PPPAA Doctorado en Educación Rojas, L. (2021). Asociación de la ansiedad ante los exámenes con la memoria de trabajo y el rendimiento en pruebas (Tesis Doctoral). Universidad de Costa Rica, San José, Costa Rica. Maestría en Estudios interdisciplinarios sobre discapacidad. Solano, L. (2022). Propuesta de criterios para construcción y juzgamiento de ítems de razonamiento para personas con condición de sordera (Tesis de Maestría). Universidad de Costa Rica, San José, Costa Rica. Alfaro, L. (2018). Estrategias empleadas por personas en condición de sordera en la resolución de ítems de la PAA de la UCR (Tesis de Maestría). Universidad de Costa Rica, San José, Costa Rica. Licenciatura en Enseñanza de la Matemática Ordóñez, K. & Solís, D (2018): Análisis del funcionamiento diferencial del ítem bajo el marco de la teoría de respuesta al ítem en la PAA de la UCR (Tesis de Licenciatura). Universidad de Costa Rica, San José, Costa Rica. Licenciatura en Psicología Araya, C. (2017). Un estudio retrospectivo de la influencia de la capacidad de memoria de trabajo y la inteligencia fluida sobre las puntuaciones de la PAA de la UCR (Tesis de Licenciatura). Universidad de Costa Rica, San José, Costa Rica. Maestría en Investigación psicológica Brizuela, A. (2013). Fuentes de dificultad de los ítems de la parte verbal de la PAA de la UCR (Tesis de Maestría). Universidad de Costa Rica, San José, Costa Rica. Maestría en Evaluación Educativa Cerdas, D. (2011). Construcción de una tabla de especificaciones de la parte matemática de la PAA de la UCR mediante la aplicación del modelo de Rasch (Tesis de Maestría). Universidad de Costa Rica, San José, Costa Rica. Personas que han participado en talleres sobre la construcción y juzgamiento de ítems después del 2000 CV del PPPAA actualizado en noviembre de 2023 por Guaner Rojas 14/14 1. Acosta Baltodano José Manuel constructor y juez 2. Alfaro Carranza Marco constructor 3. Alvarado Vega Gerardo constructor 4. Alvarado Oscar constructor 5. Arias Vega Jorge Alfonso constructor 6. Azofeifa Moya Joseph constructor 7. Blanco Benamburg Randall constructor 8. Cambronero Román Juan constructor 9. Cambronero Villalobos Santiago constructor 10. Castelain Thomas constructor 11. Castillo Víquez Ana Elena constructora 12. Castro Abarca M. Alejandra juez 13. Castro Herrera Minor constructor 14. Chacón Martínez David juez 15. Chinchilla Miranda Eugenio constructor 16. Cubero Vega Marielos constructora 17. Días Gutiérrez Elizabeth constructora 18. Díaz Madrigal María juez 19. Esquivel Patricia constructora 20. González Dobles Olga María constructora 21. Guzmán Abarca Lleana juez 22. Longhi Carvajal Elizabeth constructora 23. Malavasi Montes de Oca Coralia constructora 24. Martínez Castro Marjorie juez 25. Mena Arias Darío Alberto constructor 26. Molina Watson María Cecilia constructora 27. Mora Alvarez Silvia Elena constructora 28. Morales Valverde Allan M. constructor 29. Morera Vargas Ronulfo constructor 30. Murillo Penón Teresita constructora 31. Parra Salazar Edward constructor 32. Prado Durán William Miguel juez 33. Salas Solano Berny constructor 34. Solano Moraga Sigrid Juez 35. Laura Brenes Juez 36. Diana Chacón Juez 37. David Vallejos Juez 38. Marta Gross. Juez 39. Andrea Valerio Gómez Juez adecuaciones 40. Alexa Torres Juez adecuaciones 41. Henry Martínez Juez adecuaciones