Evaluating an esp course effectiveness through students' perceptions and improvement level: a case study with MIDEPLAN professionals

Abstract

Medir la eficacia de un curso de inglés con fines específicos (ESP por sus siglas en inglés) puede lograrse a través de diferentes medios, por ejemplo, utilizando evaluaciones de desempeño, tomando en cuenta evaluaciones del curso completadas por los estudiantes, o evaluando la producción de los alumnos. Este estudio de investigación tiene como objetivo determinar en qué medida el curso en línea de inglés para MIDEPLAN mejoró la capacidad de la población para interpretar con éxito textos escritos y auditivos en inglés con el fin de contribuir a sus funciones en el Ministerio. El curso fue diseñado para un grupo de 25 profesionales de MIDEPLAN en diferentes áreas, habiendo expresado sus necesidades y carencias. El estudio se basó en un enfoque de métodos mixto. Inicialmente, los instrumentos de recolección de datos incluyeron cuestionarios, entrevistas y una prueba de nivelación para identificar las necesidades, deseos y carencias de los estudiantes. Durante la segunda etapa del proceso, aplicamos una prueba previa y posterior al curso para medir la mejora del desempeño de los estudiantes. Además, los alumnos completaron tres formularios de evaluación del curso para obtener sus percepciones sobre varios aspectos de este. Los resultados revelaron que menos de la mitad de la población mejoró su desempeño en tareas de lectura y escucha; sin embargo, la retroalimentación proporcionada por los estudiantes mostró una percepción positiva del proceso. Finalmente, se analizó el desempeño de los participantes en las evaluaciones sumativas para determinar mejora en el desempeño y también se analizó la producción en la prueba posterior al curso para identificar efectos positivos adicionales. Al combinar todos estos aspectos, podemos decir que el curso en línea de inglés para MIDEPLAN fue eficaz en un grado satisfactorio.

Measuring the effectiveness of an ESP course could be achieved through different means, for instance, using performance assessments, taking into consideration course evaluations submitted by the students, or evaluating their production. This research study aimed to determine the extent to which the English for MIDEPLAN online course improved the population’s ability to successfully interpret written and aural input in English in order to contribute to their roles at the Ministry. The course was designed for a group of 25 MIDEPLAN professionals in different areas, having expressed their needs and lacks. The study was based on a mixed-methods approach. Initially, the data collection instruments included questionnaires, interviews, and a placement test to identify the students’ needs, wants, and lacks. During the second stage of the process, we applied a pre- and post-test to measure improvement. Additionally, students submitted three course-evaluation forms to gather their perceptions on various aspects of the course. The results revealed that less than half of the population improved their performance on reading and listening tasks; however, feedback provided by students showed a positive perception of the process. Lastly, we analyzed the students’ performance on the summative assessments to determine improvement and the students’ production on the post-test to identify additional positive effects of the treatment. When combining all these aspects, we can say that the EM online course was effective to a satisfactory degree.