Técnicas de ajuste de hiperparámetros de algoritmos de aprendizaje automático para la estimación de esfuerzo: un mapeo de literatura

Abstract

Distintos algoritmos de aprendizaje automático (ML) han sido utilizados para apoyar los procesos de estimación de esfuerzo de desarrollo del software (EES). Sin embargo, el desempeño de estos algoritmos puede verse impactado por varios factores, uno de los cuales es la escogencia de los hiperparámetros. En los últimos años, el ajuste de hiperparámetros ha surgido como un área de investigación de interés para la EES que busca optimizar el desempeño de los modelos de ML. En este trabajo, realizamos un mapeo sistemático de literatura para caracterizar las técnicas de ajuste automático de hiperparámetros de algoritmos de ML utilizados en el contexto de la EES. Presentamos los resultados de 67 estudios identificados entre el 2010 y el 2019 y clasificamos las técnicas de ajuste de hiperparámetros, los algoritmos de ML y los conjuntos de datos dónde se han aplicado. Asimismo, reportamos los retos reportados como mapa de ruta para futuras investigaciones en el área.

Different machine learning (ML) algorithms have been used to support software effort estimation (SEE) processes. However, the performance of these algorithms are sensible to multiple factors, including the choice of hyper-parameters. More recently, hyper-parameter tuning has risen as a SEE research area to improve the performance of ML models. In this paper, we perform a systematic mapping study to characterize hyper-parameter tuning techniques for ML algorithms in the context of SEE. We present the results of 67 studies identified between 2010 and 2019, and classified the hyper-parameter tuning techniques, ML algorithms, and datasets. Likewise, we reported the challenges as a roadmap for future research in the area.