UNIVERSIDAD DE COSTA RICA SISTEMA DE ESTUDIOS DE POSGRADO CONSTRUCCIÓN DE PERFILES CIUDADANOS EN LA SATISFACCIÓN CON LOS SERVICIOS PÚBLICOS Trabajo final de investigación aplicada sometida a la consideración de la Comisión del Programa de Estudios de Posgrado en Estadística para optar al grado y título de Maestría Profesional en Estadística KORINA SOFÍA QUIRÓS SOLÍS Ciudad Universitaria Rodrigo Facio, Costa Rica 2020 AGRADECIMIENTO Gracias a mi familia, profesores y amigos por motivarme y apoyarme en cada momento. ii “Este trabajo final de investigación aplicada fue aceptado por la Comisión del Programa de Estudios de Posgrado en Estadística de la Universidad de Costa Rica, como requisito parcial para optar al grado y título de Maestría Profesional en Estadística.” __________________________________________________________ M.Sc. Johnny Madrigal Pana Profesor Guía __________________________________________________________ M.Sc. Fernando Ramírez Hernández Lector __________________________________________________________ Dr. Guaner Rojas Rojas Lector __________________________________________________________ Korina Sofía Quirós Solís Sustentante iii TABLA DE CONTENIDO AGRADECIMIENTO ............................................................................................................ ii HOJA DE APROBACIÓN .................................................................................................... iii RESUMEN ............................................................................................................................ vi LISTA DE CUADROS ......................................................................................................... vii LISTA DE TABLAS ........................................................................................................... viii LISTA DE FIGURAS .......................................................................................................... viii LISTA DE GRÁFICOS ....................................................................................................... viii LISTA DE ABREVIATURAS .............................................................................................. ix I. INTRODUCCIÓN ............................................................................................................... 1 1.1 Planteamiento del problema .......................................................................................... 3 1.2 Objetivos ....................................................................................................................... 4 1.2.1 Objetivo general ..................................................................................................... 4 1.2.2 Objetivos específicos .............................................................................................. 4 II. MARCO TEÓRICO ........................................................................................................... 5 2.1 Conceptos de interés para la investigación ................................................................... 5 2.2 Investigaciones en torno a la satisfacción con servicios públicos ................................. 9 2.2.1 Índices para la medición de satisfacción del usuario .............................................. 9 2.2.2 Modelos para medir la calidad de los servicios .................................................... 11 2.2.3 Medición de satisfacción del usuario en servicios públicos ................................. 12 2.2.4 Medición de la satisfacción con servicios municipales ........................................ 16 2.3 Visualizaciones interactivas en R Shiny ..................................................................... 20 III. METODOLOGÍA ........................................................................................................... 22 3.1 Datos ........................................................................................................................... 22 3.2 Variables ..................................................................................................................... 22 3.3 Técnicas de análisis ..................................................................................................... 25 3.3.1 Análisis descriptivo .............................................................................................. 26 3.3.2 Análisis de dimensiones ....................................................................................... 26 3.3.3 Análisis de conglomerados ................................................................................... 31 3.3.4 Construcción de perfiles ....................................................................................... 33 iv 3.3.5 Construcción de dashboard .................................................................................. 34 3.4 Programas estadísticos ................................................................................................ 34 IV. RESULTADOS .............................................................................................................. 35 4.1 Análisis descriptivo ..................................................................................................... 35 4.2 Análisis de dimensiones .............................................................................................. 37 4.2.1 Comparación de modelos ..................................................................................... 39 4.2.2 Estimación del modelo ......................................................................................... 41 4.2.3 Construcción de componentes .............................................................................. 43 4.3 Análisis de conglomerados ......................................................................................... 44 4.3.1 Variables de interés .............................................................................................. 44 4.3.2 Selección de la cantidad de grupos ....................................................................... 45 4.3.3 Grupo seleccionado .............................................................................................. 48 4.4 Construcción de perfiles .............................................................................................. 48 4.4.1 Análisis general .................................................................................................... 48 4.4.2 Análisis correspondencia múltiple ....................................................................... 51 4.5 Dashboard ................................................................................................................... 55 V. CONCLUSIONES Y RECOMEDACIONES ................................................................. 61 BIBLIOGRAFÍA .................................................................................................................. 63 ANEXOS .............................................................................................................................. 71 v RESUMEN El objetivo de la presente investigación es construir perfiles de satisfacción ciudadana con los servicios públicos municipales por medio de los resultados de la Encuesta Nacional de Percepción de Servicios Públicos (ENPSP) 2018, encuesta elaborada por la Contraloría General de la República de Costa Rica (CGR) para contar con información que permita establecer y direccionar acciones y políticas que logren mejorar el acceso a servicios eficientes y de calidad. En primer lugar, se realiza un análisis exploratorio de las variables de interés con base en cinco variables sociodemográficas: sexo, condición laboral, grupos de edad, nivel educativo y nivel socioeconómico, así como once variables de satisfacción con los servicios municipales. Como resultado se identifica que los servicios con menor satisfacción ciudadana son parqueos públicos, alcantarillado para aguas negras y para agua de lluvias. Posteriormente, se realiza un Análisis Factorial Confirmatorio (AFC), con el fin de validar una estructura de satisfacción ciudadana compuesta por dos factores: escala de servicios de limpieza y escala de servicios de infraestructura. Los resultados del AFC permiten validar la estructura factorial planteada. Seguidamente, se realiza un análisis de conglomerados (k-medias) usando las escalas validadas y se segmenta a la ciudadanía de acuerdo con la satisfacción mostrada. Los resultados sugieren usar dos grupos (k=2): el primero compuesto por ciudadanos satisfechos y el segundo por ciudadanos insatisfechos. Por último, se perfila o describe a la ciudadanía ubicada en cada uno de los conglomerados. Para esta etapa se realiza el contraste de medias entre la muestra total y los ciudadanos ubicados en cada segmento; además, como complemento, se utiliza el análisis de correspondencia múltiple, el cual permite estudiar relaciones entre categorías por medio de una visualización gráfica. Los resultados muestran que las variables educación, edad, nivel socioeconómico y percepción del trabajo municipal permiten diferenciar entre el grupo de ciudadanos satisfechos e insatisfechos. vi LISTA DE CUADROS Cuadro 1 Distribución porcentual por servicio según brinda el servicio, realiza estudios y calificación del usuario ......................................................................................................... 19 Cuadro 2 Distribución porcentual por variable según escala de respuesta ........................... 23 Cuadro 3 Características sociodemográficas de la Encuesta Nacional de Percepción de Servicios Públicos 2018 ........................................................................................................ 36 Cuadro 4 Media, desviación estándar, mediana, mínimo y máximo por ítem ..................... 37 Cuadro 5 Matriz de correlaciones y desviación estándar de variables observadas .............. 38 Cuadro 6 Medidas de ajuste global según modelo ............................................................... 40 Cuadro 7 Test razón de verosimilitud entre modelos anidados ............................................ 41 Cuadro 8 Estimación del modelo, estimación estandarizada y no estandarizada ................. 41 Cuadro 9 Matriz de variancias y covariancias observada y estimada del modelo de dos factores .................................................................................................................................. 43 Cuadro 10 Alpha de Cronbach según variable latente ......................................................... 44 Cuadro 11 Estadísticas descriptivas de dimensiones de satisfacción ciudadana con servicios municipales ........................................................................................................................... 44 Cuadro 12 Razón de correlación (ETA) entre grupo e indicador ......................................... 47 Cuadro 13 Centroides en las escalas de limpieza e infraestructura, según la cantidad de grupos a construir .................................................................................................................. 47 Cuadro 14 Centros de los conglomerados finales y número de casos en cada conglomerado, k=2 ............................................................................................................... 48 Cuadro 15 Perfil sociodemográfico, estimador de media e intervalos de confianza ............ 49 Cuadro 16 Prueba chi-cuadrado de independencia entre pares de variables ........................ 51 Cuadro 17 Valores propios y porcentaje de variancia explicada según dimensión .............. 52 Cuadro 18 Correlación eta cuadrado de variables con dimensiones ................................... 53 vii LISTA DE TABLAS Tabla 1. Variables independientes utilizadas en la imputación de valores faltantes ............ 24 Tabla 2. Factores latentes y variables observadas según modelo ........................................ 28 LISTA DE FIGURAS Figura 1. Diagrama de trayectoria para modelos con análisis factorial confirmatorio sin errores de medición correlacionados .................................................................................... 39 Figura 2. Solución estimada estandarizada del modelo de dos factores para explicar la satisfacción con servicios públicos municipales de Costa Rica 2019 .................................. 42 Figura 3 Esquema de análisis Shiny Dashboard ................................................................... 56 Figura 4 Sección de descripción, Shiny Dashboard ............................................................ 57 Figura 5 Sección de análisis descriptivo, Shiny Dashboard ................................................ 57 Figura 6 Sección de análisis de dimensiones, Shiny Dashboard .......................................... 58 Figura 7 Sección de análisis de conglomerados, Shiny Dashboard ..................................... 59 Figura 8 Sección de análisis de perfiles, Shiny Dashboard ................................................. 60 LISTA DE GRÁFICOS Gráfico 1 Distribución de variables posterior a la imputación ............................................. 26 Gráfico 2. Distribución de dimensiones de la satisfacción ciudadana con servicios municipales ........................................................................................................................... 45 Gráfico 3. Número óptimo de grupos según método de GAP y Silueta .............................. 46 Gráfico 4. Codo de Jambú: inercia intra clase, según cantidad de grupos ........................... 46 Gráfico 5. Perfil sociodemográfico según muestra total y conglomerados ......................... 50 Gráfico 6. Calidad de la representación (cos2) según categoría para dimensiones 1 y 2 ..... 52 Gráfico 7. Análisis de Correspondencia Múltiple, representación de categorías de variables. ............................................................................................................................... 54 viii LISTA DE ABREVIATURAS ACSI American Customer Satisfaction Index BID Banco Internacional de Desarrollo CGR Contraloría General de la República de Costa Rica ICCS Institute for Citizen Centred Service MIDEPLAN Ministerio de Planificación Nacional y Política Económica ix x 1 I. INTRODUCCIÓN En la actualidad, existe un interés creciente por parte de la ciudadanía sobre el quehacer de las instituciones públicas, lo que a nivel global genera distintas acciones y políticas para una administración más eficiente y de calidad, y esto permite visualizar ciudadanos más satisfechos con los servicios públicos que reciben. Según el Banco Internacional de Desarrollo (BID) (2015), se conoce muy poco acerca de la calidad de los servicios públicos y el nivel de satisfacción de los ciudadanos, aunque en términos generales se señala que los ciudadanos latinoamericanos están poco satisfechos. En Costa Rica, el ordenamiento constitucional especifica principios como la eficiencia y la eficacia para procurar el derecho fundamental de la ciudadanía a recibir un buen funcionamiento en los servicios públicos. Con respecto a esto, la Sala Constitucional dispone en diversas sentencias sobre la eficiencia y la eficacia, para lo que indica: De acuerdo con estos dos principios que informan la organización y función administrativas, las administraciones públicas deben prestar servicios públicos de buena calidad con altos estándares para la debida satisfacción de las necesidades de los administrados que son sus destinatarios y ejercer cumplida y normalmente sus competencias. La eficiencia y la eficacia son, entonces, obligaciones o imperativos constitucionales que, necesariamente, obligan a los entes públicos a actuar responsablemente en el ejercicio de la función administrativa en sus diversas manifestaciones (actuaciones materiales o técnicas y actividad formal).1 Comúnmente, al profundizar el estudio de la eficiencia en la gestión pública, el enfoque se concentra en el gasto de recursos; sin embargo, planteamientos recientes hacen notar los riesgos de no incluir la percepción de la ciudadanía, pues aunque se puede dar un uso eficiente de los recursos, no generan valor público. Por lo tanto, la gestión debe considerar no solo aspectos de uso eficiente de los recursos, sino también la percepción ciudadana en aspectos como costo y tiempo de acceso a un servicio (CGR, 2018). 1 Ver Voto N.o 2004-07532 de las 17:03 minutos del 13 de julio de 2004. 2 Por otra parte, bajo el contexto de un alto déficit fiscal, el estudio de eficiencia en servicios públicos toma relevancia, pues de no tomarse acciones correctivas se podrá seguir observando un aumento en el endeudamiento público (CGR, 2018). Además, la CGR, desde su función de garantizar a la sociedad costarricense la vigilancia efectiva de la Hacienda Pública, busca incrementar la eficiencia en la gestión pública priorizando acciones de fiscalización integral dirigidas a mejorar la gestión del servicio público, para una mejor satisfacción del interés colectivo (Plan Estratégico Institucional 2013-2020). En este sentido, la CGR define servicios críticos y de mayor relevancia para los usuarios en los que busca generar cambios con un enfoque de eficiencia; entre ellos están los servicios de salud, educación, servicios básicos (agua, electricidad y combustible), seguridad y servicios municipales. La institución desarrolla distintas acciones que permiten conocer el estado actual, así como la evolución de los servicios públicos, entre las que puede mencionarse la aplicación de las Encuestas Nacionales de Eficiencia de los Servicios Públicos 2015 y 2018 (ENPSP), auditorías en temáticas concretas, Índice de Gestión Institucional (IGI), Índice de Gestión Municipal (IGM), entre otras. Específicamente, en el caso de los servicios municipales, la ciudadanía tiene mayor cercanía, por lo que podría indicar con mayor efectividad si se encuentra o no satisfecha. En relación con estas percepciones, a nivel latinoamericano, según el estudio de Montalvo (2009) Perspectivas desde el Barómetro de las Américas: 2009, al consultar por el nivel de satisfacción con los servicios municipales, Costa Rica se ubica en el puesto número 11 con 50,6 puntos en promedio (escala de 100 puntos). En este estudio participaron 22 países, Brasil obtuvo la percepción más satisfactoria (58,2) y Jamaica posee la ciudadanía menos satisfecha (37,0). En el contexto nacional, el Índice de Gestión Municipal (IGM), realizado anualmente por la CGR, refleja indicadores relacionados con el desarrollo y gestión institucional, la planificación, participación ciudadana y rendición de cuentas; la gestión de desarrollo ambiental; la gestión de servicios económicos (gestión vial) y la gestión de servicios sociales. Según resultados del IGM 2017, la calificación promedio de las 81 municipalidades evaluadas fue de 60,56 de 100 puntos posibles, lo que vislumbra un espacio para mejorar. En relación con estos resultados, la Unión Nacional de Gobiernos Locales (UNGL) (2018) 3 reconoce que municipalidades en rezago deben mejorar, ya que esto se traduce en debilidades para gestionar la prestación de servicios públicos (aseo de vías, parques y obras de ornato, recolección y depósito y tratamiento de residuos). La satisfacción de la ciudadanía es un componente que promueve el desarrollo; sin embargo, tal como señala el BID (2015), no existe una medición estándar de la calidad con la que se prestan los servicios, satisfacción ciudadana y tampoco de factores determinantes de dicha calidad y satisfacción. Los servicios proporcionados por el gobierno son críticos, ya que afectan la vida y el bienestar de la ciudadanía, de tal forma que generar insumos alrededor de esta temática permitirá encontrar puntos de mejora que puedan verse reflejados en soluciones, así como en el mejoramiento de los servicios y finalmente impactando las condiciones sociales, económicas, políticas y mejorando la calidad de vida de las personas. La percepción de la ciudadanía hacia los servicios públicos puede verse afectada por las características de las personas, así como por el tipo de servicio que se evalúa. Por lo tanto, en un contexto donde las demandas ciudadanas cambian constantemente, esta investigación busca obtener insumos para identificar la satisfacción de las personas usuarias de servicios públicos municipales, de modo que las estrategias a plantear tomen en cuenta las distintas características sociodemográficas, así como tipos de servicios de interés. Los resultados obtenidos pretenden orientar la toma de decisiones y el establecimiento de políticas en necesidades puntuales de los usuarios, ya que, por ejemplo, personas jóvenes podrían tener necesidades concretas y diferentes a las de un adulto mayor, y así mismo para distintas características del usuario. Desde el punto de vista académico, la investigación permite obtener un insumo para la medición y análisis de la satisfacción con servicios municipales, por lo que se plantea una propuesta para construir perfiles de satisfacción ciudadana con los servicios públicos recibidos, a partir de las percepciones de la ciudadanía, con el uso de técnicas de análisis multivariado y visualizaciones. 1.1 Planteamiento del problema Este estudio se plantea la siguiente interrogante: ¿Cómo identificar perfiles o agrupaciones de la ciudadanía en Costa Rica según su satisfacción con los servicios municipales recibidos? 4 1.2 Objetivos 1.2.1 Objetivo general Para la presente investigación se planteó como objetivo general construir perfiles de satisfacción ciudadana con los servicios públicos municipales recibidos, a partir de técnicas de análisis multivariado y visualizaciones, con el fin de enfocar estrategias de acción para mejorarlos. 1.2.2 Objetivos específicos 1. Describir la percepción general de la ciudadanía con respecto a los servicios recibidos. 2. Crear perfiles de satisfacción ciudadana a partir de técnicas de análisis multivariado. 3. Crear un dashboard en R para visualizar perfiles a partir de las técnicas multivariadas, con el fin de facilitar la interacción con los resultados obtenidos. El presente documento se divide en cinco apartados. Aparte de la introducción, en el segundo se detalla el marco metodológico adoptado para realizar la investigación. En el tercero se describe la metodología utilizada para realizar el estudio: fuente de datos, variables y técnicas de análisis. El cuarto apartado describe los principales resultados: análisis descriptivo de las características de la ENPSP 2018, análisis de dimensiones de la satisfacción con servicios municipales, análisis de conglomerados, creación de perfiles y uso de dashboard en R. El quinto muestra las principales conclusiones y recomendaciones obtenidas del estudio. 5 II. MARCO TEÓRICO En esta sección se enmarcan algunos conceptos relevantes para la investigación y se revisan algunos estudios realizados alrededor del tema de la satisfacción ciudadana con los servicios públicos. 2.1 Conceptos de interés para la investigación Los servicios públicos hacen referencia a los servicios que brinda el estado, con el fin de satisfacer sus necesidades. Stanton, Etzel y Walker (1991) señalan, adicionalmente, que los servicios son actividades identificables e intangibles. Específicamente, los servicios municipales son aquellos servicios prestados a la comunidad por gobiernos locales que, en el caso de Costa Rica, están dirigidos por las municipalidades. Antúnez y Galilea (2003) mencionan que estos se pueden clasificar en dos tipos: de carácter esencial (agua y alcantarillado) y servicios de desarrollo y fomento. Para el adecuado funcionamiento de estos servicios públicos, es relevante tomar en cuenta algunas características específicas que influyen sobre su gestión. Speller & Ghobadian (1993) y López y Gadea (2001) mencionan las siguientes:  El objetivo final de un servicio público es maximizar el interés general.  Las Administraciones Públicas deben garantizar la igualdad y la equidad en los servicios públicos.  Las Administraciones Públicas proporcionan una gran variedad de servicios, donde se podrá encontrar distintos intereses y expectativas interactuando.  Con respecto a su flujo de trabajo, los servicios públicos son más difíciles de entender que los servicios privados, es por esto que son más difíciles de medir, controlar e incluso de automatizar.  La confianza y fiabilidad deben estar presentes desde su diseño, y adicional a esto, debe favorecer la participación de la ciudadanía, principalmente dentro de los procesos de mejora. 6 En relación con estas características de gestión, distintas investigaciones enfocan su análisis en la eficiencia y la calidad con se brindan los servicios públicos y ambos aspectos pueden ser planteados desde diferentes perspectivas, según sea su interés. En este sentido, la eficiencia puede ser vista desde dos enfoques: 1) desde la utilización de los recursos y 2) desde la perspectiva de los usuarios (Modig & Ahlström, 2012). El enfoque de los recursos se relaciona con la posibilidad de maximizar el uso de los recursos disponibles y el enfoque del usuario hace referencia a la satisfacción de los usuarios con los servicios que recibe, tomando en cuenta sus necesidades y expectativas. Por otro lado, sobre el componente de la calidad, este posee una amplia cantidad de definiciones. Reeves & Bednar (1994) proponen las siguientes: 1) grado de conformidad de un producto o servicio según lo especificado, 2) grado de adecuación de un producto o servicio al fin o propósito que los clientes desean tener y 3) grado de superioridad de un producto con respecto a otro que busca satisfacer la misma necesidad. En este sentido eficiencia y calidad se encuentran estrechamente relacionadas y ambos conceptos poseen un componente asociado el usuario que recibe los servicios (Gilmore y De Moraes, 1996). Además, aunque pueden estar presentes en diferente medida dentro de un servicio, un escenario deseado promueve tanto el uso eficiente de los recursos como estándares de calidad aceptables; es decir, un balance entre ambos compontes (Jiménez, 2004). En esta investigación se utilizará el concepto de servicios públicos eficientes y de calidad, relacionados con la satisfacción de los usuarios. Desde este enfoque se busca el mayor cumplimiento de las necesidades de los usuarios, considerando lo que es crítico o indispensable para estos. Es importante señalar que estudiar la satisfacción de la ciudadanía sobre los servicios públicos puede resultar un trabajo complejo, ya que los servicios poseen ciertas características que hacen más compleja la evaluación de expectativas y percepciones ciudadanas si se compara con la evaluación de productos. Los servicios son intangibles, son complejos, involucran varios factores que afectan su calidad, poseen la simultaneidad entre su producción y consumo, existe heterogeneidad entre servicios, entre otros aspectos que 7 aumentan su dificultad al ser objeto de evaluación (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios, 2009). La satisfacción del usuario hace referencia al grado en que se cubren las necesidades, expectativas o demandas (BID, 2015). En relación con esto, el Institute for Citizen Centred Service (ICCS) (s.f.) señala que la satisfacción ciudadana con los servicios públicos puede verse afectada por cinco impulsores: puntualidad en el servicio o respuesta, conocimiento y competencia del personal, amabilidad del personal, trato justo y lograr los resultados que se necesitaban. Estos cinco son impulsores clave en la satisfacción del ciudadano. Los factores mencionados pueden hacer la diferencia entre percepciones positivas o negativas sobre un servicio público, ya que por ejemplo un usuario que haya recibido un trato injusto durante el uso de un servicio público podría manifestar una menor satisfacción incluso al referirse a otros servicios. Además de los impulsores clave de la satisfacción, distintas investigaciones apuntan a que las variables socioeconómicas y demográficas afectan la satisfacción de los usuarios. Frey y Stutzer (2002) señalan que algunas de las variables que afectan la satisfacción son: edad (personas jóvenes y personas mayores presentan mayor satisfacción en comparación con personas de edad media, entre 30 y 35 años), sexo (las mujeres reportan una satisfacción levemente mayor en comparación con los hombres), estado civil (las parejas, ya sea con hijos o sin hijos, están más satisfechos que los solteros), nacionalidad (los extranjeros reportan mejor satisfacción que los nacionales), nivel educativo (afecta positivamente la satisfacción) y la salud (afecta negativamente). Distintas investigaciones asocian el concepto de satisfacción con la relación entre calidad percibida y expectativas previas (BID, 2015). Además, se relaciona la sensación de placer y alivio con una mezcla de experiencias positivas y negativas (Xue y Yang, 2008), o bien, con el paradigma de expectativas-disconformidad (Oliver, Rust & Varki, 1997). En términos generales, estas conceptualizaciones apuntan a definir la satisfacción como la diferencia encontrada por el usuario entre lo que espera (expectativas) versus lo que percibe o experimenta en la realidad (calidad percibida), por lo que las expectativas son un punto de partida al estudiar la satisfacción del usuario. 8 Las expectativas de la ciudadanía pueden verse afectadas por diversos factores. El Ministerio de la Presidencia de España (2009) menciona que antiguas experiencias influyen sobre las expectativas. Además, toma en cuenta las necesidades del usuario según su contexto, sus características y la imagen que tiene sobre la entidad que presta el servicio. En este sentido, la imagen puede estar formada por la comunicación que realiza la entidad en aspectos físicos como el edificio, entre otros. Por lo tanto, cuando un usuario percibe una amplia diferencia entre lo esperado y la realidad, surge la insatisfacción; algunos autores señalan puntos clave que muestran una desconexión entre las acciones del estado y las necesidades o expectativas de sus usuarios. Akgul (2012) señala que la insatisfacción de los ciudadanos surge cuando sus preferencias no se reflejan en políticas públicas, en la desaceleración de la productividad y en la relación entre gobernantes locales y terceras personas; es decir, no se visualiza una participación ciudadana en un proceso de toma de decisiones. Por su parte, Van de Walle (2018) señala como factor relevante la visión que tienen los ciudadanos de los políticos, del Estado o de las propias administraciones públicas. Dados estos factores “[…] los ciudadanos emplean sus percepciones sobre la corrupción en los gobiernos municipales y sus experiencias con funcionarios o trabajadores públicos (donde hubo o no prácticas de corrupción), para evaluar la satisfacción con los servicios” (Córdova y Ponce, 2017, p. 235). Sin bien es cierto que al estudiar la satisfacción ciudadana se está considerando un aspecto subjetivo, la evaluación de los servicios públicos debe darse no solo en función de eficiencia y calidad, considerando su rendimiento económico y funcionamiento, sino también desde la visión del ciudadano. Cada día la ciudadanía tiene mayor formación, tiene más acceso a la información, es más activa y participa más, por lo que es necesario obtener, analizar y tomar en cuenta las expectativas, percepciones, demandas y niveles de satisfacción que los ciudadanos tienen sobre los servicios (Jaráiz y Pereira, 2014). Finalmente, dado que existen múltiples factores que pueden afectar la satisfacción ciudadana sobre los servicios públicos, la segmentación o realización de perfiles de usuarios con respecto a esta pretende detallar necesidades y características que permitan conocer quiénes son los usuarios (por medio de características sociodemográficas, por ejemplo), sus comportamientos y sus actitudes y necesidades. La creación de perfiles, por lo tanto, es un 9 insumo de enfoque al usuario, que puede ser utilizado por la entidad en su proceso estratégico y de funcionamiento (Thijs, 2011). 2.2 Investigaciones en torno a la satisfacción con servicios públicos Al estudiar la satisfacción de los usuarios de servicios públicos, se han propuesto distintas metodologías y en esta sección se presentan algunas de ellas. En primer lugar, se detallan algunos de los índices más reconocidos para la medición de la satisfacción de usuarios. Estos han sido implementados en diferentes países y cada uno de ellos incorpora diferentes componentes. En segundo lugar, se presentan cuatro modelos para medir la calidad de los servicios; dichos modelos contienen elementos relacionados con la percepción y satisfacción del usuario. Finalmente, se exponen tanto estudios internacionales como nacionales para medir la satisfacción de los usuarios, con servicios públicos en general (tercera sección) y específicamente con servicios municipales (cuarta sección). 2.2.1 Índices para la medición de satisfacción del usuario En relación con los índices para medir la satisfacción del usuario, a nivel internacional, desde 1970 se han realizado diversas investigaciones. Algunos de los estudios más reconocidos y enfocados en medir esta satisfacción, en el sector público y privado, son el Barómetro Sueco de Satisfacción del Cliente (SCSB, por sus siglas en inglés), Barómetro del Cliente Noruego (NCSB), Índice Suizo de Satisfacción del Cliente (SWICS), el Índice de Satisfacción del Cliente Europeo (ECSI) y el Índice de Satisfacción del Cliente Estadounidense American (ACSI). Los índices mencionados anteriormente (SCSB, ACSI, NCSB, SWICS y ECSI) plantean el análisis de la satisfacción de los usuarios en términos de modelos de causa y efecto. Estos modelos contienen variables latentes, o no observables, como imagen, calidad percibida, satisfacción y lealtad. En el caso de los modelos suecos, americanos y europeos, se utilizan modelos como el de mínimos cuadrados parciales (PLS) (procedimiento iterativo de estimación que integra componentes principales con regresión múltiple). En el caso particular de ACSI, todos sus indicadores son reflexivos de variables latentes, se aplica un procedimiento para cada subconjunto y se extrae el primer componente principal para las 10 diferentes variables latentes. Posteriormente, los componentes son incluidos dentro de un sistema de regresión. Por otro lado, el análisis de la estructura de covarianza toma en cuenta la puntuación real: el énfasis está en entender las covarianzas o las relaciones entre variables no observables (Johnson, Gustafsson, Wallin, Lervik & Cha, 2001). El modelo SCSB (Fornell, 1992) estudia la percepción del servicio a partir de dos componentes principales: las percepciones de la experiencia de desempeño de un cliente con un producto o servicio y las expectativas de los clientes con respecto a ese desempeño. Analiza la calidad del servicio a partir de lo experimentado por el usuario y plantea un modelo de ecuaciones estructurales, donde la satisfacción es la variable central y esta se relaciona con un conjunto de variables tanto antecedentes como consecuencias. El modelo ACSI, desarrollado en 1994, busca conocer una medida de satisfacción general del cliente, toma en cuenta expectativas, calidad percibida y valor. Este índice ha sido aplicado durante décadas en todos los sectores de servicios de Estados Unidos. Los puntajes de satisfacción son reportados en una escala de 0 a 100, donde finalmente se plantea un modelo estructural de causa y efecto, basado en índices para los impulsores de satisfacción (expectativas del cliente, calidad percibida y valor percibido) y resultados de satisfacción (quejas de los clientes y lealtad de los clientes, incluida la retención de clientes y la tolerancia de precios) (ACSI, 2020). El índice noruego NCSB, desarrollado en su primera versión en 1998, es similar al planteado por ACSI; sin embargo, incorpora dos componentes adicionales: el compromiso del usuario con la organización y la imagen corporativa; es decir, la imagen que tenga el usuario del ente brindador del servicio afectará la satisfacción que este percibe (Ospina y Gil, 2011). El SWICS fue desarrollado inicialmente en 1996 y en comparación con el modelo ACSI incluye las variables latentes denominadas diálogo con el usuario y lealtad. El diálogo es medido a partir de tres variables concretas: voluntad a contactar a la compañía con el objetivo de comunicarse, facilidad de diálogo con el usuario y satisfacción del diálogo. Por otro lado, la lealtad del cliente se mide por medio de: 1) intención de recomendar el producto, 2) intención de comprar otra vez y 3) la intención de cambiar de empresa o proveedor. Para 11 medir cada uno de los indicadores se utiliza una escala de 0 a 10, donde 0 indica “no satisfecho en absoluto” y 10 “totalmente satisfecho” (Bruhn & Grund, 2000). El ECSI estudia la satisfacción del cliente con la calidad del servicio; busca confirmar o desconfirmar las expectativas por medio de un nivel general de satisfacción explicando las relaciones de causalidad. Entre sus componentes considera expectativas, calidad percibida, valor del servicio, satisfacción del cliente y lealtad del cliente (Rodríguez, Cogco, Islas, Herrera, Alfonso, Pérez, Canales, Marcelino, 2012). 2.2.2 Modelos para medir la calidad de los servicios Por otro lado, con respecto a los modelos específicos para la medición de calidad de los servicios, estos incorporan elementos de satisfacción del usuario y entre ellos se encuentran: la Escuela Nórdica, SERVQUAL, SERVPERT y CMT; las diferencias entre ellos se dan a partir de las dimensiones y características que toman en cuenta. El modelo de Escuela Nórdica fue planteado por Grönroos (1944, 1988) y considera la calidad percibida del cliente desde dos focos: 1) la calidad funcional; es decir, el servicio concreto que se da y 2) la calidad técnica, relacionada con el cómo se presta el servicio. La buena percepción de la calidad percibida se da en el tanto las expectativas como experiencias tengan concordancia entre sí (Alvarado, 2017). El método SERVQUAL, desarrollado por Parasuraman, Zeithaml & Berry (1985), estudia las estrategias y procesos que pueden ser implementados por las organizaciones con el objetivo de alcanzar un servicio de calidad. Este modelo se enfoca en estudiar las diferencias entre expectativas y percepciones de los usuarios con el fin de disminuirlas o eliminarlas. Este modelo estudia determinantes de la calidad tales como: confianza y empatía, fiabilidad, responsabilidad, capacidad de respuesta y tangibilidad (apariencia de instalaciones, personal, equipos y otros). El modelo SERVPERF (SERVice PERFormance), establecido por Cronin y Taylor (1992), es una escala reducida del modelo SERVQUAL y se basa únicamente en las percepciones; es decir, se elimina el componente de expectativas, ya que este concepto no queda claramente definido dentro del modelo SERVQUAL. Para lograrlo se plantean 22 afirmaciones 12 relacionadas con el desempeño percibido. Además, se utilizan las mismas dimensiones del modelo SERVQUAL e incluye una pregunta global para evaluar la satisfacción con el servicio (Alvarado, 2017). Finalmente, otra de las alternativas es el método de Herramienta de Mediciones Comunes o CTM (por sus siglas en inglés, Common Measurements Tool), desarrollado en 1998 y ampliamente utilizado en todo el sector público canadiense. La herramienta busca conocer, por medio de distintas preguntas, las dimensiones que conforman un servicio: expectativas de los clientes y niveles de satisfacción. Esta herramienta se basa en los impulsores clave de la satisfacción del cliente identificados a través de la investigación Citizens First y Care of Business. Además, permite a los responsables de la toma de decisiones del sector público comprender las expectativas de los clientes, evaluar los niveles de satisfacción e identificar prioridades de mejora (ICCS, s.f.). 2.2.3 Medición de satisfacción del usuario en servicios públicos En términos generales y a nivel internacional, al evaluar la satisfacción de los usuarios con servicios, y específicamente en el contexto del sector público, Van Ryzin y Del Pino (2009) destacan tres de las técnicas que más se utilizan: 1) evaluación comparativa (benchmarking), 2) el análisis de los impulsores clave (key driver analysis) y 3) el análisis de importancia o valoración (importance-performance analysis). En primer lugar, la evaluación comparativa, busca confrontar a través del tiempo los indicadores de determinada entidad (un municipio, por ejemplo) con otras administraciones similares. En segundo lugar, el análisis de los impulsores clave estudia las dimensiones de un servicio en particular e identifica cuál incide más en la satisfacción. Finalmente, el análisis de importancia o valoración busca conocer qué importancia le da el usuario a cada una de las dimensiones consideradas en el análisis de impulsores clave (Rojas, 2015). A continuación, se presentan algunas investigaciones reconocidas realizadas en torno a la satisfacción del usuario con los servicios públicos. El BID (2015) ha desarrollado investigación alrededor de las métricas de calidad y satisfacción, con el fin de que estas sean universales; es decir, aplicables a todos los servicios 13 transaccionales2 de cualquier país, considerando la calidad desde la perspectiva interna (desde la institución) y externa (percepción de los ciudadanos). Desde la visión externa se analizan cuatro variables: expectativas, satisfacción, confianza en la institución prestadora y confianza en el gobierno. Además, se estudian variables impulsoras de la satisfacción, con el fin de analizar el impacto que pueden tener sobre esta, y entre estos impulsores se consideran el proceso (tiempo, traslados, costos y utilidad), desempeño de los funcionarios y trato recibido, confort de los centros de atención e información sobre el proceso. En sus resultados, esta investigación indica que el promedio de la satisfacción regional fue de 4,8, bajo una escala de 1 a 10, donde 1 es peor y 10 es mejor. De manera similar, sobre impulsores de la satisfacción, Alemán, Gutiérrez & Liébana (2017) analizan los factores determinantes de la satisfacción con los servicios públicos en España, a partir de datos obtenidos de la Encuesta de Servicios Públicos Evaluación de la Calidad. La información es analizada mediante técnicas multivariadas como análisis factorial, con el objetivo de estudiar las interdependencias y para detectar dimensiones subyacentes, así como análisis de agrupamiento. En este estudio se utilizó la escala SERVQUAL, adaptada a los servicios públicos, para determinar los atributos o variables que contribuyen a la satisfacción. Las variables impulsoras consideradas dentro del estudio fueron: profesionalismo del personal que atiende, trato del personal, confianza en la resolución del procedimiento, información obtenida, tiempo empleado por el personal, tiempo de la administración para resolver procedimiento, horario de prestación del servicio, estado de las instalaciones y tiempo que tuvo que esperar. En otro estudio similar, Montaña, Ramírez y Ramírez (2002) evalúan la calidad de servicios públicos domiciliarios (agua, energía, teléfono y gas), por medio de la escala SERVPERF y utilizan un modelo de regresión múltiple para cada tipo de servicio, con el fin de determinar factores que influyen en la satisfacción de cada uno de ellos. La investigación buscó generar las dimensiones de calidad para cada uno de los servicios públicos estudiados por medio de análisis de factores. 2 El trámite o servicio transaccional es definido por el BID (2015) como “transacción cuyo objeto es cumplir con alguna obligación legal o solicitar un permiso, servicio o beneficio, lo que lo convierte en un condicionante para el acceso a distintos servicios, desde la identidad legal hasta la educación y la salud” (p. 20). 14 En América Latina, el Latinobarómetro, encuesta anual de opinión pública, aplicada desde 1995, y que cada vez entrevista aproximadamente a 20 000 personas de 18 países en América Latina, estudia de manera general la satisfacción con servicios de gobierno central y de gobiernos locales o municipales; es decir, la satisfacción se mide a partir de una única pregunta general para cada servicio. Plantea un índice compuesto por cinco servicios centrales y seis municipales. Para el 2011 este estudio reveló que los latinoamericanos están insatisfechos con los servicios públicos, pues la nota obtenida fue de 5,1 en una escala de 0 a 11 (Corporación Latinobarómetro, 2011). En el contexto nacional, Costa Rica ha generado distintas investigaciones enfocadas a medir la satisfacción externa de los usuarios. En términos generales, los estudios buscan conocer la percepción de sus usuarios sobre aspectos generales o concretos de los servicios públicos que se brindan. Para esto se recurre, principalmente, al uso de indicadores, construcción de índices y uso de escalas tipo Likert, entre otros. Algunos de los estudios se enfocan en describir la situación para determinados aspectos del servicio; a continuación, se mencionan algunos estudios de interés. Madrigal (2009) plantea aspectos relacionados con la satisfacción de las necesidades de los usuarios, calidad de la atención (dentro de sus calificaciones incluye: calificación de los funcionarios que atienden y calificación a la capacidad técnica de los funcionarios) y duración del servicio (calificación general del servicio en una escala de 0 a 100). La investigación se enfocó en los servicios brindados en el Registro Nacional (Ministerio de Justicia y Paz), Dirección General de Migración y Extranjería (Ministerio de Seguridad Pública), Dirección General de Servicio Civil (Ministerio de la Presidencia), Secretaría Técnica Nacional Ambiental-SETENA (Ministerio de Ambiente, Energía y Telecomunicaciones) y Ministerio de Obras Públicas y Transportes (MOPT). Campos (2017) estudia la percepción de los usuarios externos del Ministerio de Agricultura y Ganadería (MAG) por medio de un modelo que considera distintas calificaciones utilizando una escala de respuesta de 1 a 6, donde 1 es muy malo y 6 excelente. En este estudio se calificaron los servicios que brinda el MAG (en general), atención recibida (capacidades técnicas), tiempos de respuesta, capacitaciones, apoyo del ministerio al usuario y las instalaciones de la institución. 15 Araya, Calvo, Montero, Quirós y Ramírez (2013) consultaron aspectos relacionados con el servicio de abastecimiento de agua (fugas, falta de agua, altos consumos y potabilidad), mantenimiento de redes de abastecimiento hídrico, atención en oficinas (calidad de información entregada, horarios de atención, medio utilizado para brindar información), comparación en el tiempo sobre la calidad de agua, percepción sobre las características del agua (potabilidad, presión, continuidad y confiabilidad), satisfacción con atención de quejas, entre otras. La información obtenida se utilizó para describir la satisfacción de los usuarios con cada uno de los aspectos consultados y se identificaron las fortalezas y debilidades, así como los riesgos y amenazas de la oficina comercial en estudio. Abarca (2012) estudia la percepción y niveles de satisfacción de los usuarios del servicio de tren en Costa Rica, a partir de 19 ítems relacionados con frecuencia de uso, origen y destino del usuario, percepción del servicio, uso del tren respecto de otros medios, razones principales de uso del tren, recomendaciones de mejora, entre otros. La investigación concluye que hay un grado de alta satisfacción, pues el 90% tiene mención positiva. Por otro lado, González, Grant, Ulate y Yong (2018) caracterizan a los hogares de los usuarios de los servicios públicos en Costa Rica a partir de datos de la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH) en 1998, 2004 y 2010. En esta se estudian 16 servicios públicos usando análisis de conglomerados para profundizar en el análisis de los perfiles, por medio de las variables como sexo, zona, región, edad, actividad y condición de pobreza. Mayoritariamente, lo hogares costarricenses se caracterizan por utilizar al menos un servicio público regulado por Autoridad Reguladora de Servicios Públicos (ARESEP); además, en su mayoría son usuarios jefes hombres, jóvenes, con un nivel educativo bajo, ocupados, con ingresos por encima de la línea de pobreza y de zonas urbanas. Por su parte, la CGR estudia la satisfacción de los usuarios con servicios públicos (educación, salud, transporte, servicios básicos, municipales, bonos de vivienda y servicios de justicia), por medio de la ENPSP 2015 y 2018. Con esta encuesta estudia aspectos relacionados con acceso a los servicios (facilidad de acceso, tramitología, conocimiento y duración), efectividad del servicio (continuidad, calidad técnica del servicio, disponibilidad, cambio climático y tiempo de atención), funcionamiento (disposición de funcionarios, amabilidad, costo y calidad funcional del servicio). Los resultados obtenidos se utilizan como insumo 16 para la elaboración de la Memoria Anual, en donde se comparan con otros indicadores a nivel país generados por la CGR. 2.2.4 Medición de la satisfacción con servicios municipales Concretamente, en los servicios municipales se han desarrollado diferentes investigaciones que, de igual forma a las mencionadas anteriormente, buscan conocer aspectos relevantes para la ciudadanía; sin embargo, esta visión de los servicios pretende conocer una realidad más cercana para el usuario; es decir, su municipalidad. En el contexto internacional, Van Ryzin (2004) compara siete escalas, incluyendo dos medidas con un solo tema y cinco medidas con varios ítems, utilizando en todos los casos una escala de respuesta tipo Likert. Las medidas con un solo ítem buscan conocer la calificación general con los servicios prestados, así como indicar qué tan satisfecha está la persona con estos. Por otro lado, las escalas multiítem utilizadas fueron: escala ACSI (incluye una satisfacción general, una comparación con las expectativas previas y una comparación con un punto ideal), las escalas EVL (insatisfacción basada en salida del gobierno local, presentación de quejas y confianza en gobiernos locales) y EVLYN en versión de cuatro ítems (incluye además de los componentes EVL un ancla de satisfacción general) y cinco ítems (sumándole a los cuatro ítems el componente de negligencia). Finalmente, se plantearon dos escalas tipo Likert en versión corta (4 ítems positivos y 4 ítems redactados en negativo) y larga (7 ítems positivos y 7 negativos). Los resultados de los análisis de fiabilidad y validez no sugieren una ventaja clara para alguno de los 7 escenarios; las escalas se encuentran altamente relacionadas entre sí. Montalvo (2009) estudia la satisfacción ciudadana con su municipio a partir de una escala de 1 a 5, donde 1 es muy bueno y 5 pésimo; utiliza una regresión multivariada con variables socioeconómicas y sociodemográficas. Los coeficientes de las variables edad, género, riqueza individual y zona geográfica resultaron significativamente distintos de cero para explicar la satisfacción de los ciudadanos con los servicios municipales. El estudio Measuring the Satisfaction of Citizens for the Services Given by the Municipality: the case of Kirsehir Municipality (Akgul, 2012) busca determinar las diferencias en cuanto a 17 los servicios percibidos de acuerdo con las características demográficas de los ciudadanos. La recolección de información se realizó por medio de una encuesta de opinión a los usuarios del servicio. La información se recolectó en tres secciones: la primera parte se relaciona con la medición de la importancia atribuida a los servicios y determinar el comportamiento de la municipalidad; en segundo lugar, se consultó sobre expresiones relativas a la municipalidad, utilizando una escala de Likert de cinco puntos; y la tercera sección recolecta información sobre las características demográficas de los participantes. Para el análisis de la primera etapa se utilizó el método SERVQUAL y una prueba de varianza múltiple (MANOVA). De acuerdo con los resultados de los análisis, el nivel de satisfacción de los servicios del municipio varía de forma significativa de acuerdo con el distrito donde vivió, sexo, educación, estado civil y nivel de ingresos. No se encontró diferencia significativa entre los factores de edad y servicio. Orselli, Bayrakci & Kahraman (2017) estudian la satisfacción de ciudadanos con 25 servicios locales, usando una escala de respuesta de 5 niveles, donde 1 indica que el ciudadano “totalmente no es feliz” y 5 está “muy feliz”. En términos generales, se señalaron servicios con mayor y menor satisfacción; además, se comprobó que la satisfacción con algunos servicios era diferente según el género del ciudadano (las mujeres reportaron mayor satisfacción con la planificación residencial, servicios de licencias, servicios de seguro social y jubilación, servicios de inspección y disposición de tráfico y servicios de seguridad pública, en comparación con los hombres), nivel educativo (a mayor nivel educativo menor satisfacción con los servicios) y edad (a mayor edad mayor satisfacción). Por otro lado, Rojas (2015) plantea el estudio de la satisfacción con servicios municipales por medio de Modelos de Ecuaciones Estructurales (SEM, por sus siglas en inglés) utilizando el enfoque basado en la varianza (PLS-SEM). Los distintos servicios municipales según constructos (factor humano, organización de procesos, imagen, espacios físicos y calidad del servicio) son evaluados según indicadores para cada uno de ellos; posteriormente, se evalúan en una escala de 1 a 7 y se determinaron tres categorías de satisfacción: bueno (6-7 puntos), media (4-5) y mala (1-3). A nivel nacional, MIDEPLAN (2018) presenta una guía para realizar encuestas estándar de percepción y satisfacción de las personas usuarias, respecto a los bienes o servicios públicos 18 recibidos, esto con el fin de ofrecer un insumo de referencia para las Contralorías de Servicios de Costa Rica. Como insumo esta entidad propone un cuestionario para la evaluación de 30 diferentes aspectos relacionados con la calidad del servicio, en una escala de 1 a 5, donde 1 es deficiente y 5 es excelente; además, incluye una sección de información sociodemográfica. Tal como se mencionó anteriormente, la CGR genera anualmente el Índice de Gestión Municipal (IGM), herramienta que contiene el Sistema Integrado de Información Municipal (SIIM). Este insumo permite establecer parámetros a considerar por parte de los gobiernos locales, con el fin de medir su eficiencia en la ejecución financiera, control interno y calidad de labor, proyección hacia sus administrados, rendición de cuentas y desarrollo integral. A través de este, la CGR ha recomendado a las municipalidades medir la satisfacción de sus usuarios respecto a los servicios y obras que tiene a cargo. Anualmente, cada municipalidad llena una herramienta y según el SIIM considera 19 servicios municipales, bajos los cuales se reporta si se brinda el servicio, si se han realizado estudios sobre este, año de realización de estudio y resultado del estudio en términos de excelente, bueno, regular o malo. En términos generales para cada servicio, se puede observar que en la mayoría de municipalidades no se realizan estudios sobre la satisfacción de las personas usuarias. Particularmente, en el 2017, el 98,8% de las municipalidades reportaron brindar el servicio de recolección de basura y de estas 81,5% indica haber realizado estudios para medir la satisfacción de los usuarios: 33,0% calificó como excelente el servicio; 59,0%, como bueno; y 7,0%, como regular. Por otro lado, otro de los servicios más brindados por las municipalidades es el servicio de depósito y tratamiento de residuos; sin embargo, 62,0% reporta haber realizado estudios de satisfacción de sus usuarios; la información detallada para cada uno de los servicios se muestra en el cuadro 1. Esta información permite conocer el escenario bajo el cual se encuentran las distintas municipalidades, así como realizar comparaciones del comportamiento a través del tiempo o entre municipalidades. Sin embargo, dada la solicitud del SIIM, no se observan análisis a mayor profundidad de la información, tal como estudios de perfil de los ciudadanos que denotan determinada satisfacción hacia un servicio, lo que podría señalar y apoyar nuevos escenarios de acción. 19 Cuadro 1 Distribución porcentual por servicio según brinda el servicio, realiza estudios y calificación del usuario Realiza Brinda servicio Calificación estudio Servicio No Sí No Sí No Excelente Bueno Regular Malo reporta Recolección de 98,8 0,0 1,2 81,5 18,5 33,3 59,1 7,6 0,0 residuos Aseo de vías y sitios 93,8 6,2 0,0 74,1 25,9 18,3 66,7 13,3 1,7 públicos Educativos, culturales, 93,8 4,9 1,2 58,0 42,0 27,7 66,0 6,4 0,0 y deportivos Gestión vial 93,8 4,9 1,2 69,1 30,9 21,4 46,4 26,8 5,4 Protección del medio 93,8 4,9 1,2 65,4 34,6 17,0 69,8 11,3 1,9 ambiente Depósito y tratamiento 92,6 4,9 2,4 61,7 38,3 32,0 50,0 14,0 4,0 de residuos Atención de 91,4 7,4 1,2 54,3 45,7 27,3 59,1 13,6 0,0 emergencias cantonales Parques y obras de 86,4 12,3 1,2 70,4 29,6 21,0 71,9 7,0 0,0 ornato Cementerios 83,9 13,6 2,5 62,9 37,0 23,5 68,6 7,8 0,0 Desarrollo urbano 83,9 14,8 1,2 54,3 45,7 25,0 50,0 25,0 0,0 Aportes en especie para servicios y proyectos 64,2 33,3 2,5 32,1 67,9 42,3 38,5 19,2 0,0 comunitarios Alcantarillado pluvial 58,0 39,5 2,5 37,0 63,0 10,0 43,3 43,3 3,3 Otros proyectos de 53,1 44,4 2,5 29,6 70,4 29,2 50,0 20,8 0,0 inversión Mercados, plazas y 51,8 45,7 2,5 38,3 61,7 12,9 74,2 12,9 0,0 ferias Estacionamientos y 44,4 54,3 1,2 29,6 70,4 25,0 54,2 20,8 0,0 terminales Seguridad y vigilancia 43,2 53,1 3,7 30,9 69,1 16,0 52,0 32,0 0,0 en la comunidad Acueductos 37,0 61,7 1,2 25,9 74,1 28,6 61,9 9,5 0,0 Mejoramiento en la 18,5 79,0 2,5 9,9 90,1 37,5 50,0 12,5 0,0 zona marítimo terrestre Alcantarillados 13,6 83,9 2,5 12,3 87,6 20,0 30,0 50,0 0,0 sanitarios Alumbrado público 6,2 90,1 3,7 2,5 97,5 50,0 50,0 0,0 0,0 Fuente: Elaboración a partir de archivo de datos de Índice Gestión Institucional 2017, CGR. La anterior descripción de investigaciones sobre la percepción de la ciudadanía con los servicios recibidos, realizadas tanto a nivel internacional como en Costa Rica, indican que los propósitos y alcances al describir la satisfacción ciudadana se dan de forma distinta en cada estudio. En el país se observan esfuerzos para capturar el componente de calidad y eficiencia percibida por el ciudadano; sin embargo, la determinación de información 20 detallada que permita perfilar o caracterizar con mayor detalle al ciudadano que recibe el servicio público es un campo que parece poco explorado. La presente investigación se limitará a analizar la satisfacción con calidad y eficiencia percibida por la ciudadanía sobre un conjunto de servicios públicos brindados por la municipalidad. No se plantearán modelos causales y, dado que no se cuenta con la información sobre componentes de calidad por servicio, se estudiará la satisfacción general, para posteriormente establecer las características predominantes entre los usuarios ubicados dentro de determinado grupo de satisfacción. Este análisis permitirá posteriormente replantear las variables que actualmente se recolectan, con el fin de ampliar el análisis a modelos causales como los mencionados anteriormente. 2.3 Visualizaciones interactivas en R Shiny Finalmente, se busca mostrar los resultados obtenidos sobre las percepciones de la ciudadanía por medio de visualizaciones interactivas en R, para explorar distintos escenarios de los análisis. La herramienta de análisis estadístico R es un entorno de software libre para computación estadística y gráficos; proporciona una amplia variedad de técnicas estadísticas y técnicas gráficas. Una de las fortalezas de R es la facilidad para producir gráficos de calidad de publicación bien diseñados, incluyendo símbolos matemáticos y fórmulas donde sea necesario. Con respecto a esto, los paquetes Shiny, Shinny Dashboard, Flexdasboad y otros permiten generar de manera sencilla aplicaciones web interactivas con el fin de comprender mejor los datos existentes. Existe poca investigación en torno al uso de R como componente de análisis para datos del sector público y visualización de escenarios de análisis. A continuación, se presentan algunos desarrollados por entidades gubernamentales de Nueva Zelanda. En Nueva Zelanda, Ellis (2018) señala que distintas entidades gubernamentales han utilizado las aplicaciones de visualización interactiva de R con el fin de que los datos públicos estén más disponibles y accesibles para los ciudadanos. Adicionalmente, se destaca el bajo costo, 21 la rapidez y calidad que ofrece R para crear estos análisis. Algunas de las instituciones y escenarios que utilizan este tipo de aplicación son:  Ministerio de Empresa, Innovación y Empleo: ha planteado distintas aplicaciones para mostrar pronósticos turísticos (http://tourismdashboard.mbie.govt.nz/), datos económicos del país (https://mbienz.shinyapps.io/urban-development-capacity/,), información sobre el mercado laboral (https://mbienz.shinyapps.io/labour-market- dashboard_prod/), datos de eficiencia y desarrollo urbano (https://mbienz.shinyapps.io/urban-development-capacity/), entre otras.  Estadísticas generales sobre Nueva Zelanda: incluye indicadores de precios de los costos de vida de los hogares (https://statisticsnz.shinyapps.io/livingcostsexplorer/) y mapas sobre tierras irrigadas (https://statisticsnz.shinyapps.io/irrigated_land/).  Ministerio de Salud: datos sobre encuestas de salud (https://minhealthnz.shinyapps.io/nz- health-survey-2016-17-annual-data-explorer/) y datos sobre recetas hospitalarias (https://minhealthnz.shinyapps.io/datapharm/).  Tesorería: el sitio llamado Insights pone a disposición de sus usuarios información obtenida de una variedad de agencias del sector público, en un formato interactivo fácil de usar (https://insights.apps.treasury.govt.nz/). 22 III. METODOLOGÍA En la presente investigación, se busca construir perfiles de la satisfacción ciudadana con los servicios públicos municipales, con el fin de apoyar las estrategias para mejorarlos y enfocar la toma de decisiones en las necesidades particulares de los usuarios. En esta sección se detallan los datos utilizados, variables, software, técnicas de análisis: análisis descriptivo, análisis de dimensiones, análisis de agrupamiento, construcción de perfiles y especificaciones para el diseño de dashboard interactivo. 3.1 Datos Para la construcción de perfiles de satisfacción con servicios municipales se utilizan los datos de ENPSP 2018. La encuesta fue elaborada por la CGR de Costa Rica y tuvo como objetivo principal conocer la percepción de la ciudadanía en materia de eficiencia de los servicios púbicos en Costa Rica para apoyar la fiscalización superior de la Hacienda Pública y contribuir a la promoción del control ciudadano y del control político de la Asamblea Legislativa. La población de interés es la ciudadanía de Costa Rica, mayor de 18 años. La encuesta cuenta con un diseño probabilístico, con muestreo aleatorio simple, cobertura nacional, nivel de confianza del 95% y un margen de error de 3 puntos porcentuales para las principales variables de la encuesta. La ENPSP recopiló en total información de 5434 ciudadanos, los cuales brindaron información relacionada con 10 distintos servicios públicos, distribuidos en 5 cuestionarios o módulos y, específicamente, para el módulo relacionado con servicios municipales, se recopiló información de 1080 ciudadanos. 3.2 Variables En el análisis se cuenta con 12 variables de satisfacción con servicios públicos municipales: 1) servicio de recolección de basura, 2) limpieza de caños, 3) limpieza de vías públicas, 4) mantenimiento de parques, 5) cobro de impuestos, 6) mantenimiento y demarcación de las calles, 7) facilidad para que circulen los carros, 8) disponibilidad para parquear carros, 9) espacios para deportes, 10) alcantarillado para agua de lluvia, 11) alcantarillado para aguas 23 negras3 y 12) lugares para actividades culturales. En el anexo 1 se muestra el detalle de la escala de satisfacción ciudadana planteada en el cuestionario ENPS 2018. La variable cobro de impuestos será excluida, ya que en análisis previos realizados en la ENPSP 2015, por medio de análisis factorial exploratorio (Quirós, 2017), se observó un comportamiento aislado con respecto a los demás servicios. Por lo tanto, debido a este comportamiento, y a la naturaleza particular del servicio, se excluye. La escala utilizada en la ENPSP 2018 presentó a cada ciudadano una batería de preguntas con opción de respuesta de 1 a 5. La pregunta general planteada para los 12 servicios fue: “¿Cómo calificaría el servicio de…?”, donde 5 es muy bueno y 1 muy malo. Es relevante notar que, al obtener los resultados, algunas variables presentan valores perdidos (NS/NR). Según el cuadro 2, las variables con mayor cantidad de valores perdidos son mantenimiento de parques con 9,7% y alcantarillado con 9,1%. Cuadro 2 Distribución porcentual por variable según escala de respuesta Muy Muy Malo Regular Bueno Variable NS/NR bueno malo (1) (2) (3) (4) (5) E4 - Mantenimiento de parques 9,7 8,0 18,1 9,4 42,2 12,6 E11 - Alcantarillado para aguas negras 9,1 17,8 22,3 7,7 37,3 5,9 E12 - Espacios para actividades 5,6 13,1 19,5 8,9 44,5 8,4 culturales E2 - Limpieza de caños 4,6 15,0 22,7 6,6 36,4 14,7 E10 - Alcantarillado para agua de lluvia 3,0 13,4 22,3 11,7 42,0 7,5 E9 - Espacios para deportes 2,7 9,8 18,6 8,3 50,8 9,7 E6 - Mantenimiento y demarcación de 2,2 17,8 31,2 8,9 32,3 7,6 calles E8 - Disponibilidad de espacios para 1,8 24,7 37,0 6,3 26,2 4,0 parqueo de carros E3 - Limpieza de vías públicas 1,5 12,4 21,0 10,6 42,5 12,0 E7 - Facilidad para que circulen los 0,8 11,6 23,7 11,6 45,7 6,5 carros E1 - Recolección de basura 0,7 6,8 7,8 5,1 50,9 28,6 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 3 La rectoría general de los sistemas de alcantarillado para aguas negras la tiene el Instituto Costarricense de Acueductos y Alcantarillados (AyA), y en algunos casos las municipalidades tienen la responsabilidad directa del servicio (13%), ya que cuentan con acueductos. Sin embargo, es de interés incorporar esta variable, ya que tanto municipalidades como el AyA pueden estar involucrados en el monitoreo de la satisfacción de la ciudadanía; específicamente, las municipalidades por su rol de gobierno local podrían monitorear la satisfacción y de esa forma promover acciones que mejoren el servicio. 24 Las variables de satisfacción con servicios públicos municipales (de E1 a E12) poseen valores perdidos (NS/NR); por lo tanto, se utiliza una regresión lineal para imputarlos. La regresión se construye a partir de 10 variables independientes, relacionadas con la gestión municipal (tabla 1). La variable dependiente en cada una de las 11 variables imputadas es el 𝑆𝑒𝑟𝑣𝑖𝑐𝑖𝑜𝑖 (de E1 a E12). En términos generales, la regresión planteada para cada servicio (i) es la siguiente: 𝑆𝑒𝑟𝑣𝑖𝑐𝑖𝑜𝑖 = 𝛽0 + 𝛽1𝑋𝐸13 + +𝛽2𝑋𝐴𝑇 + 𝛽3𝑋𝐷6 + +𝛽4𝑋𝐷7 + 𝛽5𝑋𝐷16 + 𝛽6𝑋𝐷2 + 𝛽7𝑋𝐷4 + 𝛽8𝑋𝐷5 + 𝛽9𝑋𝐷14 + 𝛽10𝑋𝐷15 Tabla 1 Variables independientes utilizadas en la imputación de valores faltantes Variable Tipo de variable Satisfacción general con el servicio municipal recibido (E13) Categórica (1 a 5) Cantidad de artículos en el hogar (AT) Numérica (1-7) Condiciones para que las personas con discapacidad y adultos mayores se Dicotómica (Sí-No) movilicen (D6) Zonas verdes para recreación (D7) Dicotómica (Sí-No) Mantenimiento constante a las calles de su barrio (D16) Dicotómica (Sí-No) Aceras apropiadas para que las personas caminen (D2) Dicotómica (Sí-No) Hay centro de acopio o reciclaje (D4) Dicotómica (Sí-No) Limpieza de ríos y quebradas (D5) Dicotómica (Sí-No) Siempre pasa el camión de la basura (D14) Dicotómica (Sí-No) Áreas públicas siempre están limpias (D15) Dicotómica (Sí-No) Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Una vez ajustadas las ecuaciones, se estiman los valores faltantes para cada servicio y se reescalan en una escala de 1 a 10, con el fin de facilitar la interpretación de los datos. En el gráfico 1 se puede observar que las variables no presentan una distribución normal. En el anexo 2 se muestran gráficas cuantil-cuantil (Q-Q Plot) para cada variable y en el anexo 3 se detallan los resultados obtenidos para la prueba de normalidad Shapiro-Wilk; ambos procedimientos confirman la no normalidad de las variables, lo que es relevante para el planteamiento de los siguientes análisis. Además, dado que es de interés conocer el perfil de los ciudadanos, se tomarán en cuenta variables sociodemográficas como sexo, edad, nivel educativo, nivel socioeconómico, entre otras. 25 3.3 Técnicas de análisis Para el análisis de los datos se inicia con una descripción de la muestra y de la satisfacción con los servicios municipales. Posteriormente, se emplearán técnicas de análisis factorial confirmatorio, análisis de conglomerados (k medias) y análisis de correspondencia múltiple, con el fin de construir los perfiles de satisfacción con los servicios municipales. A continuación, se detallan los procedimientos empleados en cada una de las técnicas. 26 Gráfico 1. Distribución de variables posterior a la imputación Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 3.3.1 Análisis descriptivo Este análisis detallará la distribución porcentual de variables relevantes de la muestra, como sexo, grupos de edad, nivel educativo y condición laboral. Posteriormente, se estudiarán estadísticos descriptivos: media, desviación estándar, distribución porcentual y otros, sobre las 11 variables de satisfacción de los usuarios con los servicios municipales. Finalmente, se analizarán las correlaciones entre estas mismas variables. Todas las estadísticas presentadas en esta investigación toman en consideración el ponderador de datos que contiene el archivo de la Encuesta Nacional de Percepción de Servicios Públicos 2018, construido mediante las variables sociodemográficas de la Encuesta Nacional de Hogares del 2017. 3.3.2 Análisis de dimensiones En términos generales, el análisis factorial (AF) busca representar las variables de interés E1, E2, ..., Ep a partir de combinaciones lineales de los factores F1, F2, ..., Fq, donde q < p. De esta 27 forma, los factores son variables latentes conformados por las variables E. Las variables E y el vector de p variables, del modelo de factores comunes, pueden representarse como: Ep - µp = cp1 F1 + cp2 F2 + … + cpq Fp + εp (1) Donde las cargas factoriales cij, i= 1, 2, … p y j= 1, 2, …, q, hacen referencia a la carga del factor j-ésimo en la variable i-ésima (Hernández, 2013). El análisis factorial, como el análisis de componentes principales, busca una estructura más simple en un conjunto de variables, aunque ambos enfoques son distintos en varios aspectos. Por ejemplo, al presentar los componentes principales, estos se definen como combinaciones de las variables originales, mientras que en el análisis factorial, las variables originales son representadas como combinaciones lineales de los factores. Además, otra diferencia entre ambos enfoques es que el análisis de componentes busca explicar una gran proporción de la variancia de todas las variables y el análisis factorial; por otro lado, se enfoca en estudiar las covarianzas o correlaciones entre las variables (Rencher, 2002). Existen dos enfoques del análisis factorial. Uno es el análisis factorial exploratorio (AFE), el cual explora sin ninguna especificación previa la relación entre los factores y las variables. Por lo tanto, este enfoque es comúnmente utilizado para explorar o describir las posibles relaciones. Por otro lado, está el análisis factorial confirmatorio (AFC) que, a diferencia del AFE, contiene especificaciones previas sobre las relaciones entre los factores y los indicadores, y estas deben estar sustentadas en teoría. En esta investigación se utiliza el análisis de factores confirmatorio y se plantean tres modelos distintos para comparar e identificar el que tenga mejor ajuste y que resulte viable en términos metodológicos. Para hacerlo se utiliza como base teórica, que sustenta estos planteamientos e hipótesis, el estudio exploratorio realizado por Quirós (2017) en un informe no publicado. En la tabla 2 se detallan los modelos por comparar, así como sus respectivos indicadores. Al estimar los distintos modelos, se utiliza el lenguaje de programación R, versión 3.6.1 (2019-07-05), con el paquete “lavaan”, versión 0.6-5 y disponible el repositorio CRAN. La estimación se realiza con la función “cfa” y con Mínimos Cuadrados Ponderados (WLS, por sus siglas en inglés), dado el comportamiento no normal de las variables. Además, se utiliza 28 el enfoque de verosimilitud wishart, donde la matriz de covarianza se divide por N-1 y tanto los errores estándar como las estadísticas de prueba se basan en N-1, y no divididos por N, como se realiza en el enfoque tradicional. El enfoque wishart es el utilizado en programas como EQS, LISREL o AMOS. Tabla 2 Factores latentes y variables observadas según modelo Factor latente Variable observada Modelo 1 E1 Recolección de basura E2 Limpieza de caños E3 Limpieza de vías públicas E4 Mantenimiento de parques Satisfacción ciudadana con los servicios E6 Mantenimiento y demarcación de calles E7 Facilidad para que circulen los carros (F1) E8 Disponibilidad de espacios para parqueo de carros E9 Espacios para deportes E12 Espacios para actividades culturales E10 Alcantarillado para agua de lluvia E11 Alcantarillado para aguas negras Modelo 2 E1 Recolección de basura E2 Limpieza de caños Servicios de limpieza (F1) E3 Limpieza de vías públicas E4 Mantenimiento de parques E6 Mantenimiento y demarcación de calles E7 Facilidad para que circulen los carros E8 Disponibilidad de espacios para parqueo de carros Servicios de infraestructura (F2) E9 Espacios para deportes E12 Espacios para actividades culturales E10 Alcantarillado para agua de lluvia E11 Alcantarillado para aguas negras Modelo 3 E1 Recolección de basura E2 Limpieza de caños Servicios de limpieza (F1) E3 Limpieza de vías públicas E4 Mantenimiento de parques E6 Mantenimiento y demarcación de calles E7 Facilidad para que circulen los carros Servicios de infraestructura (F2) E8 Disponibilidad de espacios para parqueo de carros E9 Espacios para deportes E12 Espacios para actividades culturales E10 Alcantarillado para agua de lluvia Servicio de alcantarillado (F3) E11 Alcantarillado para aguas negras Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 29 Una vez estimados los modelos, se evalúa el ajuste usando medidas clasificadas en tres categorías: ajuste absoluto, ajuste de parsimonia del modelo y comparativos o incrementales. Aunque cada una de estas categorías proporciona información particular sobre el ajuste del modelo, es recomendable reportar al menos un índice de cada una (Brown, 2006). En los índices de ajuste absoluto se incluyen la prueba 𝜒2 y el residuo estandarizado cuadrático medio (SRMR). Una prueba de 𝜒2 significativa indica que el modelo no se ajusta bien a los datos, ya que las estimaciones del modelo no reproducen suficientemente las variaciones y covarianzas de la muestra. El indicador SRMR hace referencia a la diferencia promedio entre las correlaciones observadas en la matriz de entrada y las correlaciones predichas por el modelo. Este toma valores entre 0 y 1, y se prefieren valores bajos, ya que 0 indica ajuste perfecto del modelo. Los índices de parsimonia son similares a los índices de ajuste absoluto; sin embargo, incorporan una función de penalización por parsimonia; es decir, por la cantidad de parámetros incorporados en el modelo. En esta categoría se incluye el índice de error cuadrático medio de aproximación (RMSEA) (Steiger & Lind, 1980), el cual indica en qué medida los parámetros del modelo factorial logran reproducir las correlaciones de la muestra. Valores de RMSEA cercanos a cero indican buen ajuste casi perfecto. Tanto para SRMR como para RMSEA, valores por debajo de 0,05 indican un buen ajuste y valores entre 0,05 y 0,08 muestran un ajuste razonable del modelo (Morata, Holgado, Barbero y Mendez, 2015). Por otro lado, los índices comparativos de ajuste contrastan la solución del modelo con un modelo anidado más restrictivo (Brown, 2006). Entre ellos se encuentran el índice ajuste comparativo (CFI; Bentler, 1990) y el índice de Tucker-Lewis (TLI; Tucker & Lewis, 1973); ambos señalan un buen ajuste del modelo para valores mayores a 0,90. Posteriormente, se aplica la prueba de razón de verosimilitudes, la que busca comparar pares de modelos e identificar el que permite obtener un mejor ajuste. Finalmente, al interpretar las cargas y otras estadísticas relacionadas, se verifica la significancia de cada una de las variables incluidas dentro del modelo. Para hacerlo se utiliza el estadístico de Wald y parámetros no significativamente distintos de cero, con alpha de 0,05, indicarían que eliminar 30 el parámetro no daría lugar a una disminución significativa en el ajuste del modelo (Brown, 2006). Al confirmar la estructura de los factores y sus variables, se construyen escalas unidimensionales y para hacerlo se procede a crear el siguiente indicador o puntuación por factor (F): 𝐸1,𝐹 + 𝐸2,𝐹 + ⋯ + 𝐸𝑝,𝐹 𝐺𝐹 = 𝑘 Donde GF= escala unidimensional en factor F F= factor Ep,F= ítem p contenido en factor F k= número de ítems contenidos en GF En cada una de las escalas se estudia la confiabilidad o consistencia interna de la variable latente, pues la fiabilidad indica la consistencia o estabilidad de una escala cuando el proceso de medición se repite (Prieto y Delgado, 2010). Para esto se utiliza el coeficiente de fiabilidad, Alfa de Cronbach, que es comúnmente utilizado por los investigadores para estimar el límite inferior del coeficiente de fiabilidad y, además, es de gran utilidad cuando se usa para determinar la consistencia interna de las escalas (Prieto y Delgado, 2010). El coeficiente se calcula en términos del número de ítems y la proporción de varianza total de la prueba, dada la covarianza entre ítems. Su fórmula es: 𝑘 ∑ 𝑆2𝑖 𝛼 = ( ) (1 − ) 𝑘 − 1 𝑆2𝑠𝑢𝑚 Donde k indica el número de ítems de la escala, 𝑆2𝑖 es la varianza de los ítems y 𝑆 2 𝑠𝑢𝑚 es la varianza de la prueba total (Ledesma, Molina y Valero, 2002). Al interpretar el Alfa de Cronbach, el valor mínimo aceptable es 0,70 y valores inferiores indican baja consistencia en la escala. Valores por encima de 0,90 señalan redundancia o duplicación; es decir, algunos ítems están midiendo lo mismo, por lo cual deben analizarse y considerar eliminarlos (Oviedo y Campo, 2005). 31 3.3.3 Análisis de conglomerados El objetivo del análisis de conglomerados es crear grupos de ciudadanos, según sus niveles de satisfacción en los factores confirmados previamente. Este análisis busca que los ciudadanos sean muy similares dentro de los grupos y distintos entre ellos. Como insumo principal, se utilizan las escalas o dimensiones validadas a partir del análisis confirmatorio de factores, las cuales reflejan las dimensiones de la satisfacción ciudadana con los servicios municipales. El método de análisis de conglomerados o agrupamiento permite generar grupos de individuos a partir de distintas variables de interés. Una de las razones para utilizar este tipo de análisis es organizar los datos para entender más fácil su contenido y obtener información de manera más eficiente, pues a partir de los grupos generados será posible obtener las similitudes y diferencias en los datos (Everitt, Landau, Leese & Stahl, 2011). En términos generales, al crear los grupos, las distintas técnicas utilizan medidas de proximidad y la determinación de las técnicas como de las proximidades dependerá de cuestiones prácticas, tipo y contexto de los datos (Hernández, 2013). Para observar la similitud se cuenta con una matriz n x n, donde esta se vea reflejada, de tal forma que dos individuos estarán cerca cuando su similitud es grande o su distancia es pequeña (Everitt, Landau, Leese & Stahl, 2011). En esta investigación se utilizará el método no jerárquico k-medias, método comúnmente utilizado para particionar datos de manera automática en k grupos (Garcia-Escudero & Gordaliza, 1999; Chen, Ching & Lin, 2004). Esta técnica involucra un proceso iterativo: para iniciar selecciona un k número de centros aleatorios; posteriormente, cada individuo se asigna al grupo con el centro más cercano, se recalcula la media o centro de cada grupo y, posteriormente, el proceso se repite hasta no tener cambios en los centroides y en individuos asignados entre grupos (MacQueen, 1967). El algoritmo busca la generación de grupos que permitan minimizar la suma de cuadrados entre ellos (Hartigan & Wong, 1979). Existen diversos métodos para el cálculo de k-medias y algunos de los más reconocidos son los desarrollados por Lloyd (1957), Forgy (1965), MacQueen (1967) y Hartigan & Wong (1979). En esta investigación se utilizará el método Hartigan & Wong (1979), cuyo 32 procedimiento busca una partición k con una suma de cuadrados dentro del conglomerado localmente óptima, a partir de la asignación de los puntos de un grupo a otro. En la medición de distancias entre individuos se utiliza la distancia euclidiana. Suponiendo que se tienen dos individuos I1 y I2, con p variables Gj, j=1, 2, …, p, las p mediciones en cada individuo pueden plantearse como I1= (g11, g12, …, g1p)' y I2= (g21, g22, …, g2p)', por lo que la distancia euclidiana entre ambos puede ser representada como (Hernández, 2013): 2 d(I1, I2) = √(𝑔 2 211 − 𝑔21) + (𝑔12 − 𝑔22) + ⋯ + (𝑔1𝑝 − 𝑔2𝑝) Para establecer los k grupos se utilizaron cinco criterios, con el fin de comparar sus resultados y seleccionar el escenario que genere mayor información. A continuación, una breve descripción de cada uno de ellos: El estadístico de Brecha (“Gap”) (Tibshirani, Walther & Hastie, 2001). Compara la variación total dentro del grupos para diferentes valores de k con valores esperados bajo una distribución de datos nula de referencia. Este método indica como cantidad k óptima la que maximice la estadística de brecha; es decir, que produzca la estadística de brecha más grande. Esto significa que la estructura de agrupamiento está muy lejos de la distribución aleatoria uniforme de puntos. Método de Silueta promedio (“Silhouhette”) (Kaufman y Rousseeuw, 1990). Mide la calidad de una agrupación y su procedimiento consiste en calcular la silueta promedio para diferentes valores de k, donde valores altos indican un buen agrupamiento. Por lo tanto, el número óptimo de grupos k es el que maximiza la silueta promedio en un rango de valores posibles para k. Método del codo (“Elbow”). Explora distintas agrupaciones por medio de la variación total dentro de ellas para determinar el escenario donde esta variación se minimice. Se estudian los resultados obtenidos para los distintos algoritmos: Hartigan, Lloyd, Forgy y MacQueen. Coeficiente de correlación eta. Permite medir la asociación entre una variable de tipo categórica y una cuantitativa; se buscan escenarios con mayor asociación. En esta investigación se explora la correlación para distintos escenarios de k, con variables cuantitativas que hacen referencia a la satisfacción con servicios municipales: satisfacción total y con las dimensiones validadas en AFC. 33 Centroides y cantidad de elementos dentro de cada grupo. Este criterio busca estudiar, para distintos escenarios de k, la información brindada por medio de los centroides en las variables consideradas; es decir, que permita diferenciar entre grupos sobre la satisfacción obtenida en cada dimensión. Adicionalmente, se verifica que la solución para k grupos contenga una cantidad balanceada y no menor a 100 casos por grupo, ya posteriormente se desean realizar cruces de variables para realizar los perfiles de satisfacción. 3.3.4 Construcción de perfiles En la construcción de perfiles se pretende conocer las características sociodemográficas de los ciudadanos que se encuentran en los grupos creados por medio del procedimiento k- medias. Por lo tanto, en su construcción, se tomarán como insumo las agrupaciones y, posteriormente, se comparará la distribución porcentual de las variables de interés (sexo, edad, nivel educativo, nivel socioeconómico y percepción del trabajo de la municipalidad en los últimos años) en cada agrupación con respecto a la distribución para toda la muestra de estudio. Este procedimiento permitirá identificar las variables que permiten diferenciar entre ciudadanos ubicados en distintos grupos. Una vez construidos los perfiles, se utiliza el análisis de correspondencia múltiple para complementar el análisis anterior y estudiar las relaciones existentes entre las categorías de las variables; es decir, la relación entre filas y columnas. La técnica utiliza un gráfico que permite identificar el comportamiento de las asociaciones observadas. En este caso interesa conocer las posibles relaciones existentes con cada una de las variables socioeconómicas involucradas en la construcción de los perfiles de satisfacción ciudadana y los grupos generados del análisis de conglomerados. Previo al análisis de correspondencia múltiple se contrasta la hipótesis de independencia entre pares de variables, para lo que se utiliza el estadístico 𝜒2. Es deseable trabajar con pares de variables dependientes; sin embargo, este contraste solamente será utilizado como referencia para la interpretación del resultado. Una vez probada la hipótesis, se debe definir la cantidad de ejes o dimensiones con los que se trabajará y en esta investigación se busca tener una visualización que permita describir las relaciones. Por este motivo, con el fin de facilitar la interpretación, se utiliza la solución que incluye dos dimensiones. 34 Al interpretar el resultado, se debe considerar la contribución de cada categoría para determinar cuánta influencia tiene cada una de ellas en la determinación de las dimensiones. El coseno cuadrado es un indicador de bondad de ajuste que varía entre 0 y 1, y permite conocer en qué medida está bien representada una categoría dentro de una dimensión. Para los casos en que no existe una buena representación de la categoría no es recomendable estudiar la relación de este con otros. Por otro lado, en lo referente a la representación gráfica, si dos o más categorías de diferentes variables se encuentran cercanas, esto significa que existe mucho mayor relación que si estas fueran independientes (Di Franco, 2016). Finalmente, dado que este análisis se basa en las relaciones entre categorías, se procede a excluir del análisis las categorías de no respuesta, ya que su baja frecuencia puede afectar los resultados obtenidos (Di Franco, 2016). 3.3.5 Construcción de dashboard Por último, la construcción del dashboard en R tiene como objetivo presentar, para cada una de las técnicas de análisis mencionadas anteriormente, la posibilidad de variar parámetros (por ejemplo, cantidad de agrupaciones (k) seleccionadas en k-medias), con el fin de explorar escenarios alternativos a los que se detallan como resultado de esta investigación. En relación con los usuarios del dashboard, se plantea que puede ser utilizado por los distintos actores involucrados en el proceso de análisis de datos, quienes deberán contar con conocimiento previo sobre la aplicación e interpretación de las técnicas presentadas. Además, la generación de dicha aplicación permite explorar de forma rápida y visual los resultados de la ENPSP 2018, así como también permitirá automatizar el procesamiento de datos para futuras aplicaciones de la encuesta. 3.4 Programas estadísticos Se utiliza el lenguaje de programación R para analizar los datos (Versión 1.2.1335) y Excel 2016. 35 IV. RESULTADOS En esta sección se muestran los resultados obtenidos para cada una de las técnicas utilizadas en la construcción de los perfiles de satisfacción ciudadana con servicios públicos municipales. En cada caso, se detalla la información más relevante y cuando es necesario se hace referencia a información adicional ubicada en la sección de anexos. En el primer apartado, se presentan estadísticas descriptivas sobre las variables de interés, seguido del análisis de dimensiones que busca validar los factores que explican la satisfacción ciudadana con los servicios municipales. En el tercer apartado, se encuentran los resultados obtenidos para el análisis de conglomerados, el cual busca agrupar a los ciudadanos según su satisfacción en los factores antes mencionados. Por último, se detallan los resultados obtenidos al construir los perfiles de la ciudadanía; es decir, aquellas características sociodemográficas que describen el comportamiento de los ciudadanos ubicados en cada conglomerado. Esta última sección incluye comparaciones generales entre agrupaciones según variables sociodemográficas y un análisis de correspondencia múltiple. 4.1 Análisis descriptivo Para iniciar se presentan algunos estadísticos sobre las variables de interés de la muestra ponderada. En términos generales, se observa que 47,4% de los ciudadanos costarricenses son hombres y 52,5% mujeres (cuadro 3). Además, 46,9% señala que actualmente trabaja y 21,1% se dedica a labores del hogar. En relación con la edad, se muestra una distribución relativamente uniforme entre los rangos establecidos: 26,0% tiene entre 18 y 29 años, 36,0% entre 30 y 49 años, y 36,5% tiene 50 años o más. 36 Cuadro 3 Características sociodemográficas de la Encuesta Nacional de Percepción de Servicios Públicos 2018 n=1080 Variable Frecuencia absoluta Porcentaje Total 1080 100 Sexo Hombre 512 47,6 Mujer 568 52,6 Condición laboral Trabaja 507 47,0 Estudia 49 4,5 Trabaja y estudia 101 9,4 Labores del hogar 229 21,2 Pensionado(a) o rentista 112 10,4 Desempleado(a) 52 4,8 Otro 21 1,9 NS/NR 10 0,9 Grupos de edad 18 a 29 289 26,8 30 a 49 390 36,1 50 o más 394 36,5 NS/NR 7 0,7 Nivel educativo Primaria 433 40,1 Secundaria 396 36,7 Universitaria 240 22,2 Otro 5 0,6 NS/NR 6 0,6 Índice de nivel económico 1/ Bajo 396 36,7 Medio 463 42,9 Alto 221 20,4 1/ Ver anexo 4 para detalle de la construcción del índice de nivel económico Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. El nivel educativo indica que 40,1% de los ciudadanos posee primaria, seguido del 36,7% y 22,2% que posee educación secundaria y universitaria, respectivamente. Por otro lado, con respecto al nivel económico, 36,7% posee un nivel económico bajo; 42,4%, nivel económico medio; y 20,4%, alto. 37 Por otra parte, para los 11 ítems que miden la satisfacción ciudadana con los servicios públicos municipales, en el cuadro 4 se muestran algunas estadísticas de interés. Dado que las variables fueron reescaladas, todas van desde 1 hasta 10. Según la media obtenida en cada servicio municipal, los servicios con los cuales la ciudadanía está más satisfecha son: espacios para deporte (promedio de 7,6), recolección de basura (7,4) y mantenimiento y demarcación de calles (7,1). Por otro lado, los servicios con menor satisfacción son: disponibilidad para parqueo de carros (4,7), alcantarillado de aguas negras (5,3) y alcantarillado de agua para lluvias (5,7). Cuadro 4 Media, desviación estándar, mediana, mínimo y máximo por ítem n=1080 Variable Media Desviación Mediana Mínimo Máximo E9 Espacios para deportes 7,6 0,1 9,0 1,0 10,0 E1 Recolección de basura 7,4 0,1 8,0 1,0 10,0 E6 Mantenimiento y demarcación de 7,1 0,1 7,0 1,0 10,0 calles E7 Facilidad para que circulen los 6,7 0,1 8,0 1,0 10,0 carros E4 Mantenimiento de parques 6,2 0,1 8,0 1,0 10,0 E3 Limpieza de vías públicas 6,0 0,1 8,0 1,0 10,0 E12 Espacios para actividades 5,9 0,1 8,0 1,0 10,0 culturales E2 Limpieza de caños 5,8 0,1 8,0 1,0 10,0 E10 Alcantarillado para agua de lluvia 5,7 0,1 8,0 1,0 10,0 E11 Alcantarillado para aguas negras 5,3 0,1 6,0 1,0 10,0 E8 Disponibilidad de espacios para 4,7 0,1 4,0 1,0 10,0 parqueo de carros Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 4.2 Análisis de dimensiones Con el análisis de dimensiones se busca validar la estructura del modelo de satisfacción ciudadana con los servicios municipales. Se plantean tres modelos, con el fin de comparar su ajuste, analizar el alcance y determinar cuál genera mayor valor en el estudio de los datos. Inicialmente, se estudian las correlaciones observadas entre las variables de interés y los resultados revelan que las correlaciones entre pares de variables son de intensidad media, lo que justifica la inclusión de cada uno de los ítems en el análisis del constructo (cuadro 5). Correlaciones muy altas señalarían la necesidad de extraer alguna de las dos variables y, por el contrario, correlaciones bajas mostrarían que dicha variable no se encuentra asociada con 38 el fenómeno de estudio, por lo que en ambos casos se debe considerar si se extrae dicha variable. Cuadro 5 Matriz de correlaciones y desviación estándar de variables observadas Variable E1 E2 E3 E4 E6 E7 E8 E10 E11 E9 E12 E1 1,00 0,48 0,46 0,42 0,27 0,21 0,14 0,31 0,35 0,14 0,22 E2 0,48 1,00 0,74 0,55 0,36 0,19 0,24 0,42 0,4 0,25 0,34 E3 0,46 0,74 1,00 0,60 0,40 0,26 0,26 0,46 0,43 0,30 0,36 E4 0,42 0,55 0,60 1,00 0,39 0,24 0,24 0,38 0,37 0,39 0,38 E6 0,27 0,36 0,40 0,39 1,00 0,44 0,39 0,37 0,34 0,31 0,35 E7 0,21 0,19 0,26 0,24 0,44 1,00 0,47 0,34 0,29 0,33 0,28 E8 0,14 0,24 0,26 0,24 0,39 0,47 1,00 0,33 0,31 0,34 0,30 E10 0,31 0,42 0,46 0,38 0,37 0,34 0,33 1,00 0,66 0,32 0,36 E11 0,35 0,40 0,43 0,37 0,34 0,29 0,31 0,66 1,00 0,33 0,34 E9 0,14 0,25 0,30 0,39 0,31 0,33 0,34 0,32 0,33 1,00 0,50 E12 0,22 0,34 0,36 0,38 0,35 0,28 0,30 0,36 0,34 0,50 1,00 Desviación estándar 2,35 3,04 2,89 2,72 1,73 2,01 2,43 2,86 2,96 1,83 2,89 (SD) E1 Recolección de basura E10 Alcantarillado para agua de lluvia E2 Limpieza de caños E11 Alcantarillado para aguas negras E3 Limpieza de vías públicas E9 Espacios para deportes E4 Mantenimiento de parques E12 Espacios para actividades culturales E6 Mantenimiento y demarcación de calles E7 Facilidad para que circulen los carros E8 Disponibilidad de espacios para parqueo de carros Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. En la figura 1 se muestra el diagrama de cada uno de los modelos por comparar. En ellos, todos los errores de medición son modelados como aleatorios y se señala que la covarianza observada entre las mediciones está explicada por su factor en cuestión. El primer modelo se conforma por un solo factor e incorpora 11 indicadores de satisfacción con distintos servicios. En el segundo modelo se plantean dos factores: el primero se identifica como servicios de limpieza y el segundo como servicios de infraestructura. Por otro lado, el tercer modelo contiene tres factores: servicios de limpieza, servicios de infraestructura y servicio de alcantarillado. 39 (a) Modelo de un factor (b) Modelo de dos factores (c) Modelo de tres factores E1 Recolección de basura E2 Limpieza de caños E3 Limpieza de vías públicas E4 Mantenimiento de parques E6 Mantenimiento y demarcación de calles E7 Facilidad para que circulen los carros E8 Disponibilidad de espacios para parqueo de carros E10 Alcantarillado para agua de lluvia E11 Alcantarillado para aguas negras E9 Espacios para deportes E12 Actividades culturales Figura 1. Diagrama de trayectoria para modelos con análisis factorial confirmatorio sin errores de medición correlacionados Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 4.2.1 Comparación de modelos En el cuadro 6 se presentan medidas de ajuste global para los distintos modelos planteados. En primer lugar, el índice de ajuste comparativo (CFI) busca medir si el modelo se ajusta mejor a los datos que un modelo de referencia más restringido: valores mayores a 0,90 señalan un buen ajuste. En este caso, el indicador muestra buen ajuste para los modelos 2 y 3. Por otro lado, el índice de Tucker-Lewis (TLI) es similar al índice CFI; sin embargo, es más conservador para modelos complejos y, de igual forma, valores mayores a 0,90 indican un buen ajuste. Los modelos 3 y 2 presentan buen ajuste según el indicador TLI, 0,92 y 0,87, respectivamente. En el modelo con un solo factor, tanto para TLI como para CFI, los indicadores se encuentran por debajo de 0,8. 40 El índice de error cuadrático medio de aproximación (RMSEA) y el residuo estandarizado cuadrático medio (SRMR) muestran mejor ajuste para valores más cercanos a cero. En ambos indicadores, valores por debajo de 0,05 indican un buen ajuste, valores entre 0,05 y 0,08 muestran un ajuste razonable del modelo (Morata, Holgado, Barbero y Mendez, 2015), valores de 0,08 a 0,10 indican un ajuste mediocre o deficiente y valores mayores a 0,10 indican un ajuste pobre (MacCallum, Browne & Sugawara, 1996). Los modelos 1 y 2 poseen un ajuste mediocre en el indicador RMSEA, mientras que el 3 presenta un ajuste razonable. Por último, con el indicador SRMR se observa que los modelos de dos y tres factores poseen un ajuste razonable, y el de un factor tiene un ajuste deficiente. Cuadro 6 Medidas de ajuste global según modelo Medida de ajuste Modelo 1 Modelo 2 Modelo 3 Índice de ajuste comparativo (CFI) 0,78 0,90 0,94 Índice de Tucker-Lewis (TLI) 0,72 0,87 0,92 Error cuadrático medio de aproximación (RMSEA) 0,15 0,10 0,08 Residuo estandarizado cuadrático medio (SRMR) 0,09 0,06 0,05 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Al analizar la viabilidad de los modelos planteados, aunque el modelo 3 posee un mejor ajuste global que el 1 y 2, este posee deficiencias metodológicas, pues no se cuenta con la cantidad necesaria de indicadores que permitan estimar cada factor de manera individual. En términos generales, el modelo de dos factores posee un ajuste aceptable, aunque no el deseado; sin embargo, es el que permite mejor interpretación en función de la información teórica y datos disponibles, así como también una mejor representación, dada la cantidad de indicadores para cada factor. Finalmente, en términos generales, los modelos 1 y 2 poseen indicadores de ajuste global similares; por lo tanto, con el fin de tomar la decisión sobre cuál modelo utilizar se recurre a una prueba de razón de verosimilitudes. El resultado muestra una diferencia de 233,9 y p- value es <0,01 (cuadro 7); es decir, se prefiere trabajar con el modelo 2, ya que este permite mejorar el ajuste del modelo en comparación con el modelo 1. 41 Cuadro 7 Test razón de verosimilitud entre modelos anidados Diferencia Contraste AIC BIC p-value -2 logLikelihood Modelo 1 50805,0 50920,0 233,9 0,001 Modelo 2 51367,0 51477,0 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 4.2.2 Estimación del modelo Al estimar el modelo de dos factores se obtiene la solución presentada en el cuadro 8. Todos los parámetros son estadísticamente significativos de acuerdo con la prueba de Wald, con una significancia de 5% (𝛼 = 0,05). Además, con respecto a los coeficientes, en la solución estandarizada se observa que los indicadores cuentan con coeficientes altos, cercanos o por encima de 0,6, lo que permite confirmar la relación entre cada constructo (o variable latente) con sus respectivos indicadores. Este resultado también se presenta en la figura 2. Cuadro 8 Estimación del modelo, estimación estandarizada y no estandarizada Factor Coeficiente no Coeficiente Error Indicador Z p-value latente estandarizado estandarizado Estándar E1 1,00 0,57 E2 1,73 0,83 0,13 12,93 0,00 F1 E3 1,73 0,88 0,14 12,15 0,00 E4 1,34 0,74 0,11 11,75 0,00 E6 1,00 0,63 E7 1,17 0,58 0,09 13,59 0,00 E8 1,38 0,57 0,11 12,90 0,00 F2 E10 1,85 0,71 0,14 13,58 0,00 E9 0,90 0,56 0,08 12,03 0,00 E11 1,87 0,69 0,15 12,67 0,00 E12 1,43 0,54 0,13 11,37 0,00 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 42 Figura 2. Solución estimada estandarizada del modelo de dos factores para explicar la satisfacción con servicios públicos municipales de Costa Rica 2019 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Finalmente, al estudiar la matriz de variancias y covariancias observada y estimada, pareciera que a simple vista las estimaciones son bastante cercanas (cuadro 9). Además, los residuos estandarizados no muestran ningún comportamiento problemático evidente (anexo 5). 43 Cuadro 9 Matriz de variancias y covariancias observada y estimada del modelo de dos factores Observada Variable E1 E2 E3 E4 E6 E7 E8 E9 E10 E11 E12 E1 5,44 E2 3,35 8,62 E3 3,09 6,15 7,75 E4 2,63 4,27 4,41 6,87 E6 1,07 1,77 1,86 1,74 2,75 E7 1,03 1,17 1,54 1,40 1,56 4,64 E8 0,83 1,78 1,83 1,63 1,66 2,53 6,38 E9 0,60 1,30 1,47 1,75 0,91 1,21 1,46 2,86 E10 2,05 3,38 3,53 2,83 1,67 2,03 2,30 1,53 7,48 E11 2,38 3,41 3,46 2,83 1,62 1,76 2,26 1,61 5,17 8,02 E12 1,44 2,78 2,77 2,79 1,62 1,71 2,13 2,37 2,81 2,82 7,64 Estimada Variable E1 E2 E3 E4 E6 E7 E8 E9 E10 E11 E12 E1 6,41 E2 3,62 9,01 E3 3,62 6,25 7,99 E4 2,80 4,84 4,84 6,87 E6 1,04 1,80 1,80 1,39 2,76 E7 1,22 2,11 2,11 1,63 1,29 4,44 E8 1,44 2,49 2,49 1,93 1,52 1,78 6,56 E9 1,93 3,33 3,33 2,58 2,03 2,38 2,81 7,52 E10 0,94 1,62 1,62 1,26 0,99 1,16 1,37 1,83 2,87 E11 1,94 3,36 3,36 2,60 2,05 2,40 2,83 3,79 1,85 7,99 E12 1,49 2,57 2,56 1,99 1,56 1,83 2,17 2,89 1,41 2,92 7,59 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Los indicadores de ajuste global, junto con el ajuste de los parámetros estimados mencionados en el cuadro 8 (prueba de Wald), donde todos los parámetros resultan estadísticamente distintos de cero, sugieren un buen ajuste del modelo planteado. Por lo tanto, para la presente investigación, se trabajará con la estructura de las dimensiones e indicadores ya confirmadas, donde cada una de las cuatro dimensiones será utilizada como insumo en el análisis de conglomerados. 4.2.3 Construcción de componentes A partir de las dimensiones validadas, se construyen dos escalas unidimensionales que reflejan la satisfacción con respecto a los servicios contenidos en cada una de ellas. Al medir la consistencia interna de las escalas de cada variable latente, se tiene que Alpha de Cronbach para cada una de ellas es cercano o mayor a 0,7 (cuadro 10); es decir, existe consistencia 44 interna de las escalas en cada caso. Estas dos nuevas variables son insumo para el análisis de conglomerados que se realiza en la siguiente sección. Cuadro 10 Alpha de Cronbach según variable latente Escalas Alpha de Cronbach Limpieza 0,84 Infraestructura 0,79 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 4.3 Análisis de conglomerados 4.3.1 Variables de interés Para la construcción de los conglomerados se toman como insumo las escalas de limpieza e infraestructura construidas y validadas anteriormente. En el cuadro 11 se presentan algunas estadísticas descriptivas; en ambas escalas el máximo de satisfacción es 10, en la variable limpieza la satisfacción mínima reportada es 1, mientras que para la variable infraestructura es 2,39. Cuadro 11 Estadísticas descriptivas de dimensiones de satisfacción ciudadana con servicios municipales Escalas Mínimo Máximo Media Desviación Limpieza 1,00 10,00 6,32 2,27 Infraestructura 2,39 10,00 6,17 1,60 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Como complemento de la información anterior, se muestra la distribución de cada una de las escalas (gráfico 2). La escala de limpieza tiene un comportamiento más variable y asimétrico, si se compara con la de infraestructura, que parece distribuirse de manera normal. 45 Gráfico 2. Distribución de dimensiones de la satisfacción ciudadana con servicios municipales Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 4.3.2 Selección de la cantidad de grupos Al proceder con el análisis de conglomerados, se analizó diferente cantidad de grupos k para seleccionar el escenario que genere más información sobre el fenómeno estudiado y que permita discriminar en mayor medida entre ciudadanos ubicados en cada grupo. Por lo tanto, a continuación, se presentan ciertos estadísticos que permiten tomar la decisión final sobre el número k con el cual se realizan análisis posteriores. En primer lugar, se estudia el gráfico del método Gap. El indicador busca el escenario que maximice la estadística de brecha; es decir, que produzca la estadística con mayor magnitud. En este caso, al comparar distintos escenarios k, se sugiere utilizar dos grupos (k=2), tal como se muestra en el gráfico 3. Por otro lado, el método de silueta señala qué tan similar es cada objeto con los otros de su grupo, en relación con los grupos vecinos. El estadístico varía entre -1 y 1, valores cercanos a 1 indican que el objeto está bien agrupado; es decir, el objeto es similar a los otros objetos en su grupo. Por el contrario, valores cercanos a -1 señalan que el objeto está mal agrupado; por lo tanto, considerar agruparlo en otro grupo podría mejorar los resultados. Tal como se muestra en el gráfico 3, se sugiere la maximización en dos grupos (k=2). 46 Método de Gap Método de silueta Gráfico 3. Número óptimo de grupos según método de GAP y Silueta Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. El método del codo de Jambú (Elbow) permite observar la inercia intra clase según la cantidad de categorías definidas. Este método también sugiere la conformación de dos grupos (k=2). Tal como se observa en el gráfico 4, al partir de k=2, los valores de la inercia intra clase se mantienen aproximadamente constantes, resultado que no varía para los distintos algoritmos utilizados (Hartigan, Lloyd, Forgy y MacQueen). Gráfico 4. Codo de Jambú: inercia intra clase, según cantidad de grupos Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Al verificar el coeficiente de correlación eta obtenido en cada escenario, según el número de agrupaciones, se sugiere utilizar k=3 o k=4. En ambos casos se obtiene la mayor asociación 47 al comparar con el indicador general de satisfacción (0,90 y 0,92, respectivamente) y con cada dimensión de la satisfacción (limpieza e infraestructura). Cuadro 12 Razón de correlación (ETA) entre grupo e indicador Grupos Satisfacción total Limpieza Intraestructura K=2 0,80 0,82 0,62 K=3 0,89 0,87 0,76 K=4 0,90 0,89 0,81 K=5 0,92 0,91 0,85 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Como último elemento para tomar la decisión sobre el número de agrupaciones, se presenta, para cada caso, la cantidad de ciudadanos y la media por escala (limpieza e infraestructura). En términos generales, todos los escenarios permiten obtener una asignación adecuada y balanceada de la cantidad de casos, lo que es positivo. Al analizar la media de cada dimensión, las soluciones con dos grupos y tres grupos brindan mayor información (cuadro 13). Los escenarios de cuatros y cinco grupos no permiten diferenciar claramente entre ellos; es decir, la información que brindan es limitada con respecto a la conformación de uno y dos grupos. Cuadro 13 Centroides en las escalas de limpieza e infraestructura, según la cantidad de grupos a construir Cantidad de Grupo Servicio de limpieza Infraestructura n grupos (K) 1 4,46 4,98 437 K=2 2 8,13 6,99 643 1 6,85 5,54 368 K=3 2 3,70 4,83 287 3 8,46 7,64 425 1 7,94 5,39 232 2 8,43 7,82 374 K=4 3 5,58 5,95 257 4 3,43 4,45 217 1 2,74 4,51 135 2 5,26 4,59 197 K=5 3 8,61 7,93 322 4 7,88 5,71 273 5 5,52 6,83 153 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 48 En términos generales, los criterios mencionados anteriormente sugieren usar dos grupos; es decir, k=2. Por lo tanto, se toma la decisión de trabajar bajo este escenario, en el cual se cuenta con dos grupos de ciudadanos. 4.3.3 Grupo seleccionado La solución con dos conglomerados (k=2), presentada en el cuadro 14, muestra que el primer grupo está compuesto por 437 individuos, los cuales poseen una satisfacción baja, ya que tienen calificaciones promedio por debajo de 5, tanto en los servicios de infraestructura como limpieza. Por este motivo, a este grupo se le denomina “Los insatisfechos”. El segundo grupo, compuesto por 643 individuos, posee una satisfacción buena en las áreas de limpieza e infraestructura, cercana o por encima de 7, por lo que a este grupo se le denomina “Los satisfechos”. Cuadro 14 Centros de los conglomerados finales y número de casos en cada conglomerado, k=2 Conglomerado Escala 1 2 Insatisfechos Satisfechos Servicio limpieza 4,46 8,13 Infraestructura 4,98 6,99 Número de casos 437 643 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 4.4 Construcción de perfiles En la construcción de perfiles se desea conocer si ciertas características sociodemográficas permiten diferenciar entre los ciudadanos satisfechos e insatisfechos. Para comparar se utiliza como referencia la distribución o comportamiento general de cada una de estas variables con respecto al comportamiento dentro de cada grupo (satisfecho o insatisfecho). 4.4.1 Análisis general En el cuadro 15 se detallan la media estimada, desviación estándar e intervalos de confianza para cada una de las variables de interés. Adicionalmente, en el gráfico 5 se muestra un 49 complemento gráfico de los intervalos para cada estimador. Las variables sexo y situación laboral no permiten diferenciar entre los ciudadanos satisfechos e insatisfechos, pues para cada grupo el comportamiento no se diferencia del obtenido en la muestra total. Cuadro 15 Perfil sociodemográfico, estimador de media e intervalos de confianza General Insatisfechos Satisfechos Variable 2,5 97,5 2,5 97,5 2,5 97,5 Estimador se Estimador se Estimador se % % % % % % Sexo Hombre 47,5 2,0 43,5 51,4 45,7 3,2 39,4 51,9 48,9 2,6 43,8 54,0 Mujer 52,5 2,0 48,6 56,5 54,3 3,2 48,1 60,6 51,1 2,6 46,0 56,2 Trabajo Trabaja 56,3 2,0 52,4 60,3 55,7 3,1 49,5 61,8 56,9 2,6 51,8 61,9 No trabaja 42,8 2,0 38,9 46,7 43,4 3,1 37,3 49,6 42,2 2,6 37,2 47,3 NS/NR 0,9 0,4 0,2 1,6 0,9 0,6 -0,3 2,1 0,9 0,4 0,2 1,7 Edad 18 a 29 26,8 2,0 22,8 30,7 25,6 3,2 19,3 31,9 27,7 2,6 22,7 32,7 30 a 49 36,1 1,9 32,4 39,7 41,1 3,0 35,2 47,1 32,0 2,3 27,5 36,4 50 o más 36,5 1,9 32,8 40,2 32,9 2,8 27,3 38,4 39,5 2,5 34,6 44,3 NS/NR 0,6 0,2 0,2 1,1 0,4 0,3 -0,2 1,0 0,8 0,4 0,1 1,6 Educación Primaria 40,1 2,1 36,0 44,3 46,9 3,2 40,6 53,3 34,6 2,7 29,3 40,0 Secundaria 36,7 1,9 32,9 40,4 33,9 2,9 28,3 39,6 38,9 2,5 33,9 43,8 Universitaria 22,2 1,1 20,0 24,4 18,5 1,6 15,5 21,5 25,2 1,6 22,0 28,3 Otro 0,5 0,2 0,1 0,9 0,4 0,3 -0,2 1,0 0,5 0,3 -0,1 1,1 NS/NR 0,6 0,2 0,1 1,0 0,2 0,2 -0,2 0,6 0,8 0,4 0,1 1,6 Índice de nivel económico Bajo 50,8 2,0 46,9 54,7 57,8 3,1 51,8 63,8 45,1 2,6 40,0 50,3 Medio 37,1 1,9 33,5 40,8 32,0 2,8 26,6 37,4 41,2 2,5 36,4 46,1 Alto 12,1 1,1 9,9 14,3 10,2 1,9 6,5 13,8 13,6 1,4 11,0 16,3 Percepción de trabajo municipal últimos 3 años Han empeorado 20,3 1,6 17,1 23,4 28,9 2,8 23,4 34,3 13,3 1,8 9,8 16,8 Mejorado 30,1 1,8 26,6 33,5 17,8 2,3 13,4 22,3 39,9 2,5 35,0 44,8 NS/NR 0,7 0,3 0,0 1,3 0,5 0,5 -0,3 1,4 0,8 0,5 -0,1 1,7 Se han mantenido 49,0 2,0 45,1 53,0 52,8 3,1 46,6 58,9 46,0 2,6 40,9 51,0 igual Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 50 Por otra parte, las variables edad, educación, nivel económico y percepción de mejora, sí permiten diferenciar entre grupos. En primer lugar, el grupo de insatisfechos se caracteriza por estar compuesto por ciudadanos jóvenes, de 30 a 49 años (41,1%), con educación primaria (46,9%), con nivel económico bajo (57,8%) y por quienes consideran que durante los últimos años los servicios municipales han empeorado (28,9%). Por el contrario, el grupo de satisfechos con los servicios municipales está compuesto por adultos de 50 o más años (39,5%), con educación secundaria (38,9%) y universitaria (25,2%), con nivel económico medio (41,2%) y consideran que durante los últimos años los servicios municipales han mejorado (39,9%). Gráfico 5. Perfil sociodemográfico según muestra total y conglomerados Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 51 4.4.2 Análisis correspondencia múltiple El análisis de correspondencia múltiple (ACM) es para explorar y complementar, por medio de una representación gráfica, los resultados anteriores. En primer lugar, se contrasta la hipótesis nula de independencia entre los pares de variables y el resultado permite desarrollar el ACM. En el cuadro 16 se muestran los valores de probabilidad asociados a la prueba chi- cuadrado, en todos los pares comparados, a excepción de los pares: nivel económico y edad y nivel económico versus percepción de trabajo municipal, por lo que existe suficiente evidencia estadística para rechazar la hipótesis nula de que los pares de variables poseen una relación independiente entre sí (𝛼 = 0,01). Aunque en nivel económico-edad y nivel económico-percepción de trabajo municipal no existe suficiente evidencia estadística para rechazar la hipótesis nula de independencia entre variables, se deciden incluir dentro del análisis ACM, pues anteriormente resultaron de utilidad para describir los conglomerados creados. Cuadro 16 Prueba chi-cuadrado de independencia entre pares de variables Percepción de Índice de Variable Educación Edad trabajo nivel Conglomerado municipal económico Educación 0,00 Edad 0,00 0,00 Percepción de 0,01 0,00 0,00 trabajo municipal Índice de nivel 0,00 0,00 0,30 0,41 económico Conglomerado 0,00 0,08 0,00 0,00 0,00 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. El porcentaje de inercia explicado por la dimensión 1 es 17,7% y 13,7% para la dimensión 2, por lo que ambas explican un total de 30,85% de inercia (cuadro 17). 52 Cuadro 17 Valores propios y porcentaje de variancia explicada según dimensión Valor Porcentaje Porcentaje de Dimensión propio de variancia variancia acumulado Dimensión 1 0,31 17,7 17,2 Dimensión 2 0,24 13,7 30,8 Dimensión 3 0,23 12,8 43,7 Dimensión 4 0,21 11,9 55,6 Dimensión 5 0,19 10,6 66,2 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. La calidad de la representación se explora por medio del coseno cuadrado (cos2), que mide el grado de asociación entre categorías variables y un eje particular o en ambos. Una categoría estará bien representada cuando la suma del cos2 en las dos dimensiones está cercano a 1. En el gráfico 6 se puede notar que cinco categorías se encuentran por encima o cercanas a 0,4 y cuatro por encima de 0,2. Esta información es relevante para la interpretación del resultado final. Las categorías “Secundaria”, “Se ha mantenido igual”, grupos de edad de “18 a 29” y “30 a 49”, así como “Nivel económico medio” deben ser interpretadas con cautela, pues tienen una baja representación, por debajo de 0,2. Gráfico 6. Calidad de la representación (cos2) según categoría para dimensiones 1 y 2 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 53 Al analizar la relación de las variables de interés, como edad, educación, percepción de mejora municipal, nivel económico y conglomerado con las dos dimensiones del ACM, se utiliza el estadístico eta cuadrado. En el cuadro 18 se observa que las variables que generan mayor influencia con la dimensión 1 son educación (0,52) y nivel económico (0,41); mientras tanto, para la dimensión 2 son percepción de mejora municipal (0,41) y conglomerado (0,26). Esta información permite complementar la interpretación del gráfico 7. Cuadro 18 Correlación eta cuadrado de variables con dimensiones Variable Dimensión 1 Dimensión 2 Edad 0,08 0,24 Educación 0,52 0,23 Mejora de municipalidad 0,22 0,41 Índice de nivel económico 0,41 0,07 Conglomerado 0,29 0,26 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Al obtener la representación gráfica de las relaciones entre categorías se tiene el resultado mostrado en el gráfico 7. Para interpretar el resultado es relevante considerar la contribución que tiene cada categoría en las dimensiones; por lo tanto, se incluye dentro del gráfico una escala de colores. La representación gráfica no muestra una agrupación clara entre categorías; es decir, estas se encuentran bastante dispersas; sin embargo, de acuerdo con su ubicación espacial, es posible crear o visualizar dos grandes grupos. De izquierda a derecha, el grupo 1 concuerda con las características relacionadas con los ciudadanos satisfechos, ya que además de la categoría de satisfechos en este se ubican los ciudadanos con educación universitaria, nivel económico medio y alto y percepción de mejora municipal. Los resultados deben manejarse con cautela, pues en este primer grupo también se ubican los ciudadanos con edades de 18 a 29 años y que consideran que el trabajo municipal se ha mantenido igual en los últimos años. Ambas categorías no corresponden con la caracterización de ciudadanos satisfechos señalada al comparar las medias; sin embargo, para ambas se puede notar que la contribución es baja. 54 El grupo 2, ubicado a la derecha, también concuerda en cierta medida con las características del grupo de ciudadanos insatisfechos, ya que junto con la categoría de insatisfechos contiene los ciudadanos con educación primaria, nivel económico bajo, percepción de que la labor municipal ha empeorado y con edades comprendidas entre 30 a 49 años. De igual forma, debe interpretarse con cautela, pues también contiene categorías que no coinciden con los resultados identificados en la comparación de medias: educación secundaria y edad de 50 o más años. Nota: “Univ” hace referencia a la categoría “Universitaria”. Gráfico 7. Análisis de Correspondencia Múltiple, representación de categorías de variables Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 55 El análisis de correspondencia múltiple permite complementar los resultados obtenidos con las comparaciones de estimadores de medias por grupo y en la muestra total; sin embargo, el alcance de este es limitado, ya que como se mencionó anteriormente existen categorías con bajos niveles de contribución y en calidad de la representación. 4.5 Dashboard El Shiny dashboard busca presentar, para cada una de las técnicas de análisis, escenarios alternativos a los anteriormente detallados. Además, permite explorar rápida y visualmente los resultados de la ENPSP 2018, así como automatizar el procesamiento de datos para futuras aplicaciones de la encuesta. Para esta investigación se utiliza la plataforma shinyapps.io en su versión gratuita, con el fin de publicar la aplicación. El dashboard se encuentra disponible para consulta en shinyapps.io y el código utilizado se encuentra disponible en este enlace. La aplicación utiliza el flujo de análisis presentado en la figura 3 y a continuación se detallan las distintas funcionalidades disponibles dentro de cada sección. En primer lugar, en la sección “Descripción”, el usuario de la aplicación podrá encontrar tres pestañas con información general del dashboard interactivo: 1) objetivo, 2) datos que utiliza y 3) estructura del análisis (figura 4). 56 Figura 3. Esquema de análisis Shiny Dashboard Fuente: Elaboración propia, 2020. 57 Figura 4. Sección de descripción, Shiny Dashboard Fuente: Elaboración propia, 2020. Seguidamente, la sección de “1. Análisis descriptivo” explora las variables sociodemográficas, así como las escalas de satisfacción ciudadana con servicios públicos. (figura 5). Para las variables sociodemográficas se detalla la frecuencia, distribución porcentual y porcentaje acumulado. Por otro lado, para las escalas, se detallan los estadísticos mínimos, máximo, mediana, desviación estándar y se acompañan con histogramas por escala. Figura 5. Sección de análisis descriptivo, Shiny Dashboard Fuente: Elaboración propia, 2020. 58 En la siguiente sección “2. Análisis de dimensiones”, el usuario podrá seleccionar la cantidad de factores que desea explorar, con opciones de uno, dos o tres factores (figura 6). Los resultados se pueden observar mediante las pestañas: 1) modelo, la que muestra información sobre las variables que componen cada factor y su respectivo diagrama de trayectoria; 2) estimación, con resultados completos de la librería lavaan, estadísticos de ajuste y parámetros estimados; 3) gráfico, según resultados para la solución estandarizada y no estandarizada; 4) correlaciones, con el detalle de la matriz de variancias y covariancias observadas y estimadas, y diferencia entre ambas matrices; y, finalmente, 5) Alpha de Cronbach, que muestra el estadístico por factor. En términos generales, la consulta permite entrar en detalle sobre los resultados de cada escenario (modelos de uno, dos o tres factores), ya que anteriormente solo se presentaron los estadísticos de ajuste global en cada caso, sin mostrar la estimación del modelo, gráficos y matrices de variancias y covariancias para los modelos de uno y tres factores. Figura 6. Sección de análisis de dimensiones, Shiny Dashboard Fuente: Elaboración propia, 2020. La sección, “3. Análisis de conglomerados”, permite obtener información sobre las distintas etapas del análisis: 1) variables de interés, muestra estadísticas descriptivas sobre las 59 variables de entrada para el análisis; 2) selección de cantidad de grupos, con gráficos para apoyar la decisión del número de conglomerados a utilizar (método de Codo de Jambú, método de Gap, método de Silueta y tabla con información de la razón de correlación ETA); y, finalmente 3) grupos seleccionados, con la posibilidad de variar la cantidad k de grupos (2, 3, 4 o 5 grupos) y observar la media para las escalas (limpieza e infraestructura). La consulta permite señalar que escenarios de tres, cuatro o cinco grupos no permiten diferenciar claramente entre grupos, pues las medias obtenidas en las escalas de entrada, limpieza e infraestructura son muy similares. Figura 7. Sección de análisis de conglomerados, Shiny Dashboard Fuente: Elaboración propia, 2020. Finalmente, en la sección “4. Análisis de perfiles” se detallan dos insumos que permiten construir los perfiles de satisfacción ciudadana con servicios municipales, ambos con el fin 60 de identificar variables sociodemográficas para perfilar o diferenciar a los ciudadanos dentro de conglomerados (figura 8). En primer lugar, el análisis general permite al usuario seleccionar una variable sociodemográfica y la cantidad de grupos o agrupaciones (k). Con ambos elementos se busca comparar las medias estimadas de la variable de interés en cada conglomerado con el total de sujetos en la muestra (identificado con la etiqueta de “General). Para la comparación se presentan intervalos de confianza y gráficos que apoyan la interpretación. En segundo lugar, en el análisis de correspondencia múltiple (ACM), se le solicita al usuario seleccionar las variables a incorporar y, posteriormente, se muestra el detalle de los resultados de prueba de independencia, valores propios, variancia explicada, calidad de la representación, correlación eta y la representación gráfica del ACM. Figura 8. Sección de análisis de perfiles, Shiny Dashboard Fuente: Elaboración propia, 2020. En conjunto, las cinco secciones disponibles en el dashboard permiten al usuario conocer a profundidad y detalle los resultados alternativos al mostrado en esta investigación. Además, dicha aplicación puede incorporar elementos o análisis adicionales, según el interés de los distintos actores que hacen uso de la información; es decir, puede modificarse fácilmente. 61 V. CONCLUSIONES Y RECOMEDACIONES En términos generales, el análisis exploratorio de los datos permite identificar que los ciudadanos muestran mayor satisfacción con los servicios de espacios para deporte, recolección de basura y mantenimiento y demarcación de calles. La disponibilidad para parqueo de carros, alcantarillado de aguas negras y alcantarillado de agua para lluvias son servicios en los cuales la ciudadanía muestra menor satisfacción. Con base en el análisis factorial confirmatorio, se valida el modelo de satisfacción ciudadana conformado por dos factores o dimensiones: servicios de limpieza e infraestructura. Aunque el modelo de dos factores presentó un ajuste aceptable, dada la carencia de variables, no fue posible explorar dimensiones más detalladas de los servicios municipales por medio de modelos de tres o más factores. Por ejemplo, el factor de infraestructura podría ser medido en varios factores según su tipo: vial, de alcantarillado, recreación u otros; sin embargo, no se cuenta con los indicadores que permitan estimarlo. Esto sugiere que es recomendable realizar una reestructuración de la escala consultada en la Encuesta Nacional de Percepción con Servicios Públicos, para contar con más información sobre las dimensiones de la satisfacción ciudadana con los servicios municipales. Adicionalmente, el análisis de conglomerados permite agrupar a los ciudadanos en dos grandes grupos: los ciudadanos satisfechos y los insatisfechos con los servicios municipales. Se exploraron escenarios alternativos de tres, cuatro y cinco grupos; sin embargo, a partir de dos grupos no se genera información que incremente el entendimiento de los grupos conformados. Esta limitante, de contar solamente con dos conglomerados, no permite agrupar a aquellos ciudadanos que particularmente podrían estar satisfechos o insatisfechos con una de las dimensiones en específico, ya sea limpieza o infraestructura, y esta puede estar relacionada con la imposibilidad de contar con factores o dimensiones más detalladas sobre los servicios de infraestructura y limpieza, tal como se mencionó anteriormente. Finalmente, al explorar el comportamiento de los conglomerados según variables sociodemográficas, se logró construir un perfil que identifica tanto a los ciudadanos satisfechos como a los insatisfechos. En primer lugar, se evidencia que los ciudadanos insatisfechos son principalmente personas jóvenes, con baja educación y bajo nivel 62 económico y que adicionalmente poseen una mala percepción general con respecto al trabajo realizado por la municipalidad. Se recomienda tomar en consideración estas características, con el fin de aprovechar el uso de recursos, ya que, por ejemplo, al tratarse de personas jóvenes podrían utilizarse redes sociales para la difusión o solicitud de información. Por otro lado, los ciudadanos satisfechos se caracterizan por ser personas mayores, con educación secundaria o universitaria, con nivel económico medio, y que adicionalmente tienen una percepción positiva sobre el trabajo que ha realizado la municipalidad de su comunidad en los últimos años. De igual forma, para este grupo deben definirse estrategias diferenciadas según sus características. Adicionalmente, y en relación con la construcción de perfiles, el análisis de correspondencia múltiple permitió complementar el proceso de construcción; sin embargo, para esta investigación no fue posible contar con agrupaciones de fácil y clara interpretación. Por lo tanto, se recomienda retomar este tipo de visualizaciones gráficas una vez que se hayan realizado ajustes en la escala de servicios municipales consultados en la ENPSP. En términos generales, al realizar análisis similares a los planteados en esta investigación, es recomendable que las escalas utilizadas y los ítems incluidos en el cuestionario se hayan planeado de previo, con el fin de contar con los insumos necesarios en cada técnica de análisis para evitar limitaciones como las mencionadas anteriormente. Por último, el dashboard de perfiles, construido con el Shiny Dashbord, permitió crear una herramienta de consulta y visualización de los escenarios alternativos, lo cual representa una herramienta para apoyar el proceso de discusión de datos con actores interesados, así como automatizar futuros análisis de las encuestas de percepción ciudadana con servicios públicos. 63 BIBLIOGRAFÍA Abarca, A. (2012). Percepción de los usuarios del servicio de transporte tren, Costa Rica, mayo de 2012. Ciencias Económicas. 1(31), 169-179. Recuperado de https://revistas.ucr.ac.cr/index.php/economicas/article/view/10623/10020 ACSI (2020). About ACSI: Building the Cross-Industry Index. Recuperado de https://www.theacsi.org/about-acsi/building-the-cross-industry-index Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios. (2009). Guía para la evaluación de la calidad de los Servicios Públicos. Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios. Recuperado de bhttp://www.aeval.es/export/sites/aeval/comun/pdf/calidad/guias/Guia_evaluacion_ calidad.pdf Akgul, D. (2012). Measuring the Satisfaction of Citizens for the Services given by the Municipality: The Case of Kirşehir Municipality. Procedia - Social and Behavioral Sciences, 62, 555-560. https://doi.org/10.1016/j.sbspro.2012.09.092 Alemán, R., Gutiérrez, R. & Liébana, F. (2018). Determinant Factors of Satisfaction with Public Services in Spain: Marketing Techniques in Public Administration. Australian Journal of Public Administration, 77(1), 102-113. https://doi.org/10.1111/1467- 8500.12252 Alvarado, J. (2017). Aplicación del modelo de evaluación de la calidad SERVQUAL y establecimiento de medidas de intervención para la empresa COOSALUD EPS-S sucursal Boyacá (Tesis de pregrado, Universidad Pedagógica y Tecnológica de Colombia): Recuperado de https://repositorio.uptc.edu.co/bitstream/001/1957/1/TGT-589.pdf 64 Antúnez, I. y Galilea, S. (2003). Servicios públicos urbanos y gestión local en América Latina y el Caribe: Problemas, metolologías y políticas. CEPAL, División de Desarrollo Sostenible y Asentamientos Humanos. Recuperado de https://repositorio.cepal.org/bitstream/handle/11362/5770/1/S039607_es.pdf Araya, E., Calvo, I., Montero, M., Quirós, M. y Ramírez, L. (2013). Propuesta de un plan de mejora en el servicio al cliente en la Oficina Comercial del AyA en El Guarco, Cartago (tesis de pregrado). Universidad de Costa Rica, San José, Costa Rica. Banco Interamericano de Desarrollo (2015). Simplificando Vidas: Calidad y satisfacción con los servicios públicos. Recuperado de https://www.mitic.gov.py/application/files/1815/5646/3624/Simplificando-vidas- Calidad-y-satisfaccion-con-los-servicios-publicos.pdf Bentler, P. M. (1990). Comparative fit indexes in structural models. Psychological Bulletin, 107(2), 238-246. https://doi.org/10.1037/0033-2909.107.2.238 Brown, T. A. (2006). Confirmatory factor analysis for applied research. Guilford Press. Bruhn, M. & Grund, M. (2000). Theory, development and implementation of national customer satisfaction indices: The Swiss Index of Customer Satisfaction (SWICS). Total Quality Management, 11(7), 1017-1028. https://doi.org/10.1080/09544120050135542 Campos, L. (2017). Informe encuesta de satisfacción usuarios externos 2016. Ministerio de Agricultura y Ganadería (MAG). Recuperado de http://www.mag.go.cr/servicios/Contraloria/RESULTADOS-ENCUESTA- SATISFACCION-2016-28MARZO-2017.pdf Chen, J., Ching, R. & Lin, Y. (2004). An extended study of the K-means algorithm for data clustering and its applications. Journal of the Operational Research Society, 55(9), 976-987. https://doi.org/10.1057/palgrave.jors.2601732 65 Contraloría General de la República, CGR. (2018). Memoria Anual 2017. Recuperado de https://cgrfiles.cgr.go.cr/publico/docsweb/documentos/publicaciones-cgr/memoria- anual/2017/memoria-anual-2017.pdf Córdova, J. y Ponce, A. F. (2017). Los tipos de corrupción y la satisfacción con los servicios públicos. Evidencia del caso mexicano. región y sociedad, 29(70). https://doi.org/10.22198/rys.2017.70.a344 Corporación Latinobarómetro (2011). Informe 2011. Recuperado de http://www.infoamerica.org/primera/lb_2011.pdf Di Franco, G. (2016). Multiple correspondence analysis: One only or several techniques? Quality & Quantity, 50(3), 1299-1315. https://doi.org/10.1007/s11135-015-0206-0 Ellis, P. (2018). Fifteen New Zealand government Shiny web apps. Recuperado de http://freerangestats.info/blog/2018/05/13/nz-govt-shinyapps Everitt, B., Landau, S., Leese, M. & Stahl, D. (2011). Cluster Analysis. Wiley series in probability and statistics. John Wiley & Sons, Ltd. Fornell, C. (1992). A National Customer Satisfaction Barometer: The Swedish Experience. Journal of Marketing, 56(1), 6-21. https://doi.org/10.2307/1252129 Frey, B. & Stutzer, A. (2002). The Economics of Happiness. 3(1), 17. Recuperado de http://bsfrey.ch/articles/_365_2002.pdf Garcia-Escudero, L. & Gordaliza, A. (1999). Robustness Properties of k Means and Trimmed k Means. Journal of the American Statistical Association, 94(447), 956-969. https://doi.org/10.2307/2670010 Gilmore, C. M. y De Moraes, H. de M. (1996). Manual de gerencia de la calidad. Organizacion Panamericana de la Salud. PALTEX, 3, 36-54. 66 González, G., Grant, J., Ulate, C. y Yong, M. (2018). El perfil del usuario de servicios públicos de los hogares costarricenses. Revista de la Autoridad Reguladora de los Servicios Públicos, 2. 75-94. Recuperado de https://aresep.go.cr/images/documentos/Revistas/01_REVISTA__JULIO_2018.pdf Hartigan, J. & Wong, M. (1979). Algorithm AS 136: A K-Means Clustering Algorithm. Journal of the Royal Statistical Society. Series C (Applied Statistics), 28(1), 100-108. Recuperado de http://www.jstor.org/stable/2346830 Hernández, O. (2013). Temas de Análisis Multivariante Estadístico. Editorial UCR. 2. Ed. San José, Costa Rica. Institute for Citizen Centred Service, ICCS. (s.f). Common Measurements Tool. Citizen First. Recuperado de https://iccs-isac.org/resources-tools/common-measurements-tool Jaráiz, E. y Pereira, M. (2014). Guía para la Realización de Estudios de Análisis de la Demanda y de Evaluación de la Satisfacción de los Usuarios. Recuperado de http://www.aeval.es/export/sites/aeval/comun/pdf/calidad/guias/Guia_ADyES_2014 .pdf Jiménez, R. (2004). Indicadores de calidad y eficiencia de los servicios hospitalarios: Una mirada actual. Revista Cubana de Salud Pública, 30(1). Recuperado de http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864- 34662004000100004#cargo Johnson, M., Gustafsson, A., Andreassen, T., Lervik, L. & Cha, J. (2001). The evolution and future of national customer satisfaction index models. Journal of Economic Psychology, 22(2), 217-245. https://doi.org/10.1016/S0167-4870(01)00030-7 Kaufman, L. & Rousseeuw, P. (1990). Finding groups in data : An introduction to cluster analysis. John Wiley & Sons, Inc. https://doi.org/10.1002/9780470316801 Ledesma, R., Molina, G. y Valero, P. (2002). Análisis de consistencia interna mediante Alfa de Cronbach: Un programa basado en gráficos dinámicos. Psico-USF, 7(2), 143-152. Recuperado de http://www.scielo.br/pdf/pusf/v7n2/v7n2a03 67 Lopez, J., y Gadea, A. (2001). Una nueva administración pública. Estrategias y Métodos para mejorar la calidad y la eficiencia del e-gobierno. Bilbao, España, Instituto Vasco de la Administración Pública. MacCallum, R., Browne, M. & Sugawara, H. (1996). Power analysis and determination of sample size for covariance structure modeling. Psychological Methods, 1(2), 130– 149. https://doi.org/10.1037/1082-989X.1.2.130 MacQueen, J. (1967). Some methods for classification and analysis of multivariate observations. Proceedings of the Fifth Symposium on Math, Statistics, and Probability, 1, 281-297. University of California Press. Recuperado de https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512992 Madrigal, J. (2009). Percepción de la calidad en los servicios públicos. Recuperado de http://www.ticovision.com/Documentos/Informe_Mideplan_Servicios_Publicos_20 09-2010.pdf Ministerio de Planificación Nacional y Política Económica, MIDEPLAN. (2018). Encuesta estándar de percepción y satisfacción de las personas usuarias, respecto a los bienes o servicios públicos recibidos. Recuperado de https://documentos.mideplan.go.cr/share/s/uch8RkKgQ0W0d5m8WRcQfQ Modig, N. & Ahlström, P. (2012). This is lean: Resolving the Efficiency Paradox. Sweden: Rheologica Publishing. Montalvo, D. (2009) Satisfacción ciudadana con servicios municipales. Perspectivas desde el Barómetro de las Américas: 2009 (18). Recuperado de https://www.vanderbilt.edu/lapop/insights/I0818es.pdf Montaña, J., Ramírez, E. y Ramírez, H. (2002). Evaluación de la calidad de los servicios públicos domiciliarios. Revista Colombiana de Marketing, 3(5). Recuperado de https://www.redalyc.org/articulo.oa?id=109/10900506 68 Morata, M., Holgado, F., Barbero, I. y Mendez, G. (2015). Análisis factorial confirmatorio: recomendaciones sobre mínimos cuadrados no ponderados en función del error Tipo I de Ji-Cuadrado y RMSEA. Acción psicol. 12(1), 79-90. Recuperado de http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1578- 908X2015000100008 Oliver, R., Rust, R. & Varki, S. (1997). Customer delight: foundations, findings, and managerial insight. Journal of Retailing, 73(3), 311-336. https://doi.org/10.1016/S0022-4359(97)90021-X Orselli, E., Bayrakci, E. & Rojas Kahraman, S. (2017). C Citizen satisfaction with municipal services: The case of Konya municipality. Global Journal of Sociology: Current Issues. 7(1), 73-82. Recuperado de https://www.researchgate.net/publication/323704328_Citizen_Satisfaction_with_M unicipal_Services_The_Case_of_Konya_Municipality Ospina, S. y Gil, I. (2011). Índices nacionales de satisfacción del consumidor. Una propuesta de revisión de la literatura. Cuad. admon.ser.organ, 24 (43): 35-57. Recuperado de http://www.scielo.org.co/pdf/cadm/v24n43/v24n43a03.pdf Oviedo, H. y Campo, A. (2005) Aproximación al uso del coeficiente alfa de Cronbach. Revista Colombiana de Psiquiatría, 10(4), 572-580. Recuperado de https://www.redalyc.org/pdf/806/80634409.pdf Parasuraman, A., Zeithaml, V. & Berry, L. (1985). A Conceptual Model of Service Quality and its Implication for Future Research. Journal of Marketing, 49(4), 41-50. https://doi.org/10.2307/1251430 Prieto, G. y Delgado, A (2010). Fiabilidad y validez. Papeles del Psicólogo, 31(1), 67-74. Recuperado de https://www.redalyc.org/pdf/778/77812441007.pdf Quirós, K. (2017). Análisis de factorial exploratorio sobre satisfacción de servicios públicos municipales. Informe no publicado del curso Análisis Estadístico Multivariado de la Maestría Profesional en Estadística, Universidad de Costa Rica. 69 Reeves, C. & D. A. Bednar. 1994. Defining Quality: Alternatives and Implications. Academy of Management Review, 19(3), 419-445. Recuperado de https://www-jstor- org.ezproxy.sibdi.ucr.ac.cr/stable/258934 Rencher, A. (2002). Methods of multivariate analysis (2nd ed). Brigham young university. A John Wiley & Sons, Inc. Recuperado de https://www.ipen.br/biblioteca/slr/cel/0241 Rodríguez, M., Cogco, A., Islas, A., Herrera, M., Alfonso, O., Perez, J., Canales, A. y Marcelino, I. (2012). Índice Mexicano de Satisfacción de los Beneficiarios de Programas Sociales Implementados por la SEDESOL en México (IMSAB). Recuperado de https://www.researchgate.net/publication/272787614_Indice_Mexicano_de_Satisfa ccion_de_los_Beneficiarios_de_Programas_Sociales_Implementados_por_la_SED ESOL_en_Mexico_IMSAB Rojas, J. (2015). Un modelo de satisfacción de usuarios como herramienta de apoyo a la gestión de una municipalidad: análisis de los servicios entregados en edificio consistorial y departamento de desarrollo social de la municipalidad de lo prado. (Tesis de postgrado, Universidad De Chile). Recuperado de http://repositorio.uchile.cl/bitstream/handle/2250/137581/Un-modelo-de- satisfaccion-de-usuarios-como-herramienta-de-apoyo-a-la-gestion-de-una- Municipalidad.pdf?sequence=1 Speller, S., & Ghobadian, A. (1993). Change for the public sector. Managing Service Quality, 3(6), 29-32. https://doi.org/10.1108/EUM0000000003202 Stanton, W., Etzel, M. y Walker, B. (1991). Fundamentos de Marketing (14ta ed). McGrawHill, USA. Steiger, J. H., & Lind, J. C. (1980, May). Statistically-based tests for the number of common factors. Paper presented at the annual meeting of the Psychometric Society, Iowa City, IA. [Google Scholar] 70 Thijs, N. (2011). Measure to improve improving public sector performance by using citizen- user satisfaction information. Recuperado de https://www.eupan.eu/wp- content/uploads/2019/02/2010_2_BE_Measure_to_Improve_Improving_Public_Sec tor_Performance_by_Using_Citizen_User_Satisfaction_Information.pdf Tibshirani, R., Walther, G. & Hastie, T. (2001). Estimating the number of clusters in a data set via the gap statistic. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 63(2), 411-423. doi:10.1111/1467-9868.00293 Tucker, L. & Lewis, C. (1973). A reliability coefficient for maximum likelihood factor analysis. Psychometrika, 38, 1-10. https://doi.org/10.1007/BF02291170 Unión Nacional de Gobiernos Locales, UNGL. (2018). 81% de Municipalidades mejoró puntuación en Índice de Gestión Municipal. Recuperado de https://ungl.or.cr/noticias/81-de-municipalidades-mejoro-puntuacion-en-indice-de- gestion-municipal Van de Walle, S. (2018). Explaining Citizen Satisfaction and Dissatisfaction with Public Services. In: Ongaro, E. & Van Thiel.S. (eds). The Palgrave Handbook of Public Administration and Management in Europe. London: Palgrave Macmillan, 227- 241. https://doi.org/10.1057/978-1-137-55269-3_11 Van Ryzin, G. (2004). The Measurement of Overall Citizen Satisfaction. Public Performance and Management Review, 27(3), 9-28. Van Ryzin, G., y Pino Matute, E. (2009). Cómo escuchar, cómo aprender y cómo responder: las encuestas ciudadanas como una herramienta para la reinvención del gobierno. Papeles de Evaluación, 9. Madrid, Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios. Xue, L. & Yang C. (2008). An Exploratory Study of Customer Satisfaction Based on ACSI Model. Recuperado de http://www.diva- portal.org/smash/get/diva2:271730/FULLTEXT01.pdf 71 ANEXOS Anexo 1 Extracto de cuestionario Encuesta Nacional de Percepción de Servicios Públicos, módulo servicios municipales 1.1 Escala de satisfacción con servicios municipales 1.2 Información sociodemográfica 72 Anexo 2 Gráfico Q-Q según servicio público municipal Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. 73 Anexo 3 Prueba de normalidad de Shapiro-Wilk Variable Estadístico W P-Value E1 - Recolección de basura 0,75 0,00 E2 - Limpieza de caños 0,86 0,00 E3 - Limpieza de vías públicas 0,86 0,00 E4 - Mantenimiento de parques 0,87 0,00 E6 - Mantenimiento y demarcación de calles 0,89 0,00 E7 - Facilidad para que circulen los carros 0,86 0,00 E8 - Disponibilidad de espacios para parqueo de carros 0,85 0,00 E9 - Espacios para deportes 0,84 0,00 E10 - Alcantarillado para agua de lluvia 0,87 0,00 E11 - Alcantarillado para aguas negras 0,87 0,00 E12 -Actividades para actividades culturales 0,87 0,00 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR. Anexo 4 Construcción de índice de nivel económico El índice de nivel económico se aproxima por medio de siete variables de tenencia dentro del hogar; en el siguiente cuadro se muestra la distribución porcentual y absoluta de cada una de ellas. Distribución porcentual variables de tenencia Variable Sí No NS/NR Teléfono residencial 51,39 47,74 0,86 Teléfono celular 94,13 5,19 0,67 Vehículo propio del hogar 49,02 49,99 0,99 Conexión a internet (no celular) 57,03 42,01 0,96 Agua caliente para toda la casa 24,68 74,46 0,86 Servicio doméstico 13,01 86,13 0,86 Casa propia 71,26 27,79 0,96 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR 74 En primer lugar, como resumen de las siete variables, se crea una variable que contiene la cantidad de características o artículos que posee el ciudadano; en el siguiente cuadro se muestran estadísticas descriptivas. Estadísticas descriptivas de variable cantidad de características de tenencia Mínimo 0,0 Máximo 7,0 Media 4,1 Desviación 1,6 Posteriormente, con el fin de facilitar la interpretación del índice de nivel económico se crean tres grupos por medio de análisis de conglomerados k-medias (k=3); se ubica a los ciudadanos en nivel económico alto, medio y bajo. En el siguiente cuadro se muestra el detalle de los centroides y cantidad de ciudadanos para cada uno de los tres grupos. Centros de los conglomerados y número de casos en cada conglomerado, k=3 Nivel económico Centroide n Bajo 2,33 396 Medio 4,53 463 Alto 6,34 221 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR 75 Anexo 5 Matriz de residuos estandarizados E1 E2 E3 E4 E6 E7 E8 E10 E9 E11 E12 E1 0,0 E2 1,1 0,0 E3 -1,7 1,0 0,0 E4 1,2 -1,6 -0,6 0,0 E6 1,5 1,3 2,2 4,0 0,0 E7 0,9 -3,9 -2,8 0,1 2,0 0,0 E8 -2,3 -2,9 -3,2 -1,5 1,7 4,1 0,0 E10 0,4 -0,8 0,5 0,9 -2,9 -1,9 -1,0 0,0 E9 -2,3 -2,0 -0,4 3,2 -0,9 1,5 0,4 -3,1 0,0 E11 2,5 0,0 0,8 1,5 -3,0 -2,7 -2,2 3,2 -2,6 0,0 E12 -1,3 -0,1 -0,2 2,1 0,3 -0,9 -0,4 -2,2 4,0 -3,0 0,0 Fuente: Elaboración a partir de archivo de datos de Encuesta Nacional de Percepción de Servicios Públicos 2018, CGR