UNIVERSIDAD DE COSTA RICA SISTEMA DE ESTUDIOS DE POSGRADO COMPARACIÓN DE MÉTODOS DE EVALUACIÓN DE MODELOS CLIMÁTICOS GLOBALES PARA AMÉRICA CENTRAL Tesis sometida a la consideración de la Comisión del Programa de Estudios de Posgrado en Estad́ıstica para optar al grado y t́ıtulo de Maestŕıa Académica en Estad́ıstica MARIO JAVIER GÓMEZ CAMACHO Ciudad Universitaria Rodrigo Facio, Costa Rica 2023 Dedicatoria A Maŕıa Emma y Don Mario. ii Agradecimientos Quiero agradecer a todos los miembros de mi Comité Asesor, quienes de forma voluntaria y desinteresada, me han regalado tiempo y dedicación para poder completar este proyecto. Gracias al profesor Shu Wei, por sus considerables aportes, a Don Hugo y a Don Eric, quienes sin conocerme me abrieron las puertas de su lugar de trabajo, y al profesor Luis, quien me guió y apoyó a lo largo de todo el proceso. También le debo las gracias a la profesora Marcela, al profesor Johnny, al profesor Ricardo y al profesor Gilbert, quienes también confiaron en mı́ en las etapas tempranas de esta empresa y quienes me brindaron siempre su consejo y calidez. To- dos ellos forman parte de un grupo más amplio de profesores que durante la maestŕıa compartieron conmigo su experiencia y conocimiento, con quienes también estoy pro- fundamente agradecido. Gracias también a Cindy, quien desde la parte administrativa siempre me atendió de la mejor manera y a todos aquellas otras personas que, con su trabajo, colaboraron desde este programa de posgrado para que hoy pueda estar escribiendo estas ĺıneas. Deseo reconocer a todo el personal del CIGEFI que colaboró en la investiga- ción, especialmente a la Bach. Blanca Calderón por su colaboración en el procesamiento de los datos. A familiares y amigos, que oran, que motivan, que distraen. Gracias. iii “Esta tesis fue aceptada por la Comisión del Programa de Estudios de Posgrado en Estad́ıstica de la Universidad de Costa Rica, como requisito parcial para optar al grado y t́ıtulo de Maestŕıa Académica en Estad́ıstica” Dra. Adriana Sánchez Chavarŕıa Representante de la Decana Sistema de Estudios de Posgrado PhD. Luis Barboza Chinchilla Director de tesis PhD. Hugo Hidalgo León Asesor PhD. Eric Alfaro Mart́ınez Asesor Dr. Shu Wei Chou Chen Asesor Invitado Dr. Gilbert Brenes Camacho Director Programa de Posgrado en Estad́ıstica Mario Javier Gómez Camacho Candidato iv Tabla de contenidos Dedicatoria ii Agradecimientos iii Hoja de Aprobación iv Resumen viii Lista de cuadros ix Lista de figuras x Lista de abreviaturas xii 1. Introducción 1 1.1. Justificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2. Problema de investigación . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 v 1.3.1. Objetivo general . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3.2. Objetivos espećıficos . . . . . . . . . . . . . . . . . . . . . . . . 4 2. Marco teórico 5 2.1. Datos espaciales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2. Datos temporales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3. Datos espaciotemporales . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.4. Modelos climáticos y su evaluación . . . . . . . . . . . . . . . . . . . . 8 2.5. Análisis de datos funcionales . . . . . . . . . . . . . . . . . . . . . . . . 10 2.6. Técnicas estad́ısticas utilizadas . . . . . . . . . . . . . . . . . . . . . . 11 2.6.1. Puntaje de Habilidad Espacial . . . . . . . . . . . . . . . . . . . 11 2.6.2. Eficiencia Espacial . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.6.3. Distancia de Wasserstein . . . . . . . . . . . . . . . . . . . . . . 13 2.6.4. Eficiencia Espacial de Wasserstein . . . . . . . . . . . . . . . . . 14 2.6.5. Atipicidad Funcional . . . . . . . . . . . . . . . . . . . . . . . . 15 3. Marco metodológico 18 3.1. Diseño de la simulación . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.1. Comportamiento de las técnicas . . . . . . . . . . . . . . . . . . 18 3.1.2. Robustez de las técnicas . . . . . . . . . . . . . . . . . . . . . . 20 vi 3.2. Caso de aplicación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.1. Fuentes de datos o diseño del estudio . . . . . . . . . . . . . . . 23 3.2.2. Definición de variables . . . . . . . . . . . . . . . . . . . . . . . 25 3.2.3. Evidencias de calidad de la medición para las variables . . . . . 26 3.2.4. Ordenamiento de modelos . . . . . . . . . . . . . . . . . . . . . 27 3.2.5. Software estad́ıstico y paquetes a emplear . . . . . . . . . . . . 30 3.2.6. Flujo de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4. Resultados 32 4.1. Comportamiento de las técnicas . . . . . . . . . . . . . . . . . . . . . . 32 4.2. Robustez de las técnicas . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.3. Selección de la técnica . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.4. Aplicación sobre modelos CMIP6 . . . . . . . . . . . . . . . . . . . . . 36 5. Conclusiones 45 5.1. Discusión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 vii Resumen El objetivo de este estudio es analizar el comportamiento de seis técnicas uti- lizadas en la evaluación de la similitud entre dos campos espaciotemporales, especial- mente en el ámbito climático, cuatro de ellas aplicadas desde una perspectiva espacial, y las dos restantes desde una perspectiva temporal, basadas en el análisis de datos fun- cionales, bajo el supuesto de que estos últimos aportarán información adicional. Para lograrlo, primero se generaron datos sintéticos para visualizar el comportamiento de las técnicas en escenarios controlados, conformados por las combinaciones de diversos valores de correlación lineal entre los campos, razón de sus desviaciones estándar, sesgo y diferencias de forma en sus distribuciones. Posteriormente se realizó una simulación para observar la robustez de cada técnica ante valores faltantes. La Eficiencia Espacial Wasserstein fue el indicador seleccionado luego de realizar estos diseños, gracias a que este cuantifica correctamente la similitud y se mantiene estable al lidiar con valores perdidos. Este indicador se utilizó para ordenar 48 modelos climáticos de acuerdo a su capacidad para reproducir el ciclo anual de algunas variables climáticas, conside- rando el periodo de 1979 a 1999. Se seleccionaron seis modelos gracias a tres métodos de análisis multicriterio: la norma eucĺıdea, TOPSIS y PROMETHEE. Estos muestran rendimientos deficientes en al menos una variable o en algún mes o estación en es- pećıfico, sin embargo, conocer la superioridad general de estos modelos facilita futuras investigaciones aplicadas. viii Lista de cuadros 3.1. Variantes a analizar para la evaluación de la robustez de las técnicas . . 21 3.2. Modelos a analizar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.3. Variables originales analizadas . . . . . . . . . . . . . . . . . . . . . . . 25 3.4. Variables derivadas analizadas . . . . . . . . . . . . . . . . . . . . . . . 26 4.1. Robustez de las técnicas analizadas . . . . . . . . . . . . . . . . . . . . 35 4.2. Posiciones de los modelos por variable y método de ordenamiento . . . 37 ix Lista de figuras 2.1. Serie vs Ciclo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2. Datos espaciotemporales. . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1. Determinación del vector w en R2 . . . . . . . . . . . . . . . . . . . . . 20 3.2. Área de interés y regiones de los patrones de teleconexión . . . . . . . . 25 3.3. Flujo de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.1. Comportamiento del Puntaje de Habilidad Espacial . . . . . . . . . . . 39 4.2. Comportamiento del Indicador de Eficiencia Espacial . . . . . . . . . . 39 4.3. Comportamiento de la Distancia de Wasserstein . . . . . . . . . . . . . 40 4.4. Comportamiento de la Eficiencia Espacial Wasserstein . . . . . . . . . . 40 4.5. Comportamiento del Índice de Atipicidad basado en Profundidad . . . 41 4.6. Comportamiento del Índice de Atipicidad basado en Distancia . . . . . 41 4.7. Posiciones de los modelos seleccionados . . . . . . . . . . . . . . . . . . 42 4.8. EEW de variables derivadas de precipitación y temperatura por mes . . 43 x 4.9. EEW de teleconexiones por estación . . . . . . . . . . . . . . . . . . . . 44 xi Lista de abreviaturas ADF Análisis de Datos Funcionales. 2 ATN Atlántico Tropical Norte. 3 CIGEFI Centro de Investigaciones Geof́ısicas. 3 CMIP Coupled Model Intercomparison Project. 2 DWS Distancia de Wasserstein. 13 ECM Error Cuadrático Medio. 11 EEW Eficiencia Espacial de Wasserstein. 14 ENOS El Niño-Oscilación Sur. 3 ESGF Earth System Grid Federation. 23 GCM General Circulation Model. 1 IAD Índice de Atipicidad basado en la Distancia. 17 IAP Índice de Atipicidad basado en la Profundidad. 16 IEE Indicador de Eficiencia Espacial. 13 L2N L2-Norma. 27 xii NOOA National Oceanic and Atmospheric Administration. 23 PHE Puntaje de Habilidad Espacial. 11 PRD PRecipitación-Desviación estándar. 26 PRM PRecipitación-Media. 26 PROMETHEE Preference Ranking Organization METHod for Enrichment of Eva- luations. 27 TOPSIS Technique for Order of Preference by Similarity to Ideal Solution. 27 TPD TemPeratura-Desviación estándar. 26 TPM TemPeratura-Media. 26 xiii 1 1. Introducción 1.1. Justificación La automatización y el mejoramiento de equipos de medición en diferentes campos de la ciencia y la industria han causado la proliferación de datos espaciotem- porales en los últimos años (Wikle, Zammit-Mangion y Noel Cressie, 2019). Las depen- dencias en el tiempo y el espacio, y sus caracteŕısticas no estáticas crean la necesidad de nuevas formas de análisis (Ferreira y col., 2020). Un caso espećıfico en el análisis de datos espaciotemporales es la evaluación de modelos climáticos o modelos de circulación general (GCMs, por sus siglas en inglés). Estos utilizan ecuaciones matemáticas para caracterizar cómo la enerǵıa y la materia interactúan en diferentes partes del océano, la tierra y la atmósfera (National Oceanic and Atmospheric Administration, 2020). Distintos indicadores de desempeño son utili- zados para cuantificar la capacidad de estos modelos para reproducir una caracteŕıstica o proceso climático determinado (Baker y P. C. Taylor, 2016) con base en su similitud con una referencia, la cual consta generalmente de un conjunto de datos observados. En términos generales, esta similitud se basa en la diferencia entre dos objetos, su corres- pondencia o una combinación de ambas, por ejemplo, desde una concepción geométrica, la similitud entre un modelo y su referencia aumentará conforme disminuya la “distan- cia” entre ellos para un atributo de interés, o desde un punto de vista transformacional, esta es inversamente proporcional a la cantidad de operaciones necesarias para convertir 2 a uno en el otro (McIntosh y Yuan, 2005). Aunque existe una amplia variedad de este tipo de medidas de desempeño (Raju y K.D., 2014), la exploración de nuevos métodos de evaluación resulta aún necesaria (Knutti, 2010). Aunque regularmente, este tipo de datos se recolectan o generan en intervalos de tiempo discretos como d́ıas, meses o años; se debe considerar que al hacerlo se omite información relevante que se encuentra oculta en la naturaleza continua de los mismos (Green y Silverman, 1993). Una forma de solventar este problema es considerar estos datos como un conjunto de funciones. En este enfoque, conocido como Análisis de datos funcionales (ADF) (J. Ramsay, 1982), la unidad indivisible de análisis son funciones y, de manera análoga a las técnicas estad́ısticas clásicas, se busca representar y visualizar estas funciones para hacer comparaciones, estudiar variabilidad y tendencias, modelar y predecir (Suhaila y Yusop, 2017). A pesar del creciente interés de la comunidad cient́ıfica en la aplicación del ADF sobre datos correlacionados en el espacio (Giraldo, Delicado y Mateu, 2012), la literatura relacionada no es extensiva (Delicado y col., 2010), especialmente en la comparación de campos, ya que los avances más relevantes están orientadas a la inter- polación, relación de variables utilizando regresión o técnicas no paramétricas (Ruiz- Medina, 2012) y métodos de regionalización mediante agrupamiento funcional (Ballari y col., 2018). El uso del ADF para la evaluación de modelos y su comparación con méto- dos tradicionales se considera uno de los principales aportes de esta investigación. Los resultados permitirán establecer las condiciones en la que cada uno de los enfoques resulta apropiado, lo que brindaŕıa una gúıa de uso para investigadores vinculados con disciplinas cient́ıficas relacionadas al estudio del clima y el ambiente y una potencial herramienta estad́ıstica en otras áreas. Como caso de aplicación, con base en los resultados, se evaluarán 48 salidas de modelos de la fase 6 del Proyecto de Intercomparación de Modelos Acoplados (CMIP, 3 por sus siglas en inglés) (Eyring y col., 2016; Balaji y col., 2018) respecto a su capa- cidad para reproducir el comportamiento de variables climáticas básicas en América Central; la precipitación, temperatura y patrones de teleconexión El Niño-Oscilación Sur (ENOS) y Atlántico Tropical Norte (ATN). Esta evaluación forma parte de un proceso de preselección de modelos que serán sometidos a análisis más detallados por parte de investigadores del Centro de Investigaciones Geof́ısicas de la Universidad de Costa Rica (CIGEFI). 1.2. Problema de investigación Como ya se mencionó, la operación de ordenamiento de modelos se realiza obedeciendo a uno o más estad́ısticos que miden el grado de similitud de los datos provenientes de estos con los datos observados (Hidalgo y Alfaro, 2012;Hidalgo y Alfaro, 2015). Actualmente, no se tiene certeza de que los métodos utilizados tradicionalmente reflejen de forma correcta dicha similitud. Dadas estas circunstancias, este estudio quiere responder a la pregunta: ¿Cuál es el mejor método para evaluar modelos climáticos en cuan- to a su capacidad para reproducir caracteŕısticas básicas de los datos ob- servados? Considerando las caracteŕısticas de los datos utilizados para hacer la evalua- ción, la pregunta podŕıa ser replanteada de manera más general: ¿Cuál es el mejor método para evaluar la similitud entre dos cam- pos espaciotemporales? Se tiene especial interés en determinar si las técnicas funcionales propuestas son una alternativa válida para esta problemática. 4 1.3. Objetivos 1.3.1. Objetivo general Analizar y comparar el desempeño de métodos de evaluación de modelos climáticos en cuanto a su capacidad para identificar correctamente aquellos que re- produzcan de mejor forma ciertas caracteŕısticas básicas de los datos observados y aśı contribuir con el proceso de selección de los mismos en investigaciones climatológicas. 1.3.2. Objetivos espećıficos 1. Examinar las relaciones teóricas entre el análisis de datos espaciotemporales y el ordenamiento de modelos climáticos. 2. Caracterizar el comportamiento de los métodos de evaluación seleccionados, tan- to tradicionales como funcionales, y determinar su robustez ante datos faltantes mediante el uso de escenarios de simulación. 3. Identificar las fortalezas y debilidades de los diversos métodos y enfoques de eva- luación. 4. Utilizar los hallazgos del estudio para evaluar modelos climáticos CMIP6 en América Central en cuanto a su capacidad para reproducir el comportamiento de las variables de precipitación, temperatura y los patrones de teleconexión ENOS y ATN. 5 2. Marco teórico 2.1. Datos espaciales De acuerdo con Schabenberger y Gotway (2005) la principal razón para ana- lizar datos espaciales es para responder a la pregunta “¿Cuánto en dónde?”. Es decir, los datos espaciales son atributos asociados a locaciones definidas por un sistema de coordenadas. Debido a esto, una caracteŕıstica distintiva es la autocorrelación de las observaciones en el espacio; observaciones próximas tienden a ser más similares que observaciones más separadas. Desde el punto de vista estad́ıstico, Cressie (1993) indica que un conjunto de datos espaciales puede ser visto como una realización de un proceso estocástico {Z(s) : s ∈ D} donde s es un locación en un espacio euclideano d-dimensional que vaŕıan en el sub- conjunto D ⊂ Rd. Dependiendo de la naturaleza de D, es posible categorizar los datos espaciales de la siguiente manera: Datos geoestad́ısticos: en este caso D es un subconjunto fijo de volumen positivo, es decir, s vaŕıa de forma continua en la región D. 6 Datos de área: se presentan cuando D es fijo pero discreto; está formado por una colección contable de locaciones. Patrones de puntos: es el resultado de que D sea un proceso de puntos espacia- les, un proceso estocástico cuyas realizaciones consisten en un conjunto finito o contablemente infinito de puntos en un plano (Gelfand y col., 2010), de la forma ∪{Z(si) : s ∈ D} 2.2. Datos temporales Los datos temporales no son más que aquellos que se observan en distintos momentos en el tiempo. Al igual que con los datos espaciales, la correlación entre puntos adyacentes en el tiempo, restringe la aplicación de métodos estad́ısticos convencionales que asumen que estas observaciones adyacentes son independientes e idénticamente distribuidas (Shumway y Stoffer, 2017). Estos datos pueden verse como una secuencia de variables aleatorias y los datos observados como la realización del proceso estocástico {Z(t) : t ∈ T} donde t es un punto temporal del subconjunto T ⊆ R. En el área de la climatoloǵıa, además de este concepto tradicional de una serie temporal (Figura 2.1a), es común el uso del ciclo anual (Figura 2.1b), el cual se entiende como el componente de variabilidad que es función del d́ıa o mes del año, pero es independiente del año (American Meteorological Society, 2022). Este es normalmente representado por alguna medida de tendencia central como la media o la mediana, y es conocido también como la climatoloǵıa de la serie de tiempo. 7 (a) Serie (b) Ciclo Figura 2.1: Serie vs Ciclo. 2.3. Datos espaciotemporales Si se recolectan datos en distintos puntos del tiempo y el espacio, se obtienen datos espaciotemporales. Esto implica que cada medición tenga asociada tanto la di- mensión espacial como la temporal (Tan y Yan, 2017). En el contexto geográfico estos datos presentan la estructura mostrada en la Figura 2.2a. Wikle y col. (2019) consi- deran que la definición de este tipo de datos depende de la perspectiva del análisis a realizar. Desde la perspectiva temporal (Figura 2.2b), estos pueden ser vistos como una colección de series de tiempo. Por otro lado, desde la perspectiva espacial (Figura 2.2c), estos son un agregado de estados estáticos o “fotograf́ıas”, sin importar si se trata de puntos, ĺıneas, áreas o rejillas. Esta situación genera que su análisis, de acuerdo con Schabenbenger y Gotway (2005) sea “condicional”, es decir, se considera el tiempo y el espacio como dimensiones aisladas. Siguiendo nuevamente las definiciones de Cressie (1993), los datos espaciotem- porales pueden verse como la realización del proceso 8 (a) Estructura (b) Perspectiva temporal (c) Perspectiva espacial Figura 2.2: Datos espaciotemporales. {Z(s, t) : s ∈ D(t), t ∈ T} en donde D(t) es un segmento temporal de D, ya que ahora D ⊆ Rd ×R. 2.4. Modelos climáticos y su evaluación Los modelos climáticos son representaciones matemáticas complejas de los mayores componentes del sistema climático: atmósfera, hidrosfera, litosfera, criosfera y biosfera (Geophysical Fluid Dynamics Laboratory, 2020). Estos pueden ser clasificados por su nivel de complejidad. Los modelos más complejos son los GCMs. Estos se ca- racterizan por su dominio global y la representación expĺıcita de un amplio rango de procesos oceánicos y atmosféricos (Katzav y Parker, 2015). El CMIP es una iniciativa que permite el acceso de la comunidad cient́ıfica a los datos generados por estos mo- delos en un formato estándar, con el objetivo de potenciar las investigaciones dirigidas al entendimiento del sistema terrestre y el cambio climático (World Climate Research Programme, 2021). La necesitad de expandir constantemente el alcance de este enten- dimiento mediante la inclusión de nuevas preguntas cient́ıficas y en consecuencia, la creciente complejidad de los modelos, fuerzan la evolución de este proyecto (Eyring 9 y col., 2016), el cual se encuentra actualmente en su sexta fase (CMIP6). Dado que estos modelos son desarrollados por diferentes grupos de investiga- ción alrededor del mundo, considerando distintos supuestos, no resulta sorprendente que existan divergencias entre sus proyecciones (Nguyen y col., 2017). La evaluación de modelos climáticos consiste en el análisis de las diferencias entre estas proyecciones y los datos observados (Intergovernmental Panel on Climate Change, 2014), y aśı identifi- car aquellos con mejor desempeño; su capacidad para reproducir una caracteŕıstica del clima de una región espećıfica para un peŕıodo determinado (un ejemplo que incluye la región de América Central es Almazroui y col., 2021). Se tiene entonces que el desem- peño de un modelo se ve afectado por el atributo de interés, el marco espaciotemporal, el conjunto de datos observados utilizado y finalmente el estad́ıstico para cuantificar su similitud (Pincus y col., 2008). Aunque existe una plétora de estos estad́ısticos (Raju y K.D., 2014), no existe una técnica estándar, ya que su selección también dependerá de un objetivo de medición (Gleckler, K. E. Taylor y Doutriaux, 2008). De acuerdo con Taylor (2001) una medida de desempeño de un modelo debeŕıa cumplir con lo siguiente: Para una varianza fija el estad́ıstico debe mejorar al aumentar la correlación lineal con los datos observados Para una correlación dada el estad́ıstico debe mejorar conforme la varianza del modelo se acerca a la varianza observada. Para una varianza y correlación establecidas, el estad́ıstico debe mejorar conforme la media se acerca a la media observada. A nivel general, la mayoŕıa de estos estad́ısticos se basan en una comparación “punto a punto”, lo que en el contexto de la evaluación climática no es posible, ya que no existe una correspondencia temporal entre los datos simulados por los modelos y los datos observados (Pincus y col., 2008), esto debido a la influencia de las condiciones iniciales (Jones y Nikulin, 2009). Una contramedida es realizar la evaluación sobre 10 un ciclo anual de la variable elegida o recurrir a métodos más avanzados que puedan considerar este desfase, como aquellos basados en el análisis funcional. 2.5. Análisis de datos funcionales De acuerdo con Ramsay y Silverman (2005), ciertos datos son generados por procesos de naturaleza funcional. Datos discretos xi1, ..., xin pueden verse como n obser- vaciones de una función xi, cuyo valor xi(t) es computable para cualquier valor de t en un intervalo [T1, T2]. Esto puede ser logrado mediante la interpolación o el suavizamien- to, dependiendo de la presencia del error observacional. En el caso del suavizamiento, es posible aproximar cualquier función mediante una combinación lineal de K funciones base φ: xi(t) = K∑ k=1 cikφk(t), i = 1, 2, ...,m. siendo cik el k-ésimo coeficiente de la i-ésima curva. Estos datos, de forma intŕınseca poseen una dimensionalidad infinita, lo que por un lado implica un reto teórico y computacional pero a cambio brindan mayor información sobre el objeto de estudio (Wang, Chiou y Müller, 2015). Muchos de los análisis más utilizados en el contexto multivariado han sido adaptados a los datos funcionales (J. Ramsay y Silverman, 2005). Uno de estos análisis obedece a la necesidad de ordenar curvas. La profundidad estad́ıstica es una herramienta natural para este objetivo. Esta es una medida de “centralidad” o “atipicidad” de una observación respecto a un conjunto de datos o una población (López-Pintado y Romo, 2009). Dada una distribución de probabilidad F enRd, la profundidad estad́ıstica asigna a cada punto x un valor real no negativo D(x, F ). Este valor será alto en los puntos centrales respecto a F , y baja en los puntos periféricos (Sguera, Galeano y Lillo, 2014). 11 2.6. Técnicas estad́ısticas utilizadas El análisis de una lista completa y detallada de medidas para evaluar el des- empeño de modelos climáticos va más de los objetivos de este proyecto, sin embargo, después de examinar varios enfoques y opciones, se han seleccionado las siguientes técni- cas con base en su capacidad para identificar la similitud de los modelos con los datos de referencia. A continuación se exponen las técnicas seleccionadas. 2.6.1. Puntaje de Habilidad Espacial Murphy (1988) define el puntaje de habilidad espacial (PHE) como la precisión relativa entre dos pronósticos, donde uno de ellos se considera de referencia. De manera general, es posible definir la habilidad H respecto a una medida de precisión Λ de la siguiente manera: H = Λy − Λr Λω − Λr donde Λy, Λω y Λr representan la precisión del pronóstico de interés, del pronóstico perfecto y del pronóstico de referencia respectivamente. Si se tienen dos vectores x = {x1, x2, ..., xn} y y = {y1, y2, ..., yn}, los cuales representan los valores observados y pronosticados para un área espećıfica en un tiempo t, el error cuadrático medio (ECM) entre ellos puede ser definido como ECM(x,y) = 1 n n∑ i=1 (xi − yi)2 y si este es utilizado como medida de precisión Λ, se tiene entonces que Λω = 0, por lo 12 que, la habilidad H se tranforma en el PHE’, el cual se puede expresar mediante PHE ′(x,y, r) = 1− ECM(x,y) ECM(x, r) , y de acuerdo a las observaciones de Murphy, la referencia r puede ser reemplazada por la media muestral x̄. Este hecho más la descomposición del ECM, permiten replantear el PHE’ de la siguiente manera PHE ′(x,y) = ρ2xy − [ ρxy − sy sx ]2 − [ ȳ − x̄ sx ]2 . (2.1) donde sx y sy son, respectivamente, las desviaciones estándar de los datos pronosticados y observados y ρxy es el coeficiente de correlación lineal entre ellos. Los valores obtenidos pueden variar desde −∞ hasta un valor de coincidencia perfecta de 1 a entre los valores pronosticados y los observados. En este estudio se utilizará el indicador PHE = 1 − PHE ′, la desviación de PHE’ de su valor ideal, y este ahora está restringido a sólo valores positivos, el intervalo [0,+∞[. El PHE, se utilizará como medidas estándar debido a su ubicuidad y a su uso previo en la evaluación de modelos de la fase CMIP5 en América Central (Hidalgo y Alfaro, 2015). También fue utilizado en la evaluación de modelos para proyecciones de cambio climático en el paisaje marino del Paćıfico oriental tropical (Hidalgo y Alfaro, 2012). 2.6.2. Eficiencia Espacial En el campo de la hidroloǵıa, el PHE’ es conocido como la eficiencia Nash–Sutcliffe (Nash y Sutcliffe, 1970). En este mismo campo, aśı como en las ciencias atmosféricas, la eficiencia Kling-Gupta ha surgido como una alternativa ante las deficiencias del PHE’ 13 (Gupta y col., 2009; Centella-Artola y col., 2020). Este indicador se basa en una perspec- tiva multiobjetivo en la calibración de modelos hidrológicos; se deja de lado la relación teórica entre la correlación, el sesgo y la razón de desviaciones estándar y se optimiza cada uno de estos criterios por separado. Con el fin de capturar también las diferencias de forma en las distribuciones de los campos, Koch y col. (2018) proponen el indicador de eficiencia espacial (IEE’). Se tiene entonces que IEE ′(x,y) = 1− √ (α− 1)2 + (β − 1)2 + (γ − 1)2 (2.2) donde α = ρxy, β = (sy/ȳ)/(sx/x̄) y γ = ∑K k=1 mı́n(hxk, hyk)/ ∑K k=1 hxk. Este último término describe la intersección de los histogramas hx y hy, correspondientes a x y y comparando uno a uno de sus K intervalos (Swain y Ballard, 1991). Al igual que el PHE’, el rango de IEE’ es ]−∞, 1], pero es posible también considerar su desviación del óptimo IEE = 1− IEE ′ para obtener valores en [0,+∞[. Este indicador fue utilizado por Ahmed y col. (2019) para evaluar 36 modelos CMIP5 para Pakistán en el peŕıodo 1961-2005 acorde a las variables de precipitación y temperatura mı́nima y máxima. Otro ejemplo es la comparación de estimados de precipitación en China realizada por Zhang y col. (2022). 2.6.3. Distancia de Wasserstein La distancia de Wasserstein (DWS) es una familia de métricas que se aplican sobre distribuciones de probabilidad inspiradas por el problema del transporte óptimo de masas (Villani, 2009). Este cuantifica el costo de mover una masa de una locación a otra. La distancia de Wasserstein de orden p entre dos distribuciones de probabilidad P y Q en Rd es (Panaretos y Zemel, 2019): 14 DWS(P,Q) = ı́nf X∼P Y∼Q (E‖X − Y ‖) 1 p p > 0, y si P y Q son las distribuciones emṕıricas de x y y entonces: DWSp(x,y) = ( n∑ i=1 ‖xi − yi‖p ) 1 p (2.3) A diferencia de las técnicas anteriores, esta se puede definir matemáticamen- te como una métrica: es no negativa (intervalo [0,+∞[), simétrica y cumple con la desigualdad triangular (Panaretos y Zemel, 2019). En este estudio se utiliza p = 2. Re- cientemente, Vissio y col. (2020) aplicaron esta distancia en la evaluación de modelos climáticos a escala global. 2.6.4. Eficiencia Espacial de Wasserstein Se propone sustituir la intersección de histogramas γ en la IEE por la DWS (Φ), considerando que esta puede ser aplicada sobre distribuciones no traslapadas (Bern- ton y col., 2019), este término puede capturar entonces las diferencias de medias entre ellas. La Eficiencia Espacial de Wasserstein (EEW) podŕıa expresarse como: EEW (x,y) = √ (α− 1)2 + (ς − 1)2 + Φ (2.4) donde ς = sy/sx. Este término debe ser agregado dado que DWS es aplicada sobre vectores reducidos (de varianza igual a 1). El intervalo de este indicador es nuevamente [0,+∞[. 15 2.6.5. Atipicidad Funcional Este método es una modificación de la prueba Kolmogorov-Smirnov para da- tos funcionales propuesto por Harris y col. (2020). Los autores plantean un método de comparación para evaluar las diferencias en las distribuciones de dos procesos espacio- temporales basándose en el concepto de profundidad, espećıficamente, proponen una adaptación de la profundidad de Tukey (1975). Si P es una distribución para una variable aleatoria X ∈ C[0, 1]p, y Ps es la distribución marginal de P en una locación s ∈ [0, 1]p, la profundidad univariada de Tukey X(s) = x(s) con respecto a Ps es D(x(s), Ps) = 1− |1− 2Ps(x(s))| y la profundidad integrada (Harris y col., 2020) de X = x con respecto a P es D(x, P ) = ∫ [0,1]p D(x(s), Ps)ds Se desea entonces medir la “pertenencia” de una muestra X ∼ P a una distri- buciónQ, aśı como la “pertenencia”de una muestra Y ∼ Q a una distribución P . Se debe denotar Pn como el estimador de P basado en la muestra X = {X1 = x1, ..., Xn = xn}, mientras que Qm es el estimador de Q basado en la muestra Y = {Y1 = y1, ..., Ym = ym}. Considerando un Pn fijo se mide primero la “pertenencia” de Qm respecto a Pn. F̂X(xk) = 1 n n∑ i=1 (D(xi, Pn)−D(xk, Pn)) 16 ĜY (xk) = 1 n n∑ j=1 (D(yj, Pn)−D(xk, Pn)) Debido a las propiedades asimétricas de la profundidad, se evalúa posterior- mente Pn respecto a Qm. F̂X(yk) = 1 n n∑ i=1 (D(xi, Qm)−D(yk, Qm)) ĜY (yk) = 1 n n∑ j=1 (D(yj, Qm)−D(yk, Qm)) Se tienen medidas “intra-campos”(F̂X(xk), ĜY (yk)) e “inter-campos”(F̂X(yk), ĜY (xk)). Desde la perspectiva temporal, el estad́ıstico que determina la similitud entre X y Y , o el ı́ndice de atipicidad basado en profundidad (IAP), viene dado por: IAP = máx (∑ F̂X(xk)− ĜY (xk), ∑ F̂X(yk)− ĜY (yk) ) (2.5) Nuevamente, los valores del indicador van a estar entre 0 y +∞, donde 0 indica una salida perfecta, es decir, una correspondencia exacta con los valores de referencia. Este método puede ser adaptado para que utilice el concepto de distancia entre curvas en lugar de la profundidad. Para ello, los términos F̂X(xk), ĜY (yk), F̂X(yk), ĜY (xk) se redefinen de la siguiente manera: F̂X(xk) = 1 n n∑ i=1 ‖xi − xk‖ 17 ĜY (xk) = 1 n n∑ j=1 ‖yj − xk‖ F̂X(yk) = 1 n n∑ i=1 ‖xi − yk‖ ĜY (yk) = 1 n n∑ j=1 ‖yj − yk‖ Este ı́ndice de atipicidad basado en la distancia (IAD), de manera análoga, seŕıa IAD = máx (∑ F̂X(xk)− ĜY (xk), ∑ F̂X(yk)− ĜY (yk) ) (2.6) Los valores de ambos indicadores son siempre positivos ([0,+∞[). 18 3. Marco metodológico 3.1. Diseño de la simulación El presente estudio contempla dos diseños. El primero de ellos está orientado a ilustrar el comportamiento de las técnicas mediante la simulación de campos espa- ciotemporales y el otro a cuantificar su robustez ante diferentes proporciones de datos faltantes. 3.1.1. Comportamiento de las técnicas Aunque el comportamiento de la función PHE puede ser descrito anaĺıticamen- te de forma trivial, este no es el caso para las demás técnicas, por lo que es necesario la generación de datos sintéticos. En esta etapa, las realizaciones x y y de dos campos espaciotemporales X y Y fueron comparadas bajo las combinaciones resultantes de las siguientes caracteŕısticas: 1. Correlación lineal (ρ = ρxy): -0.9, -0.3, 0.3, 0.9. 2. Razón de desviaciones estándar (λ = sy sx ): 0.1, 0.7, 1.0, 1.3, 1.9. 3. Sesgo (δ = ȳ − x̄): 0.0, 1.0, 5.0. 19 Para lograrlo, primero se obtuvieron las muestras preliminares x′ y y′, las cuales también provienen de los campos mencionados; X y Y respectivamente. Estas consisten en conjuntos de 100 estados estáticos (segmentos temporales) de tamaño 5×5 y se generaron mediante un modelo de covarianza isotrópico y estacionario de la familia Matérn, de acuerdo con la ecuación: C(r) = 21−ν Γν ( √ 2νr)nuKν( √ 2νr) siendo r la distancia entre dos puntos, ν el parámetro de suavizamiento (ν = 1,5 en el caso de este diseño) y Kν es la función Bessel modificada de segundo tipo (Schlather y col., 2015). Adicional a los escenarios ya establecidos, se crearon dos condiciones; una “Sin Perturbar” en el que no se altera la forma de la distribución emṕırica de las muestras preliminares x′ o y′ y otro “Perturbado”, en el que se aplica una transformación log- normal (µ = 1 y σ = 0,5) sobre x′. Para cada combinación, los datos que componen x′ y y′ se organizaron en los vectores centrados u y v. Usando u como referencia y considerando que la correlación es la magnitud del coseno del ángulo θ entre dos vectores centrados (Shevlyakov y Oja, 2016), se generó un nuevo vector w definido por: w = ρuw v‖u ‖v‖u‖ + √ 1− ρ2uw v⊥u ‖v⊥u‖ donde ρuw es la correlación deseada entre los vectores u y w, v‖u es la proyección de v sobre u y v⊥u = v− v‖u; la proyección de v sobre el complemento ortogonal de u (Ver Figura 3.1). Dado que la correlación no se ve afectada por transformaciones lineales, se definió el vector de referencia x = u su+c y el vector y = w swλ+c+δ tal que λ = sy sx y δ = ȳ − x̄ (como es requerido) mientras ρuw = ρxy. La constante c es arbitraria, ya que 20 interés está sobre las relaciones entre ciertas caracteŕısticas de las muestras y no sus valores. En este caso c = 10. Figura 3.1: Determinación del vector w en R2 Este método para controlar las relaciones entre las realizaciones de los campos fue preferido sobre otros, como la combinación de la descomposición de Cholesky y la transformación seno-arcoseno, ya que este último no permit́ıa la alteración indepen- diente de correlación y forma de la distribución, lo cual resultaba fundamental en este diseño. Finalmente, las técnicas seleccionadas se aplicaron sobre el par de vectores x y y en cada caso. 3.1.2. Robustez de las técnicas La “robustez” de las técnicas se determinó comparando ordenamientos cons- truidos mediante campos completos con ordenamientos generados a partir de campos con diferentes proporciones p de valores faltantes, espećıficamente 0,05; 0,10 y 0.15. Las técnicas que produzcan ordenamientos más estables al pasar de estado a estado, se consideran más “robustas”. A pesar de que los métodos no funcionales solo pueden ser aplicados sobre 21 el ciclo anual en el contexto de este proyecto, con el fin de que los resultados sean generalizables a otras aplicaciones se consideró también la aplicación sobre toda la extensión temporal del campo (serie) además de la posibilidad de considerar o no los segmentos (patrones espaciales) que lo componen. Estas modificaciones hacen que las 6 técnicas originales resulten en 20 posibles variantes (Cuadro 3.1). Cuadro 3.1: Variantes a analizar para la evaluación de la robustez de las técnicas No. Indicador Perspectiva Unidad temporal Segmentación 1 PHE Espacial Serie Śı 2 PHE Serie No 3 PHE Ciclo Śı 4 PHE Ciclo No 5 IEE Serie Śı 6 IEE Serie No 7 IEE Ciclo Śı 8 IEE Ciclo No 9 DWS Serie Śı 10 DWS Serie No 11 DWS Ciclo Śı 12 DWS Ciclo No 13 EEW Serie Śı 14 EEW Serie No 15 EEW Ciclo Śı 16 EEW Ciclo No 17 IAP Temporal Serie - 18 IAP Ciclo 19 IAD Serie 20 IAD Ciclo Nota: Los resultados de los segmentos se combinan mediante la norma eucĺıdea. Para generar los ordenamientos, primero se construye un campo de referencia, el cual no vaŕıa. Luego se construyen 12 campos adicionales, cuya relación con el campo de referencia es definida por valores aleatorios: ρ ∼ Unif(0,1; 0,9) λ ∼ Unif(0,1; 0,9) δ ∼ Unif(−5, 5) 22 mientras que la condición de perturbación se define mediante una distribución Bernoulli con probabilidad de 0,5. Los 12 campos son ordenados de acuerdo a cada una de las 20 variantes del Cuadro 3.1, y el ordenamiento obtenido es comparado con el resultante al “contaminar” estos modelos con las diferentes niveles de p. Esta comparación se realiza mediante los estad́ısticos C1 y C2: C1 = n∑ i=1 1{rc(i) 6= rl(i)} C2 = n∑ i=1 |rc(i)− rl(i)| donde rc representa el ordenamiento contaminado y rl el ordenamiento “limpio” o “pu- ro”. Mientras que C1 indica si el ordenamiento cambió, C2 cuantifica este cambio. Este procedimiento se repitió 100 veces y los valores C1 y C2 se acumularon. Para ambos casos, valores bajos indican mayor robustez. La metodoloǵıa completa está basada en el estudio de Lin y Zhou (2017), donde miden el efecto de valores extremos sobre el ordenamiento de series individuales. 3.2. Caso de aplicación Los datos a analizar corresponden a las salidas de 48 modelos climáticos CMIP6 preseleccionados por el CIGEFI para las variables de precipitación, temperatura y los patrones de teleconexión ENOS y ATN. 23 3.2.1. Fuentes de datos o diseño del estudio Los datos de referencia son datos públicos disponibles en la página web del Laboratorio de Ciencias F́ısicas de la Administración Oceanográfica y Atmosférica de los Estados Unidos 1 (NOOA, por sus siglas en inglés). Los referentes a la precipitación forman parte del conjunto de datos del Proyecto Climatológico de Precipitación Global en su versión 2.3 (Adler y col., 2003). Estos comprenden mediciones mediante sensores y satélites de 1979 a la actualidad, en una rejilla global (88.75°N-88.75°S, 1.25°E-358.75°E) de 2.5°de resolución. Aquellos correspondientes a la temperatura provienen de los datos de reanálisis del Centro Nacional de Predicción Ambiental y el Centro Nacional de Investigación Atmosférica de los Estados Unidos (Kalnay y col., 1996). Su cobertura temporal es de 1948 a la fecha, y su cobertura espacial es 90°N-90°S, 0°E-357.5°E; con 2.5°de resolución. Finalmente, los patrones de teleconexión son verificados con la versión 5 del conjunto de temperatura superficial del mar de la NOOA (Huang y col., 2017). Contiene mediciones de temperatura realizadas por barcos y boyas de 1854 al presente, en el área delimitada por 88°N-88 °S, 0°E-358°E; con una resolución de 2.0°. Los datos de los modelos fueron obtenidos del Programa Mundial de Inves- tigación Climática, uno de los proyectos del nodo del Laboratorio Nacional Lawrence Livermore y el Departamento de Enerǵıa de los Estados Unidos de América, como par- te de la Federación de la Red del Sistema Terrestre 2(ESGF, por sus siglas en inglés). La lista de modelos puede verse en el Cuadro 3.2. El código y la corrida forman un identificador único para cada modelo. La corrida indica la realización (r), el método de inicialización (i), la f́ısica (p) y el forzamiento (f) utilizados. 1https://psl.noaa.gov/ 2https://esgf-node.llnl.gov/search/cmip6/ https://psl.noaa.gov/ https://esgf-node.llnl.gov/search/cmip6/ 24 Cuadro 3.2: Modelos a analizar No. Código Corrida Institución Resolución 1 CMCC-CM2-HR4 r1i1p1f1 Fondazione Centro Euro-Mediterraneo sui Cambiamenti Climatici (FCEMCC) 111 km 2 CMCC-CM2-VHR4 r1i1p1f1 FCEMCC 25 km 3 CNRM-CM6-1 r3i1p1f2 Centre National de Recherches Meteorologiques (CNRM), Centre Europeen de Recherche et de Formation Avancee en Calcul Scientifique (CERFACS) 250 km 4 CNRM-CM6-1 r2i1p1f2 CNRM-CERFACS 250 km 5 CNRM-CM6-1 r1i1p1f2 CNRM-CERFACS 250 km 6 CNRM-CM6-1-HR r1i1p1f2 CNRM-CERFACS 50 km 7 EC-Earth3P r1i1p2f1 EC-Earth consortium 100 km 8 EC-Earth3P r2i1p2f1 EC-Earth 100 km 9 EC-Earth3P r3i1p2f1 EC-Earth 50 km 10 EC-Earth3P-HR r1i1p2f1 EC-Earth 50 km 11 EC-Earth3P-HR r3i1p2f1 EC-Earth 50 km 12 EC-Earth3P-HR r2i1p2f1 EC-Earth 50 km 13 ECMWF-IFS-HR r1i1p1f1 European Centre for Medium-Range Weather Forecasts (ECMWF) 25 km 14 ECMWF-IFS-HR r3i1p1f1 ECMWF 25 km 15 ECMWF-IFS-HR r5i1p1f1 ECMWF 25 km 16 ECMWF-IFS-HR r4i1p1f1 ECMWF 25 km 17 ECMWF-IFS-HR r6i1p1f1 ECMWF 25 km 18 ECMWF-IFS-HR r2i1p1f1 ECMWF 25 km 19 ECMWF-IFS-LR r1i1p1f1 ECMWF 50 km 20 ECMWF-IFS-LR r8i1p1f1 ECMWF 50 km 21 ECMWF-IFS-LR r5i1p1f1 ECMWF 50 km 22 ECMWF-IFS-LR r7i1p1f1 ECMWF 50 km 23 ECMWF-IFS-LR r2i1p1f1 ECMWF 50 km 24 ECMWF-IFS-LR r3i1p1f1 ECMWF 50 km 25 ECMWF-IFS-LR r6i1p1f1 ECMWF 50 km 26 ECMWF-IFS-LR r4i1p1f1 ECMWF 50 km 27 ECMWF-IFS-MR r1i1p1f1 ECMWF 50 km 28 ECMWF-IFS-MR r2i1p1f1 ECMWF 50 km 29 ECMWF-IFS-MR r3i1p1f1 ECMWF 50 km 30 GFDL-CM4C192 r1i1p1f1 Geophysical Fluid Dynamics Laboratory (NOAA-GFDL) 100 km 31 HadGEM3-GC31-HH r1i1p1f1 Natural Environment Research Council (NERC) 50 km 32 HadGEM3-GC31-HM r1i1p1f1 Met Office Hadley Centre (MOHC) 50 km 33 HadGEM3-GC31-HM r1i3p1f1 MOHC 50 km 34 HadGEM3-GC31-HM r1i2p1f1 NERC 50 km 35 HadGEM3-GC31-LL r1i1p1f1 MOHC 250 km 36 HadGEM3-GC31-LL r1i3p1f1 MOHC 250 km 37 HadGEM3-GC31-LL r1i4p1f1 MOHC 250 km 38 HadGEM3-GC31-LL r1i5p1f1 MOHC 250 km 39 HadGEM3-GC31-LL r1i7p1f1 MOHC 250 km 40 HadGEM3-GC31-LL r1i2p1f1 MOHC 250 km 41 HadGEM3-GC31-LL r1i6p1f1 MOHC 250 km 42 HadGEM3-GC31-LL r1i8p1f1 MOHC 250 km 43 HadGEM3-GC31-MM r1i1p1f1 MOHC 100 km 44 HadGEM3-GC31-MM r1i3p1f1 MOHC 100 km 45 HadGEM3-GC31-MM r1i2p1f1 MOHC 100 km 46 INM-CM5-H r1i1p1f1 Institute for Numerical Mathematics (INM-RAS) 100 km 47 MPI-ESM1-2-HR r1i1p1f1 Max Planck Institute for Meteorology (MPIM) 100 km 48 MPI-ESM1-2-XR r1i1p1f1 MPIM 50 km 25 3.2.2. Definición de variables Las variables para analizar son las medias mensuales de precipitación y tem- peratura superficial en el área bajo estudio (4°N-20°N, 95°O-75°O), aśı como la tempe- ratura superficial del mar en las regiones Niño 1.2, Niño 3, Niño 3.4, Niño 4 y ATN, en el peŕıodo de 1979 a 1999 (Figura 3.2). Figura 3.2: Área de interés y regiones de los patrones de teleconexión El Cuadro 3.3 detalla los nombres de las variables involucradas tanto en los conjuntos de datos observados como en la familia de modelos CMIP6. Cuadro 3.3: Variables originales analizadas Variable Datos observados Datos de modelos Nombre Unidades Nombre Unidades Precipitación precip mm/d́ıa pr kg/m2s Temperatura Superficial air °C tas K Temperatura Superficial del mar sst °C - - Variables derivadas surgen cuando se construyen los ciclos anuales y los patro- nes de teleconexión necesarios en este estudio. Por ejemplo, si se calcula la media de los valores de precipitación de cada enero en cada punto de la grilla y esta tarea se repite para los meses restantes, se tendrá entonces el ciclo anual de medias de precipitación, las cuales describen una nueva variable. Esta procedimiento puede ser replicado utilizando otro estad́ıstico u otra variable base. En este estudio, además del ejemplo brindado, se utilizó el ciclo anual de las desviaciones estándar y sus análogos para la temperatura su- 26 perficial. En cuanto a los patrones de teleconexión, estos se utilizan en climatoloǵıa para describir el enlace entre variables de dos zonas geográficas separadas (Nigam y Bax- ter, 2015). Para generarlos se utilizó el procedimiento propuesto por Hidalgo y Alfaro (2015), en el que, para cada estación del año (Diciembre-Enero-Febrero [DEF], Marzo- Abril-Mayo [MAM], Junio-Julio-Agosto [JJA], Setiembre-Octubre-Noviembre [SON]) se calcula la correlación temporal entre la serie de tiempo de la superficie superficial del mar y las series de precipitación contenidas en la región de estudio. Un resumen de las nuevas variables obtenidas está en el Cuadro 3.4. Cuadro 3.4: Variables derivadas analizadas Variable Descripción PRM Media de precipitación PRD Desviación estándar de precipitación TPM Media de temperatura superficial TPD Desviación estándar de temperatura superficial ENOS Teleconexión El Niño-Oscilación Sur ATN Teleconexión Atlántico Tropical Norte Notas: ENOS incluye a todas las regiones. 3.2.3. Evidencias de calidad de la medición para las variables Dentro de las técnicas de control de calidad de los datos utilizadas por la NOOA se encuentran: Chequeo de errores que muestren datos fuera de rangos realistas. Comparaciones con otras fuentes independientes. Revisión de series de tiempo individuales y resúmenes estad́ısticos. Aplicación de ajustes a medidas obtenidas por sensores mediante comparaciones pre y post calibración. 27 Inspección visual de los datos (National Oceanic and Atmospheric Administration, 1999). En cuanto a los datos de los modelos, la ESFG describe que el aseguramiento de la calidad de los datos se realiza en tres etapas: La revisión inicial por parte del ente creador del modelo, una revisión secundaria en el centro de datos y finalmente la revisión realizada por la comunidad cient́ıfica luego de la publicación (Toussaint, Stockhouse y Lautenschlager, 2016). 3.2.4. Ordenamiento de modelos Debido a que el desempeño de cada modelo es descrito por varias variables, su selección y ordenamiento se vuelve un problema de decisión multicriterio. En el con- texto de la evaluación de GCMs, no existe consenso sobre un método particular, por lo que se optó por aplicar tres de ellos: la norma eucĺıdea (L2N) a modo de control, la Técnica para Orden de Preferencia por Similaridad a la Solución Ideal (TOPSIS, por su siglas en inglés) (Lai, T.-Y. Liu y Hwang, 1994) y el Método de Organiza- ción de la Clasificación de Preferencias para el Enriquecimiento de las Evaluaciones (PROMETHEE, por sus siglas en inglés) (Brans, Vincke y Mareschal, 1986). Esta esco- gencia se realizó debido a su popularidad, propiedades, diferencia de enfoque (Salabun, Watróbski y Shekhovtsov, 2020) y su uso previo en estudios similares (Raju y K.D., 2014; Sithara, Pramada y Thampi, 2022; Thakur y Manekar, 2022; Zamani y Bernd- tsson, 2019). Se procedió finalmente a seleccionar aquellos modelos coincidentes dentro de las primeras ocho posiciones de acuerdo a cada uno de estos ordenamientos finales. A continuación se describen cada uno de estos métodos. Se parte de un con- junto A = {a1, a2, ..., an} de n modelos o alternativas y un conjunto F = {f1, f2, ..., fm} de m variables o criterios que deben ser, en este caso, minimizados, organizados de la siguiente forma 28 f1(a1) f2(a1) · · · fm(a1) f1(a2) f2(a2) · · · fm(a2) ... ... . . . ... f1(an) f2(an) · · · fm(an)  Norma eucĺıdea (L2N) El concepto de norma eucĺıdea o L2-norma es utilizado para calcular la dis- tancia de un modelo a al origen o punto 0 en un espacio de m dimensiones, de la forma siguiente da = √√√√ m∑ j=1 (fj(a))2 Estos valores de distancia son utilizados para realizar el ordenamiento de forma directa, de menor a mayor; los mejores modelos son aquellos ubicados a una menor distancia del origen en el espacio Rm. TOPSIS Este método se basa también en la distancia eucĺıdea, pero en vez de utilizar el 0 como punto de referencia, se utiliza la solución ideal positiva y negativa para cada variable, representadas respectivamente por fj(·)+ y fj(·)−, los cuales corresponden a los valores mı́nimos y máximos de cada columna. Se tiene entonces que las distancias de cada modelo a estos valores son d+a = √√√√ m∑ j=1 (fj(a)− fj(·)+)2 29 d−a = √√√√ m∑ j=1 (fj(a)− fj(·)−)2 El puntaje ξa = d−a /(d − a + d+a ) es utilizado para ordenar las alternativas de mayor a menor, es decir, los modelos con puntajes más altos se consideran mejores y por lo tanto ocupan una menor posición en el ordenamiento. La descripción completa de este proceso puede encontrarse en Lay y col. (Lai, T.-Y. Liu y Hwang, 1994). PROMETHEE Este método se basa en la comparación de dos alternativas {a, a∗} ∈ A, me- diante una función de preferencia Pj(a, a ∗). Esta función depende de la diferencia entre las evaluaciones de a y a∗, expresada como ∆j(a, a ∗) = fj(a)− fj(a∗). Aunque existen diversos tipos de funciones de preferencia, en este estudio se optó por la “función usual”, descrita por Pj(a, a ∗) = 0 si ∆j(a, a ∗) ≥ 0 1 si ∆j(a, a ∗) < 0 Cuando se utiliza esta función, se está indicando que a es estrictamente prefe- rible sobre a∗ ante cualquier diferencia negativa. El ordenamiento de modelos se realiza con base en el puntaje Φ(a), definido como Φ(a) = ∑ a∗∈A π(a, a∗) n− 1 − ∑ a∗∈A π(a∗, a) n− 1 donde π(a, a∗) representa el promedio ponderado de las funciones de preferencia: 30 π(a, a∗) = ∑m j=1 ωjPj(a, a ∗)∑m j=1 ωj Al igual que en el caso de TOPSIS, mayores valores de puntaje están asociados a los mejores modelos. Para conocer la versión detallada del procedimiento general es posible consultar a Brans y col. (1986). 3.2.5. Software estad́ıstico y paquetes a emplear Todos los análisis estad́ısticos, tanto para la simulación como para el caso de aplicación, se desarrollarán utilizando el lenguaje de programación R (R Core Team, 2019). Los paquetes más relevantes son: RandomFields: métodos para la simulación e inferencia de campos aleatorios Gaussianos y de valores extremos (Schlather y col., 2015). fda: paquete original del ADF (J. O. Ramsay, Graves y Hooker, 2020). fda.usc: rutinas para el análisis exploratorio y descriptivo de datos funcionales (Febrero-Bande y Oviedo de la Fuente, 2012). ncdf4: interface de alto nivel para los archivos netCDF en su versión 4.0 o ante- riores (Pierce, 2019). raster: funciones de bajo y alto nivel para la lectura, escritura, manipulación, análisis y modelado de datos tipo raster (Hijmans, 2020). 3.2.6. Flujo de trabajo El flujo de los datos del proyecto se puede apreciar en la Figura 3.3. Las salidas de los modelos fueron seleccionadas y cortadas por personal del CIGEFI, de tal manera 31 Figura 3.3: Flujo de trabajo que, del total del globo, solo se conservó la zona que contiene el área de interés y las regiones de teleconexión. Estas nuevas versiones fueron almacenadas en un servidor y luego descargadas a una unidad local, donde también se almacenaron los datos de refe- rencia. Ambos conjuntos se convertieron a un formato manipulable para ser procesados. Este procesamiento incluyó no solo un nuevo recorte espacial (área de interés y regiones individuales) y temporal (periodo 1979-1999) sino también la interpolación bilineal para estandarizar la resolución (2.5°x 2.5°). Finalmente, cada salida fue evaluada mediante el indicador seleccionado y se procedió finalmente a ordenar los modelos. 32 4. Resultados En este caṕıtulo se presentan los resultados de los análisis realizados. Primero muestra el comportamiento de las técnicas sobre los datos sintéticos generados, luego su “robustez” ante los escenarios de valores faltantes y finalmente la aplicación sobre las salidas de modelos climáticos. 4.1. Comportamiento de las técnicas El comportamiento de cada técnica se muestra mediante un gráfico de facetas, en el cual el eje horizontal representa los valores de λ, el eje vertical el resultado del indicador y las columnas y filas los niveles de ρ y δ respectivamente. Una medida que funcione de forma idónea (de acuerdo a los criterios ya establecidos) debeŕıa describir una curva en forma de “V”, donde el punto más bajo coincide con λ = 1 y además, esta curva debe de desplazarse hacia arriba conforme disminuye ρ, aumenta δ y se da la perturbación en una de las distribuciones. La Figura 4.1 muestra el comportamiento del indicador de referencia PHE. Este indicador no está diseñado para detectar diferencias en las formas de las distri- buciones emṕıricas por lo que las series “Con Perturbación” y “Sin Perturbación” se superponen. Este śı responde correctamente a cambios en la correlación y es sensible a diferencias entre las medias, pero la forma “V” está presente sólo cuando existe una 33 alta correlación entre los campos. Conforme ρ decrece, el indicador tiende a premiar los campos de modelos con menor variabilidad en relación al campo observado. Esta deficiencia ya ha sido señalada anteriormente por Gupta y col. (2009) y Liu (2020), sin embargo, este, como otro indicadores similares siguen siendo ampliamente utilizados. El IEE (Figura 4.2) corrige este problema y presenta un comportamiento ideal cuando no existe un sesgo considerable, pero cuando este aumenta se da la situación opuesta, los modelos con mayor variabilidad se ven favorecidos. Esto se explica por la presen- cia del término β = (sy/ȳ)/(sx/x̄) en la Ecuación 2.2, el cual proviene de la eficiencia Kling-Gupta modificada (Kling, Fuchs y Paulin, 2012). Tang y col. (2021) eliminaron este término y proponen un indicador con los componentes del PHE, pero esto impli- caŕıa el comportamiento no deseado de este. Śı resulta sorpresiva la poca habilidad del IEE para capturar los efectos de la perturbación, ya que es su principal caracteŕıstica respecto a sus precursores. La DWS (Figura 4.3) se aproxima al comportamiento buscado en cuanto a variaciones en el primer y segundo momento de las distribuciones y es efectivo también para detectar diferencias en su forma, sin embargo, es invariante a ρ. EEW corrige este situación (Figura 4.4) pero pierde sensibilidad para detectar la perturbación, especial- mente en escenarios de alta correlación, aún aśı en todos los escenarios los valores de la medida son menores cuando la forma de las distribuciones es la misma, por lo que para efectos prácticos de ordenamiento, este se realizaŕıa correctamente. En cuanto a los métodos funcionales propuestos, de manera general, por śı solos no parecen aportar información adicional a la comparación. En el caso del IAP (Figura 4.5), este se comporta aceptablemente cuando δ = 0, no obstante, en algunos casos los valores del escenario con perturbación son menores a sus pares sin perturbar. Luego, conforme el sesgo aumenta, al igual que el IEE, se tiende a preferir modelos con mayor variabilidad respecto a los datos de referencia. Además, debido a las caracteŕısticas de la profundidad, después de cierto valor de δ, los valores se acercan a cierto valor máximo y la concavidad de la curva se invierte. Esta última caracteŕıstica no se presenta en el 34 IAD (Figura 4.6), pero la preferencia por situaciones donde λ > 1 conforme aumenta δ, se mantiene. 4.2. Robustez de las técnicas El Cuadro 4.1 muestra los valores obtenidos de C1 y C2 para cada técnica y sus variantes ante diversas proporciones de datos faltantes. Como se esperaŕıa, estos valores tienden a aumentar conforme aumenta la proporción de valores perdidos. Las variantes con los valores más bajos están asociadas a las variantes del PHE, EEW y los ciclos de los métodos funcionales mientras que los más altos están asignados a DWS. Los valores C1 = 100 indican que esta medida cambió el orden de los modelos en todas las repeticiones cuando no se realizó segmentación, es decir, cuando la medida fue aplicada sobre el vector resultante de reordenar los datos del campo completo. Los datos no permiten afirmar que la segmentación o la consideración del ciclo o la serie, tienden a mejorar o empeorar la robustez, sino que los resultados dependen de cada indicador. 4.3. Selección de la técnica Con base en los resultados de las secciones anteriores se procede a seleccionar EEW como la técnica a utilizar para la evaluación de los modelos CMIP6. Este no sólo es capaz de seleccionar el mejor modelo de acuerdo a los criterios de Taylor (2001), si no que también es estable ante la inclusión de valores faltantes, los cuales están presentes en algunos de las salidas de los modelos asociadas a la temperatura superficial. 35 Cuadro 4.1: Robustez de las técnicas analizadas No. Indicador Unidad temporal Segmen- tación p = 0.05 p = 0.10 p = 0.15 C1 C2 C1 C2 C1 C2 1 PHE Serie Śı 9 18 21 42 19 42 2 PHE Serie No 4 8 9 18 12 24 3 PHE Ciclo Śı 8 18 15 30 19 42 4 PHE Ciclo No 10 20 11 22 15 32 5 IEE Serie Śı 23 48 30 72 41 106 6 IEE Serie No 22 48 37 86 50 120 7 IEE Ciclo Śı 82 350 95 554 95 778 8 IEE Ciclo No 81 324 91 544 98 754 9 DWS Serie Śı 79 452 79 452 81 458 10 DWS Serie No 100 7200 100 7198 100 7198 11 DWS Ciclo Śı 85 786 87 790 86 786 12 DWS Ciclo No 100 7200 100 7196 100 7198 13 EEW Serie Śı 7 14 12 26 14 28 14 EEW Serie No 12 24 8 16 16 34 15 EEW Ciclo Śı 25 62 41 106 55 142 16 EEW Ciclo No 17 36 34 80 43 108 17 IAP Serie - 75 268 83 380 86 387 18 IAP Ciclo - 19 99 22 138 23 129 19 IAD Serie - 75 646 98 1748 100 3014 20 IAD Ciclo - 11 24 12 26 19 40 36 4.4. Aplicación sobre modelos CMIP6 El Cuadro 4.2 muestra el ordenamiento para cada una de las seis variables derivadas, además de los tres ordenamientos finales realizados con los métodos L2N, TOPSIS y PROMETHEE. La tabla no está ordenada siguiendo el resultado de un método particular, ya que ninguno puede ser definido como “verdadero”. Al evaluar las correlaciones de Spearman de TOPSIS y PROMETHEE respecto a L2N, se obtuvo un valor de 0.96 y 0.89 respectivamente, mientras que entre ellos la correlación fue de 0.86. Estos valores indican que los resultados son similares y consistentes. Si esto no fuera de esta manera cada uno de los métodos de ordenamiento podŕıa ser cuestionado (Salabun, Watróbski y Shekhovtsov, 2020). Se encontraron seis modelos en común en las primeras ocho posiciones de los tres métodos multicriterio. Estos se muestran en la Figura 4.7 con sus respectivas posiciones. De acuerdo a las criterios utilizados, se podŕıa afirmar que cualquiera de estos modelos es capaz de reproducir adecuadamente el ciclo anual de las variables analizadas. El modelo 11 (EC-Earth3P-HR r2i1p2f1) es el mejor de acuerdo a L2N y TOPSIS, y el segundo mejor de acuerdo a PROMETHEE, gracias a su capacidad para reproducir TPM y ENOS, no obstante, se debe notar que ocupa la posición 41 para la variable PRD. Esto debe ser tomado en consideración si esta variable es de espe- cial interés. Otras alternativas más balanceadas son el modelo 13 (ECMWF-IFS-HR r1i1p1f1) y 38 (HadGEM3-GC31-LL r1i4p1f1). Nótese que todos los modelos seleccio- nados ocupan una posición relativamente alta en al menos una variable. Las Figuras 4.8 y 4.9 muestran el rendimiento de los modelos por la agrupación temporal del ciclo anual. Para la media de precipitación, en general todos los modelos muestran un mejor desempeño en los meses más secos (Ene - Mar) y también una menor variabilidad entre ellos (Maldonado, Alfaro e Hidalgo, 2018). El mismo patrón se repite 37 Cuadro 4.2: Posiciones de los modelos por variable y método de ordenamiento No. Código Corrida PRM PRD TPM TPD ENOS ATN L2N TOPSIS PROMETHEE 1 CMCC-CM2-HR4 r1i1p1f1 48 47 35 26 5 4 47 48 32 2 CMCC-CM2-VHR4 r1i1p1f1 47 46 36 4 47 48 48 47 48 3 CNRM-CM6-1 r1i1p1f2 25 7 41 27 9 7 25 28 12 4 CNRM-CM6-1 r2i1p1f2 24 15 38 9 17 27 30 30 16 5 CNRM-CM6-1 r3i1p1f2 26 17 40 45 28 22 34 35 38 6 CNRM-CM6-1-HR r1i1p1f2 13 37 48 35 23 16 36 36 35 7 EC-Earth3P r1i1p2f1 29 43 31 36 13 21 33 34 36 8 EC-Earth3P r2i1p2f1 31 45 34 43 39 24 40 42 44 9 EC-Earth3P r3i1p2f1 28 42 29 44 2 17 24 32 30 10 EC-Earth3P-HR r1i1p2f1 2 40 28 2 27 37 14 18 20 11 EC-Earth3P-HR r2i1p2f1 4 41 1 16 1 13 1 1 2 12 EC-Earth3P-HR r3i1p2f1 3 39 27 11 14 9 9 15 10 13 ECMWF-IFS-HR r1i1p1f1 1 23 18 17 4 14 2 4 3 14 ECMWF-IFS-HR r2i1p1f1 19 21 24 1 20 6 8 9 7 15 ECMWF-IFS-HR r3i1p1f1 17 33 23 10 3 1 4 8 6 16 ECMWF-IFS-HR r4i1p1f1 18 36 20 14 16 44 16 20 26 17 ECMWF-IFS-HR r5i1p1f1 11 16 19 3 25 8 7 5 5 18 ECMWF-IFS-HR r6i1p1f1 12 35 22 23 44 39 27 22 37 19 ECMWF-IFS-LR r1i1p1f1 36 27 45 31 30 20 39 39 39 20 ECMWF-IFS-LR r2i1p1f1 38 29 39 38 31 18 41 40 40 21 ECMWF-IFS-LR r3i1p1f1 34 19 37 40 24 46 37 38 41 22 ECMWF-IFS-LR r4i1p1f1 44 26 47 19 40 43 46 44 46 23 ECMWF-IFS-LR r5i1p1f1 35 30 42 37 42 36 44 41 47 24 ECMWF-IFS-LR r6i1p1f1 45 25 46 41 10 47 43 46 43 25 ECMWF-IFS-LR r7i1p1f1 42 31 44 32 38 30 45 43 45 26 ECMWF-IFS-LR r8i1p1f1 37 34 43 29 21 2 38 37 33 27 ECMWF-IFS-MR r1i1p1f1 21 5 21 42 26 23 21 21 22 28 ECMWF-IFS-MR r2i1p1f1 33 22 26 6 48 34 35 29 34 29 ECMWF-IFS-MR r3i1p1f1 32 18 25 8 8 11 12 19 9 30 GFDL-CM4C192 r1i1p1f1 20 28 33 28 7 19 15 27 18 31 HadGEM3-GC31-HH r1i1p1f1 41 3 15 7 41 28 31 23 19 32 HadGEM3-GC31-HM r1i1p1f1 40 6 3 5 19 5 18 14 4 33 HadGEM3-GC31-HM r1i2p1f1 43 9 4 18 22 25 28 26 14 34 HadGEM3-GC31-HM r1i3p1f1 39 1 6 34 11 41 23 25 17 35 HadGEM3-GC31-LL r1i1p1f1 9 13 12 15 32 15 5 3 8 36 HadGEM3-GC31-LL r1i2p1f1 6 32 13 13 37 38 11 11 23 37 HadGEM3-GC31-LL r1i3p1f1 10 20 17 22 34 33 10 10 21 38 HadGEM3-GC31-LL r1i4p1f1 16 11 8 25 6 3 3 2 1 39 HadGEM3-GC31-LL r1i5p1f1 5 38 16 20 18 29 6 7 15 40 HadGEM3-GC31-LL r1i6p1f1 14 14 9 24 45 35 20 13 24 41 HadGEM3-GC31-LL r1i7p1f1 8 10 5 12 46 32 13 6 11 42 HadGEM3-GC31-LL r1i8p1f1 15 44 7 21 36 26 19 16 27 43 HadGEM3-GC31-MM r1i1p1f1 23 2 10 46 29 45 22 24 28 44 HadGEM3-GC31-MM r1i2p1f1 27 4 14 30 43 40 26 17 29 45 HadGEM3-GC31-MM r1i3p1f1 22 8 11 33 35 12 17 12 13 46 INM-CM5-H r1i1p1f1 30 48 2 39 15 10 29 33 25 47 MPI-ESM1-2-HR r1i1p1f1 7 12 32 48 33 31 32 31 31 48 MPI-ESM1-2-XR r1i1p1f1 46 24 30 47 12 42 42 45 42 38 para la desviación estándar aunque de una forma menos evidente. Para la media de temperatura los valores de EEW aumentan consistentemente hasta alcanzar un máximo en el mes de junio y posteriormente disminuir. La variabilidad de los resultados por otro lado, parece mantenerse constante a lo largo del ciclo. Se puede observar también cómo el modelo 11 se encuentra en posiciones mı́nimas o casi mı́nimas en todos los meses, lo que justifica su posición en el ordenamiento de esta variable. La TPD no presenta ninguna tendencia, pero se debe recalcar el buen rendimiento general para el mes de noviembre y lo opuesto en el caso del mes de febrero. Los patrones de teleconexión (Figura 4.9), segregados por región, no presentan tendencias claras, parecen ser bastante estables, sin embargo, los modelos individuales seleccionados śı muestra un fenómeno interesante. El modelo 11, que ocupa la primera posición a nivel general de ENOS, parece no desempeñarse bien para la estación MAM, mientras que el modelo 35 que ocupa el última posición para esta variable dentro de los modelos seleccionados, se desempeña particularmente bien para esta estación. Aunque otros estudios ya han evaluado GCMs CMIP6 en América Central (Al- mazroui y col., 2021; M.-Z. Zhang y col., 2022), diferencias en la escogencia del dominio espacial y temporal, las variables por analizar, los conjuntos de datos de referencia y las medidas de desempeño, entre otras, impiden realizar una comparación directa, además, la preselección de los modelos y sus respectivas corridas no fue la misma, por lo que la probabilidad de coincidencias se ve aún más reducida. Con este en consideración, es importante destacar que al menos un modelo del consorcio EC-Earth3 muestra un desempeño superior en este (EC-Earth3P-HR) y los estudios anteriores (EC-Earth3 y EC-Earth3-Veg). 3https://ec-earth.org/ https://ec-earth.org/ 39 Figura 4.1: Comportamiento del Puntaje de Habilidad Espacial Notas: ρ: correlación lineal, λ: razón de desviaciones estándar, δ: sesgo. “Sin Perturbación” se refiere a una comparación entre distribuciones de igual forma, mientras que “Con Perturbación” se refiere a una comparación de distribuciones con diferente forma. Valores bajos indican una mejor condición. Figura 4.2: Comportamiento del Indicador de Eficiencia Espacial Notas: ρ: correlación lineal, λ: razón de desviaciones estándar, δ: sesgo. “Sin Perturbación” se refiere a una comparación entre distribuciones de igual forma, mientras que “Con Perturbación” se refiere a una comparación de distribuciones con diferente forma. Valores bajos indican una mejor condición. 40 Figura 4.3: Comportamiento de la Distancia de Wasserstein Notas: ρ: correlación lineal, λ: razón de desviaciones estándar, δ: sesgo. “Sin Perturbación” se refiere a una comparación entre distribuciones de igual forma, mientras que “Con Perturbación” se refiere a una comparación de distribuciones con diferente forma. Valores bajos indican una mejor condición. Figura 4.4: Comportamiento de la Eficiencia Espacial Wasserstein Notas: ρ: correlación lineal, λ: razón de desviaciones estándar, δ: sesgo. “Sin Perturbación” se refiere a una comparación entre distribuciones de igual forma, mientras que “Con Perturbación” se refiere a una comparación de distribuciones con diferente forma. Valores bajos indican una mejor condición. 41 Figura 4.5: Comportamiento del Índice de Atipicidad basado en Profundidad Notas: ρ: correlación lineal, λ: razón de desviaciones estándar, δ: sesgo. “Sin Perturbación” se refiere a una comparación entre distribuciones de igual forma, mientras que “Con Perturbación” se refiere a una comparación de distribuciones con diferente forma. Valores bajos indican una mejor condición. Figura 4.6: Comportamiento del Índice de Atipicidad basado en Distancia Notas: ρ: correlación lineal, λ: razón de desviaciones estándar, δ: sesgo. “Sin Perturbación” se refiere a una comparación entre distribuciones de igual forma, mientras que “Con Perturbación” se refiere a una comparación de distribuciones con diferente forma. Valores bajos indican una mejor condición. 42 Figura 4.7: Posiciones de los modelos seleccionados 43 (a) Media de precipitación (PRM) (b) Desviación estándar de precipitación (PRD) (c) Media de temperatura (TPM) (d) Desviación estándar de temperatura (TPD) Figura 4.8: EEW de variables derivadas de precipitación y temperatura por mes 44 (a) Niño 1.2 (b) Niño 3 (c) Niño 3.4 (d) Niño 4 (e) ATN Figura 4.9: EEW de teleconexiones por estación 45 5. Conclusiones 5.1. Discusión Métodos para evaluar la similitud entre un campo espaciotemporal de referen- cia y uno simulado son necesarios en áreas como las ciencias atmosféricas, en las que múltiples modelos se construyen para reproducir una variable climática y resulta im- portante identificar cuál de ellos lo hace de la mejor forma. El calificativo “mejor”puede resultar ambiguo, por lo que definición de un “buen modelo” resulta fundamental, aśı como lo es determinar si estos métodos pueden detectar sus caracteŕısticas. En este investigación se determinó que un modelo es aquel que genera un campo con una alta correlación lineal respecto a un campo de referencia, además de valores similares de media, dispersión y forma de sus distribuciones y se analizó el com- portamiento de seis técnicas en diversos escenarios de estos atributos. Aunque se teńıa especial interés en probar nuevas técnicas funcionales para estos efectos, su comporta- miento no se ajustó al esperado. Un método más tradicional, que combina el enfoque multiobjetivo del IEE y la DWS, el cual fue propuesto en este estudio, mostró la mayor competencia para identificar correctamente este buen modelo. Mediante un diseño de simulación, también fue comprobado su robustez ante valores faltantes en los campos. Una lista de 48 modelos CMIP6 fue evaluada con este indicador, de acuerdo a su capacidad para reproducir el ciclo anual de la media y desviación estándar de la 46 precipitación y la temperatura en América Central en las dos últimas décadas del siglo XX, además de los patrones de teleconexión de diversas regiones ENSO y ATN. Seis modelos fueron seleccionados con base en tres métodos multicriterio. Estos son: EC-Earth3P-HR r2i1p2f1 ECMWF-IFS-HR r1i1p1f1 ECMWF-IFS-HR r3i1p1f1 ECMWF-IFS-HR r5i1p1f1 HadGEM3-GC31-LL r1i1p1f1 HadGEM3-GC31-LL r1i4p1f1 Al analizarlos de forma individual por variable y mes o estación, se identificó que su desempeño no es uniforme y por ejemplo el mejor modelo a nivel general (EC- Earth3P-HR r2i1p2f1) posee un rendimiento deficiente para reproducir la desviación estándar de la precipitación o los patrones de teleconexión en el periodo de marzo a mayo. Estas diferencias de desempeño entre variables o periodos de tiempo es lo que lleva a considerar la utilización de un conjunto o ensemble de modelos (Swedish Meteo- rological and Hydrological Institute, 2016). La tarea de reducción de estos conjuntos se puede realizar mediante el procedimiento propuesto también en este trabajo. La gran cantidad de métodos disponibles para la comparación de los cam- pos impide una comparación exhaustiva, sin embargo otras opciones como mapogra- mas (Nilsson y col., 2008), STATIS (Stanimirova y col., 2004), Mapas autoorganizados (Kohonen, 1990), etc. fueron consideradas, pero no se incluyeron debido a sus pobres resultados. Al igual que con el enfoque funcional, esto no implica que técnicas similares deben deban ser descartadas, por el contrario, es necesario continuar con esta explora- ción. El desarrollo de una métrica o procedimiento que permita cuantificar de una forma 47 más directa la similitud sin la necesidad de agrupar los datos mediante estad́ısticos co- mo la media y la desviación estándar, además de métodos estad́ısticos más sofisticados para medir las relaciones entre zonas separadas (teleconexiones), constituyen problemas abiertos. Más allá de la medida y el método de selección propuesto, el mayor aporte de este trabajo es la exposición de las limitaciones de otras técnicas más consolidadas, lo que pretende incentivar también la creación de nuevas formas de evaluación para los propios indicadores. 48 Bibliograf́ıa Adler, Robert F. y col. (2003). ((The Version-2 Global Precipitation Climatology Pro- ject (GPCP) Monthly Precipitation Analysis (1979–Present))). En: Journal of Hy- drometeorology 4.6, págs. 1147-1167. url: https://doi.org/10.1175/1525- 7541(2003)004%3C1147:TVGPCP%3E2.0.CO;2. Ahmed, K. y col. (2019). ((Selection of multi-model ensemble of general circulation models for the simulation of precipitation and maximum and minimum temperature based on spatial assessment metrics)). En: Hydrology and Earth System Sciences 23.11, págs. 4803-4824. doi: 10.5194/hess-23-4803-2019. url: https://hess. copernicus.org/articles/23/4803/2019/. Almazroui, Mansour y col. (2021). ((Projected Changes in Temperature and Precipi- tation Over the United States, Central America, and the Caribbean in CMIP6 GCMs)). En: Earth Systems and Environment 5.1, págs. 1-24. issn: 2509-9434. doi: 10.1007/s41748-021-00199-5. url: https://doi.org/10.1007/s41748-021- 00199-5. American Meteorological Society (2022). Glossary of Meteorology. url: https : / / glossary.ametsoc.org/wiki/Annual_cycle. Baker, Noel C. y Patrick C. Taylor (2016). ((A Framework for Evaluating Climate Model Performance Metrics)). En: Journal of Climate 29.5, págs. 1773-1782. url: https://doi.org/10.1175/JCLI-D-15-0114.1. Balaji, V. y col. (2018). ((Requirements for a global data infrastructure in support of CMIP6)). En: Geoscientific Model Development 11.9, págs. 3659-3680. doi: 10. https://doi.org/10.1175/1525-7541(2003)004%3C1147:TVGPCP%3E2.0.CO;2 https://doi.org/10.1175/1525-7541(2003)004%3C1147:TVGPCP%3E2.0.CO;2 https://doi.org/10.5194/hess-23-4803-2019 https://hess.copernicus.org/articles/23/4803/2019/ https://hess.copernicus.org/articles/23/4803/2019/ https://doi.org/10.1007/s41748-021-00199-5 https://doi.org/10.1007/s41748-021-00199-5 https://doi.org/10.1007/s41748-021-00199-5 https://glossary.ametsoc.org/wiki/Annual_cycle https://glossary.ametsoc.org/wiki/Annual_cycle https://doi.org/10.1175/JCLI-D-15-0114.1 https://doi.org/10.5194/gmd-11-3659-2018 https://doi.org/10.5194/gmd-11-3659-2018 49 5194/gmd-11-3659-2018. url: https://gmd.copernicus.org/articles/11/ 3659/2018/. Ballari, Daniela y col. (2018). ((Spatial functional data analysis for regionalizing pre- cipitation seasonality and intensity in a sparsely monitored region: Unveiling the spatio-temporal dependencies of precipitation in Ecuador)). En: International Jour- nal of Climatology 38.8, págs. 3337-3354. url: https://rmets.onlinelibrary. wiley.com/doi/abs/10.1002/joc.5504. Bernton, Espen y col. (oct. de 2019). ((On parameter estimation with the Wasserstein distance)). En: Information and Inference: A Journal of the IMA 8.4, págs. 657-676. issn: 2049-8772. doi: 10.1093/imaiai/iaz003. eprint: https://academic.oup. com/imaiai/article-pdf/8/4/657/31772180/iaz003.pdf. url: https://doi. org/10.1093/imaiai/iaz003. Brans, J.P., Ph. Vincke y B. Mareschal (1986). ((How to select and how to rank pro- jects: The Promethee method)). En: European Journal of Operational Research 24.2. Mathematical Programming Multiple Criteria Decision Making, págs. 228-238. issn: 0377-2217. doi: https://doi.org/10.1016/0377-2217(86)90044-5. url: https: //www.sciencedirect.com/science/article/pii/0377221786900445. Centella-Artola, Abel y col. (2020). ((Evaluation of Sixteen Gridded Precipitation Data- sets over the Caribbean Region Using Gauge Observations)). En: Atmosphere 11.12. issn: 2073-4433. doi: 10.3390/atmos11121334. url: https://www.mdpi.com/ 2073-4433/11/12/1334. Cressie, N.A.C (1993). ((Statistics for Spatial Data)). En: Statistics for Spatial Data. John Wiley & Sons, Ltd. Cap. 1, págs. 1-26. isbn: 9781119115151. doi: https:// doi.org/10.1002/9781119115151.ch1. eprint: https://onlinelibrary.wiley. com/doi/pdf/10.1002/9781119115151.ch1. url: https://onlinelibrary. wiley.com/doi/abs/10.1002/9781119115151.ch1. Delicado, P. y col. (2010). ((Statistics for spatial functional data: some recent contribu- tions)). En: Environmetrics 21.3-4, págs. 224-239. url: https://onlinelibrary. wiley.com/doi/abs/10.1002/env.1003. https://doi.org/10.5194/gmd-11-3659-2018 https://doi.org/10.5194/gmd-11-3659-2018 https://gmd.copernicus.org/articles/11/3659/2018/ https://gmd.copernicus.org/articles/11/3659/2018/ https://rmets.onlinelibrary.wiley.com/doi/abs/10.1002/joc.5504 https://rmets.onlinelibrary.wiley.com/doi/abs/10.1002/joc.5504 https://doi.org/10.1093/imaiai/iaz003 https://academic.oup.com/imaiai/article-pdf/8/4/657/31772180/iaz003.pdf https://academic.oup.com/imaiai/article-pdf/8/4/657/31772180/iaz003.pdf https://doi.org/10.1093/imaiai/iaz003 https://doi.org/10.1093/imaiai/iaz003 https://doi.org/https://doi.org/10.1016/0377-2217(86)90044-5 https://www.sciencedirect.com/science/article/pii/0377221786900445 https://www.sciencedirect.com/science/article/pii/0377221786900445 https://doi.org/10.3390/atmos11121334 https://www.mdpi.com/2073-4433/11/12/1334 https://www.mdpi.com/2073-4433/11/12/1334 https://doi.org/https://doi.org/10.1002/9781119115151.ch1 https://doi.org/https://doi.org/10.1002/9781119115151.ch1 https://onlinelibrary.wiley.com/doi/pdf/10.1002/9781119115151.ch1 https://onlinelibrary.wiley.com/doi/pdf/10.1002/9781119115151.ch1 https://onlinelibrary.wiley.com/doi/abs/10.1002/9781119115151.ch1 https://onlinelibrary.wiley.com/doi/abs/10.1002/9781119115151.ch1 https://onlinelibrary.wiley.com/doi/abs/10.1002/env.1003 https://onlinelibrary.wiley.com/doi/abs/10.1002/env.1003 50 Eyring, V. y col. (2016). ((Overview of the Coupled Model Intercomparison Project Phase 6 (CMIP6) experimental design and organization)). En: Geoscientific Model Development 9, págs. 1937-1958. url: https://doi.org/10.5194/gmd-9-1937- 2016. Febrero-Bande, Manuel y Manuel Oviedo de la Fuente (2012). ((Statistical Computing in Functional Data Analysis: The R Package fda.usc)). En: Journal of Statistical Software 51.4, págs. 1-28. url: http://www.jstatsoft.org/v51/i04/. Ferreira, Leonardo N. y col. (ago. de 2020). ((Spatiotemporal data analysis with chro- nological networks)). En: Nature Communications 11.1, pág. 4036. issn: 2041-1723. doi: 10.1038/s41467-020-17634-2. url: https://doi.org/10.1038/s41467- 020-17634-2. Gelfand, Alan E y col. (2010). Handbook of spatial statistics. CRC press. Geophysical Fluid Dynamics Laboratory (2020). Climate Modeling. url: https://www. gfdl.noaa.gov/climate-modeling/. Giraldo, R., P. Delicado y J. Mateu (2012). ((Hierarchical clustering of spatially corre- lated functional data)). En: Statistica Neerlandica 66.4, págs. 403-421. url: https: //onlinelibrary.wiley.com/doi/abs/10.1111/j.1467-9574.2012.00522.x. Gleckler, P. J., K. E. Taylor y C. Doutriaux (2008). ((Performance metrics for climate models)). En: Journal of Geophysical Research: Atmospheres 113.D6. url: https: //agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2007JD008972. Green, P.J. y B.W. Silverman (1993). Nonparametric Regression and Generalized Linear Models. Chapman y Hall. isbn: 978-0-429-16105-6. Gupta, Hoshin V. y col. (2009). ((Decomposition of the mean squared error and NSE performance criteria: Implications for improving hydrological modelling)). En: Jour- nal of Hydrology 377.1, págs. 80-91. issn: 0022-1694. doi: https://doi.org/ 10.1016/j.jhydrol.2009.08.003. url: https://www.sciencedirect.com/ science/article/pii/S0022169409004843. Harris, Trevor y col. (2020). ((Evaluating Proxy Influence in Assimilated Paleoclimate Reconstructions—Testing the Exchangeability of Two Ensembles of Spatial Proces- https://doi.org/10.5194/gmd-9-1937-2016 https://doi.org/10.5194/gmd-9-1937-2016 http://www.jstatsoft.org/v51/i04/ https://doi.org/10.1038/s41467-020-17634-2 https://doi.org/10.1038/s41467-020-17634-2 https://doi.org/10.1038/s41467-020-17634-2 https://www.gfdl.noaa.gov/climate-modeling/ https://www.gfdl.noaa.gov/climate-modeling/ https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1467-9574.2012.00522.x https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1467-9574.2012.00522.x https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2007JD008972 https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2007JD008972 https://doi.org/https://doi.org/10.1016/j.jhydrol.2009.08.003 https://doi.org/https://doi.org/10.1016/j.jhydrol.2009.08.003 https://www.sciencedirect.com/science/article/pii/S0022169409004843 https://www.sciencedirect.com/science/article/pii/S0022169409004843 51 ses)). En: Journal of the American Statistical Association. url: https://doi.org/ 10.1080/01621459.2020.1799810. Hidalgo, Hugo G. y Eric J. Alfaro (2012). ((Global Model selection for evaluation of climate change projections in the Eastern Tropical Pacific Seascape)). En: Revista de Bioloǵıa Tropical 60.3, págs. 67-81. url: http://revistas.ucr.ac.cr/index. php/rbt/issue/archive. — (2015). ((Skill of CMIP5 climate models in reproducing 20th century basic clima- te features in Central America)). En: International Journal of Climatology 35.12, págs. 3397-3421. url: https://rmets.onlinelibrary.wiley.com/doi/abs/10. 1002/joc.4216. Hijmans, Robert J. (2020). raster: Geographic Data Analysis and Modeling. R package version 3.3-13. url: https://CRAN.R-project.org/package=raster. Huang, Boyin y col. (2017). NOAA Extended Reconstructed Sea Surface Temperature (ERSST), Version 5. NOAA National Centers for Environmental Information. url: https://psl.noaa.gov/data/gridded/data.noaa.ersst.v5.html. Intergovernmental Panel on Climate Change (2014). ((Evaluation of Climate Models)). En: Climate Change 2013 – The Physical Science Basis: Working Group I Contri- bution to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change. Cambridge University Press, págs. 741-866. doi: 10.1017/CBO9781107415324. 020. Jones, Colin y Grigory Nikulin (2009). ((Understandiing the time-axis in coupled climate models: Uncertainty, natural variability and the need for an ensemble approach)). En: Rossby Centre Newsletter, págs. 4-8. url: http://www.smhi.se/polopoly_ fs/1.2923!RCnews_may_2009.pdf. Kalnay, E. y col. (1996). ((The NCEP/NCAR 40-Year Reanalysis Project)). En: Bulletin of the American Meteorological Society 77.3, págs. 437-472. url: https://doi.org/ 10.1175/1520-0477(1996)077%3C0437:TNYRP%3E2.0.CO;2. https://doi.org/10.1080/01621459.2020.1799810 https://doi.org/10.1080/01621459.2020.1799810 http://revistas.ucr.ac.cr/index.php/rbt/issue/archive http://revistas.ucr.ac.cr/index.php/rbt/issue/archive https://rmets.onlinelibrary.wiley.com/doi/abs/10.1002/joc.4216 https://rmets.onlinelibrary.wiley.com/doi/abs/10.1002/joc.4216 https://CRAN.R-project.org/package=raster https://psl.noaa.gov/data/gridded/data.noaa.ersst.v5.html https://doi.org/10.1017/CBO9781107415324.020 https://doi.org/10.1017/CBO9781107415324.020 http://www.smhi.se/polopoly_fs/1.2923!RCnews_may_2009.pdf http://www.smhi.se/polopoly_fs/1.2923!RCnews_may_2009.pdf https://doi.org/10.1175/1520-0477(1996)077%3C0437:TNYRP%3E2.0.CO;2 https://doi.org/10.1175/1520-0477(1996)077%3C0437:TNYRP%3E2.0.CO;2 52 Katzav, Joel y Wendy S. Parker (oct. de 2015). ((The future of climate modeling)). En: Climatic Change 132.4, págs. 475-487. issn: 1573-1480. doi: 10.1007/s10584-015- 1435-x. url: https://doi.org/10.1007/s10584-015-1435-x. Kling, Harald, Martin Fuchs y Maria Paulin (2012). ((Runoff conditions in the upper Danube basin under an ensemble of climate change scenarios)). En: Journal of Hy- drology 424-425, págs. 264-277. issn: 0022-1694. doi: https://doi.org/10.1016/ j.jhydrol.2012.01.011. url: https://www.sciencedirect.com/science/ article/pii/S0022169412000431. Knutti, Reto (2010). ((The end of model democracy?)) En: Climatic Change 102.3, págs. 395-404. url: https://doi.org/10.1007/s10584-010-9800-2. Koch, J., M. C. Demirel y S. Stisen (2018). ((The SPAtial EFficiency metric (SPAEF): multiple-component evaluation of spatial patterns for optimization of hydrological models)). En: Geoscientific Model Development 11.5, págs. 1873-1886. doi: 10.5194/ gmd-11-1873-2018. url: https://gmd.copernicus.org/articles/11/1873/ 2018/. Kohonen, T. (1990). ((The self-organizing map)). En: Proceedings of the IEEE 78.9, págs. 1464-1480. doi: 10.1109/5.58325. Lai, Young-Jou, Ting-Yun Liu y Ching-Lai Hwang (1994). ((TOPSIS for MODM)). En: European Journal of Operational Research 76.3. Facility Location Models for Dis- tribution Planning, págs. 486-500. issn: 0377-2217. doi: https://doi.org/10. 1016/0377-2217(94)90282-8. url: https://www.sciencedirect.com/science/ article/pii/0377221794902828. Lin, Zhuhua y Yingchun Zhou (2017). ((Ranking of functional data in application to worldwide PM10 data analysis)). En: Environmental and Ecological Statistics 24.4, págs. 469-484. url: https://doi.org/10.1007/s10651-017-0384-0. Liu, Dedi (2020). ((A rational performance criterion for hydrological model)). En: Journal of Hydrology 590, pág. 125488. issn: 0022-1694. doi: https://doi.org/10.1016/ j.jhydrol.2020.125488. url: https://www.sciencedirect.com/science/ article/pii/S0022169420309483. https://doi.org/10.1007/s10584-015-1435-x https://doi.org/10.1007/s10584-015-1435-x https://doi.org/10.1007/s10584-015-1435-x https://doi.org/https://doi.org/10.1016/j.jhydrol.2012.01.011 https://doi.org/https://doi.org/10.1016/j.jhydrol.2012.01.011 https://www.sciencedirect.com/science/article/pii/S0022169412000431 https://www.sciencedirect.com/science/article/pii/S0022169412000431 https://doi.org/10.1007/s10584-010-9800-2 https://doi.org/10.5194/gmd-11-1873-2018 https://doi.org/10.5194/gmd-11-1873-2018 https://gmd.copernicus.org/articles/11/1873/2018/ https://gmd.copernicus.org/articles/11/1873/2018/ https://doi.org/10.1109/5.58325 https://doi.org/https://doi.org/10.1016/0377-2217(94)90282-8 https://doi.org/https://doi.org/10.1016/0377-2217(94)90282-8 https://www.sciencedirect.com/science/article/pii/0377221794902828 https://www.sciencedirect.com/science/article/pii/0377221794902828 https://doi.org/10.1007/s10651-017-0384-0 https://doi.org/https://doi.org/10.1016/j.jhydrol.2020.125488 https://doi.org/https://doi.org/10.1016/j.jhydrol.2020.125488 https://www.sciencedirect.com/science/article/pii/S0022169420309483 https://www.sciencedirect.com/science/article/pii/S0022169420309483 53 López-Pintado, Sara y Juan Romo (2009). ((On the Concept of Depth for Functional Data)). En: Journal of the American Statistical Association 104.486, págs. 718-734. url: http://www.jstor.org/stable/40592217. Maldonado, Tito, Eric J. Alfaro y Hugo G. Hidalgo (2018). ((A review of the main drivers and variability of Central America’s Climate and seasonal forecast systems)). En: Revista de Bioloǵıa Tropical 66.1-1, S153-S175. doi: https://doi.org/10. 15517/rbt.v66i1.33294. McIntosh, John y May Yuan (2005). ((Assessing similarity of geographic processes and events)). En: Transactions in GIS 9.2, págs. 223-245. doi: 10.1111/j.1467-9671. 2005.00214.x. Murphy, Allan H. (1988). ((Skill Scores Based on the Mean Square Error and Their Relationships to the Correlation Coefficient)). En: Monthly Weather Review 116.12, págs. 2417-2424. url: https://doi.org/10.1175/1520-0493(1988)116%3C2417: SSBOTM%3E2.0.CO;2. Nash, J.E. y J.V. Sutcliffe (1970). ((River flow forecasting through conceptual models part I — A discussion of principles)). En: Journal of Hydrology 10.3, págs. 282-290. issn: 0022-1694. doi: https://doi.org/10.1016/0022-1694(70)90255-6. url: https://www.sciencedirect.com/science/article/pii/0022169470902556. National Oceanic and Atmospheric Administration (1999). National Oceanic and At- mospheric Administration Information Quality Guidelines. url: https://www.cio. noaa.gov/services_programs/IQ_Guidelines_103014.html. — (2020). Climate Models. url: https://www.climate.gov/maps-data/primer/ climate-models. Nguyen, Phu y col. (2017). ((Evaluation of CMIP5 Model Precipitation Using PERSIANN- CDR)). En: Journal of Hydrometeorology 18.9, págs. 2313-2330. doi: 10.1175/JHM- D-16-0201.1. url: https://journals.ametsoc.org/view/journals/hydr/18/ 9/jhm-d-16-0201_1.xml. Nigam, S. y S. Baxter (2015). ((GENERAL CIRCULATION OF THE ATMOSPHERE — Teleconnections)). En: Encyclopedia of Atmospheric Sciences (Second Edition). http://www.jstor.org/stable/40592217 https://doi.org/https://doi.org/10.15517/rbt.v66i1.33294 https://doi.org/https://doi.org/10.15517/rbt.v66i1.33294 https://doi.org/10.1111/j.1467-9671.2005.00214.x https://doi.org/10.1111/j.1467-9671.2005.00214.x https://doi.org/10.1175/1520-0493(1988)116%3C2417:SSBOTM%3E2.0.CO;2 https://doi.org/10.1175/1520-0493(1988)116%3C2417:SSBOTM%3E2.0.CO;2 https://doi.org/https://doi.org/10.1016/0022-1694(70)90255-6 https://www.sciencedirect.com/science/article/pii/0022169470902556 https://www.cio.noaa.gov/services_programs/IQ_Guidelines_103014.html https://www.cio.noaa.gov/services_programs/IQ_Guidelines_103014.html https://www.climate.gov/maps-data/primer/climate-models https://www.climate.gov/maps-data/primer/climate-models https://doi.org/10.1175/JHM-D-16-0201.1 https://doi.org/10.1175/JHM-D-16-0201.1 https://journals.ametsoc.org/view/journals/hydr/18/9/jhm-d-16-0201_1.xml https://journals.ametsoc.org/view/journals/hydr/18/9/jhm-d-16-0201_1.xml 54 Ed. por Gerald R. North, John Pyle y Fuqing Zhang. Second Edition. Oxford: Academic Press, págs. 90-109. isbn: 978-0-12-382225-3. doi: https://doi.org/ 10.1016/B978-0-12-382225-3.00400-X. url: https://www.sciencedirect. com/science/article/pii/B978012382225300400X. Nilsson, Mikael y col. (2008). ((On histograms and spatiograms - introduction of the mapogram)). En: 2008 15th IEEE International Conference on Image Processing, págs. 973-976. doi: 10.1109/ICIP.2008.4711919. Panaretos, Victor M. y Yoav Zemel (2019). ((Statistical Aspects of Wasserstein Distan- ces)). En: Annual Review of Statistics and Its Application 6.1, págs. 405-431. doi: 10.1146/annurev-statistics-030718-104938. eprint: https://doi.org/10. 1146/annurev-statistics-030718-104938. url: https://doi.org/10.1146/ annurev-statistics-030718-104938. Pierce, David (2019). ncdf4: Interface to Unidata netCDF (Version 4 or Earlier) Format Data Files. R package version 1.17. url: https://CRAN.R-project.org/package= ncdf4. Pincus, Robert y col. (2008). ((Evaluating the present-day simulation of clouds, preci- pitation, and radiation in climate models)). En: Journal of Geophysical Research: Atmospheres 113.D14. doi: https://doi.org/10.1029/2007JD009334. eprint: https://agupubs.onlinelibrary.wiley.com/doi/pdf/10.1029/2007JD009334. url: https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2007JD009334. R Core Team (2019). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing. Vienna, Austria. url: https://www.R- project.org/. Raju, K. S. y Nagesh K.D. (2014). ((Ranking of global climate models for India using multicriterion analysis)). En: Climate Research 60.2, págs. 103-117. url: https: //www.int-res.com/abstracts/cr/v60/n2/p103-117/. Ramsay, J. O., Spencer Graves y Giles Hooker (2020). fda: Functional Data Analysis. R package version 5.1.5.1. url: https://CRAN.R-project.org/package=fda. https://doi.org/https://doi.org/10.1016/B978-0-12-382225-3.00400-X https://doi.org/https://doi.org/10.1016/B978-0-12-382225-3.00400-X https://www.sciencedirect.com/science/article/pii/B978012382225300400X https://www.sciencedirect.com/science/article/pii/B978012382225300400X https://doi.org/10.1109/ICIP.2008.4711919 https://doi.org/10.1146/annurev-statistics-030718-104938 https://doi.org/10.1146/annurev-statistics-030718-104938 https://doi.org/10.1146/annurev-statistics-030718-104938 https://doi.org/10.1146/annurev-statistics-030718-104938 https://doi.org/10.1146/annurev-statistics-030718-104938 https://CRAN.R-project.org/package=ncdf4 https://CRAN.R-project.org/package=ncdf4 https://doi.org/https://doi.org/10.1029/2007JD009334 https://agupubs.onlinelibrary.wiley.com/doi/pdf/10.1029/2007JD009334 https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2007JD009334 https://www.R-project.org/ https://www.R-project.org/ https://www.int-res.com/abstracts/cr/v60/n2/p103-117/ https://www.int-res.com/abstracts/cr/v60/n2/p103-117/ https://CRAN.R-project.org/package=fda 55 Ramsay, James (1982). ((When the data are functions)). En: Psychometrika 47, págs. 379-396. url: https://doi.org/10.1007/BF02293704. Ramsay, James y B.W. Silverman (2005). Functional Data Analysis. Springer Series in Statistics. Springer-Verlag New York. isbn: 978-0-387-22751-1. Ruiz-Medina, M.D. (2012). ((New challenges in spatial and spatiotemporal functional statistics for high-dimensional data)). En: Spatial Statistics 1, págs. 82-91. url: http://www.sciencedirect.com/science/article/pii/S2211675312000073. Salabun, Wojciech, Jaroslaw Watróbski y Andrii Shekhovtsov (2020). ((Are MCDA Methods Benchmarkable? A Comparative Study of TOPSIS, VIKOR, COPRAS, and PROMETHEE II Methods)). En: Symmetry 12.9. issn: 2073-8994. url: https: //www.mdpi.com/2073-8994/12/9/1549. Schabenbenger, Oliver y Carol Gotway (2005). Statistical Methods for Spatial Data Analysis. Text in statistical Science. CRC Press. isbn: 9781315275086. Schlather, Martin y col. (2015). ((Analysis, Simulation and Prediction of Multivariate Random Fields with Package RandomFields)). En: Journal of Statistical Software 63.8, págs. 1-25. url: http://www.jstatsoft.org/v63/i08/. Sguera, Carlo, Pedro Galeano y Rosa Lillo (2014). ((Spatial depth-based classification for functional data)). En: TEST 23.4, págs. 725-750. issn: 1863-8260. doi: 10.1007/ s11749-014-0379-1. url: http://dx.doi.org/10.1007/s11749-014-0379-1. Shevlyakov, Georgy L y Hannu Oja (2016). Robust correlation: Theory and applications. Vol. 3. John Wiley & Sons. Shumway, Robert H. y David S. Stoffer (2017). Time Series Analysis and Its Appli- cations. Springer Series in Statistics. Springer-Verlag New York. isbn: 978-3-319- 52452-8. Sithara, S., S. K. Pramada y Santosh G. Thampi (sep. de 2022). ((Statistical downscaling of sea levels: application of multi-criteria analysis for selection of global climate models)). En: Environmental Monitoring and Assessment 194.10, pág. 764. issn: 1573-2959. doi: 10.1007/s10661-022-10449-2. url: https://doi.org/10. 1007/s10661-022-10449-2. https://doi.org/10.1007/BF02293704 http://www.sciencedirect.com/science/article/pii/S2211675312000073 https://www.mdpi.com/2073-8994/12/9/1549 https://www.mdpi.com/2073-8994/12/9/1549 http://www.jstatsoft.org/v63/i08/ https://doi.org/10.1007/s11749-014-0379-1 https://doi.org/10.1007/s11749-014-0379-1 http://dx.doi.org/10.1007/s11749-014-0379-1 https://doi.org/10.1007/s10661-022-10449-2 https://doi.org/10.1007/s10661-022-10449-2 https://doi.org/10.1007/s10661-022-10449-2 56 Stanimirova, I. y col. (2004). ((STATIS, a three-way method for data analysis. Appli- cation to environmental data)). En: Chemometrics and Intelligent Laboratory Sys- tems 73.2, págs. 219-233. issn: 0169-7439. doi: https://doi.org/10.1016/j. chemolab.2004.03.005. url: https://www.sciencedirect.com/science/ article/pii/S016974390400084X. Suhaila, Jamaludin y Zulkifli Yusop (2017). ((Spatial and temporal variabilities of rain- fall data using functional data analysis)). En: Theoretical and Applied Climatology 129.1, págs. 229-242. url: https://doi.org/10.1007/s00704-016-1778-x. Swain, Michael J. y Dana H. Ballard (nov. de 1991). ((Color indexing)). En: Internatio- nal Journal of Computer Vision 7.1, págs. 11-32. issn: 1573-1405. doi: 10.1007/ BF00130487. url: https://doi.org/10.1007/BF00130487. Swedish Meteorological and Hydrological Institute (2016). Why use a model ensemble? url: https://climateinformation.org/data-production-and-tailoring/ why-use-a-model-ensemble/. Tan, Chengguo y Suiyu Yan (2017). ((Spatiotemporal data organization and application research)). En: The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences 42.2, págs. 1363-1366. url: https://doaj.org/ article/b52c28323dec4e118ba78364aade3fe9. Tang, Guoqiang, Martyn P. Clark y Simon Michael Papalexiou (2021). ((SC-Earth: A Station-Based Serially Complete Earth Dataset from 1950 to 2019)). En: Journal of Climate 34.16, págs. 6493-6511. doi: https://doi.org/10.1175/JCLI-D-21- 0067.1. url: https://journals.ametsoc.org/view/journals/clim/34/16/ JCLI-D-21-0067.1.xml. Taylor, Karl E. (2001). ((Summarizing multiple aspects of model performance in a single diagram)). En: Journal of Geophysical Research: Atmospheres 106.7, págs. 7183-7192. url: https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2000JD900719. Thakur, Ritica y V. L. Manekar (2022). ((Ranking of CMIP6 based High-resolution Global Climate Models for India using TOPSIS)). En: ISH Journal of Hydraulic Engineering 0.0, págs. 1-14. doi: 10.1080/09715010.2021.2015462. eprint: https: https://doi.org/https://doi.org/10.1016/j.chemolab.2004.03.005 https://doi.org/https://doi.org/10.1016/j.chemolab.2004.03.005 https://www.sciencedirect.com/science/article/pii/S016974390400084X https://www.sciencedirect.com/science/article/pii/S016974390400084X https://doi.org/10.1007/s00704-016-1778-x https://doi.org/10.1007/BF00130487 https://doi.org/10.1007/BF00130487 https://doi.org/10.1007/BF00130487 https://climateinformation.org/data-production-and-tailoring/why-use-a-model-ensemble/ https://climateinformation.org/data-production-and-tailoring/why-use-a-model-ensemble/ https://doaj.org/article/b52c28323dec4e118ba78364aade3fe9 https://doaj.org/article/b52c28323dec4e118ba78364aade3fe9 https://doi.org/https://doi.org/10.1175/JCLI-D-21-0067.1 https://doi.org/https://doi.org/10.1175/JCLI-D-21-0067.1 https://journals.ametsoc.org/view/journals/clim/34/16/JCLI-D-21-0067.1.xml https://journals.ametsoc.org/view/journals/clim/34/16/JCLI-D-21-0067.1.xml https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2000JD900719 https://doi.org/10.1080/09715010.2021.2015462 https://doi.org/10.1080/09715010.2021.2015462 https://doi.org/10.1080/09715010.2021.2015462 57 //doi.org/10.1080/09715010.2021.2015462. url: https://doi.org/10.1080/ 09715010.2021.2015462. Toussaint, Frank, Martina Stockhouse y Michael Lautenschlager (2016). CMIP6 Quality Assurance. Earth System Grid Federation. url: https://www.earthsystemcog. org/site_media/projects/wip/CMIP6_Quality_Assurance.pdf. Tukey, J. W. (1975). ((Mathematics and the picturing of data)). En: Villani, Cédric (2009). ((The Wasserstein distances)). En: Optimal Transport: Old and New. Berlin, Heidelberg: Springer Berlin Heidelberg, págs. 93-111. isbn: 978-3-540- 71050-9. doi: 10.1007/978-3-540-71050-9_6. url: https://doi.org/10.1007/ 978-3-540-71050-9_6. Vissio, Gabriele y col. (2020). ((Evaluating the Performance of Climate Models Based on Wasserstein Distance)). En: Geophysical Research Letters 47.21. e2020GL089385 10.1029/2020GL089385, e2020GL089385. doi: https://doi.org/10.1029/2020GL089385. eprint: https : / / agupubs . onlinelibrary . wiley . com / doi / pdf / 10 . 1029 / 2020GL089385. url: https://agupubs.onlinelibrary.wiley.com/doi/abs/ 10.1029/2020GL089385. Wang, Jane-Ling, Jeng-Min Chiou y Hans-Georg Müller (2015). ((Review of funcional data analysis)). En: arXiv: Methodoly. url: https://arxiv.org/pdf/1507.05135. pdf. Wikle, Christopher K., Andrew Zammit-Mangion y Noel Cressie (2019). Spatio-Temporal Statistics with R. Springer Series in Statistics. Chapman y Hall/CRC. isbn: 9781351769723. url: https://doi.org/10.1201/9781351769723. World Climate Research Programme (2021). Coupled Model Intercomparison Project- CMIP. url: https://www.wcrp-climate.org/wgcm-cmip. Zamani, Reza y Ronny Berndtsson (jul. de 2019). ((Evaluation of CMIP5 models for west and southwest Iran using TOPSIS-based method)). En: Theoretical and Applied Climatol