Artículo de David QUINTERO PLAZA. Delegación Territorial de AEMET en Canarias. dquinterop@aemet.es
En este artículo se hablará de cómo la machine learning (subconjunto del campo de la inteligencia artificial o de la estadística, según se mire) se puede aplicar a numerosísimas cuestiones en meteorología, permitiendo mejorar en casi todos los terrenos: desde la observación hasta el postproceso, pasando por la modelización. Se introducirán brevemente algunas de las técnicas de machine learning, como las redes neuronales, aunque el enfoque estará puesto principalmente en las aplicaciones de estas técnicas. También se hará hincapié en los diferentes proyectos que se quieren implementar o se han implementado a nivel europeo, y en particular por parte del Centro Europeo. Por último, se tratará de dar una visión lo menos personal posible del futuro de la machine learning en la meteorología. La machine learning no será en absoluto la solución a todos los problemas meteorológicos, pero es una poderosísima herramienta que no se puede soslayar, una realidad del presente y una promesa de futuro, fundamental en la economía del conocimiento y en la transición digital.
1. INTRODUCCIÓN
La machine learning (en adelante, ML) se ha hecho un hueco en las noticias en múltiples áreas, llegando a ser un término conocido por los no expertos. La ML está de moda, pero por los éxitos cosechados en diversos campos, parece que esta moda estaría justificada (Salas, 2016), (Guerrero, 2020). En meteorología y climatología, la ML se está ya utilizando y el número de sus posibles aplicaciones crece a medida que nuevos conocimientos y técnicas se van inventando y generalizando.
Pero, ¿qué es la machine learning? Suele suceder que en términos muy conocidos no es inmediato encontrar una definición que satisfaga a todo el mundo. Podría decirse que la machine learning es un subconjunto de la estadística, y por tanto de las matemáticas, donde se combinan algoritmos potentes y muy eficientes con fuerza de cálculo para aprender de un conjunto de datos. Algunos van incluso un poco más allá (Chollet, 2017), sugiriendo que puede verse la ML como un nuevo paradigma de programación; el viejo paradigma era partir de código para inferir datos, este nuevo sería partir de datos para inferir código, o cierto tipo de código.
El conjunto de algoritmos que conforman la ML es muy vasto y sus fronteras con técnicas estadísticas más conocidas son difusas. Es posible clasificar incluso la regresión lineal como una técnica de ML, según las definiciones anteriores. Ciertos algoritmos van mejor para ciertos problemas, pero es posible que, a medida que el campo de la ML vaya madurando, el número de algoritmos se reduzca. Existen tres grandes grupos dentro de la ML:
- Aprendizaje con supervisión: sucede cuando se tiene un conjunto de datos al que el modelo se tiene que aproximar lo mejor posible. Es lo más usado en meteorología (aunque no el único). Se subdivide en regresión y clasificación.
- Aprendizaje no supervisado: cuando el modelo se encuentra con datos a los que tiene no que aproximar, sino que representar internamente, a ser posible en forma reducida. (Ejemplo: k-means).
- Aprendizaje con refuerzo: cuando el algoritmo se enfrenta «a solas» ante el mundo, simplemente parte de una función de coste o penalización a la que tiene que minimizar. Durante un tiempo se entendía que este subgrupo era muy específico para el campo de la inteligencia artificial pura, pero recientemente ya se escuchan propuestas en conferencias internacionales para aplicarlo a la meteorología.
1.1. La red neuronal
La red neuronal se ha convertido, por derecho propio, en el algoritmo estrella del conjunto de la ML. Su versatilidad y una gran flexibilidad la hacen ideal para multitud de tareas, batiendo en muchas de ellas a otros algoritmos. A ella se atribuyen algunos de los éxitos más recientes (Salas, 2016), (Guerrero, 2020), y por ello será descrita con algo más de detalle.
El diseño básico es una cierta imitación del cerebro humano: un conjunto de datos de entrada atraviesan distintas capas de neuronas, que son unidades que computan operaciones (lineales o no). En la figura 1 se aprecia el diseño básico de una red neuronal.
Como se explica en la figura 1, aunque la red neuronal con una capa interna y activaciones no lineales puede considerarse como un «aproximador universal» de funciones, en la práctica es necesario probar otras configuraciones para que la inferencia o entrenamiento con los datos de partida sea satisfactorio. Entre los diseños alternativos destacan:
- Red neuronal con recurrencia: su arquitectura es muy similar a la de la figura 1, pero se mantiene una información de estados anteriores que entra en el aprendizaje futuro (como si hubiera un bucle).
- Red neuronal de convolución: aplica una operación de convolución a elementos de una matriz, esto es, agrupa un conjunto de píxeles o elementos de esa matriz y opera con ellos, buscando extraerles un significado. No se pueden entender los éxitos en el tratamiento de imágenes sin este tipo de red (figura 2).
- GAN (Generative Adversarial Network): conjunto de dos redes neuronales, una actúa como es habitual, buscando generar e inferir un patrón y la otra la monitoriza, penalizándola cuando considera que se ha alejado demasiado. Las dos redes compiten en un juego de suma cero (las ganancias de una son las pérdidas de la otra), lo que introduce un aprendizaje competitivo muy robusto.
- Autoencoders: también dos redes, en este caso una aprende una representación codificada y compacta de un conjunto de datos y la otra trata de invertir esa representación, volviendo a los datos originales.
2. APLICACIONES
Como se ha mencionado, la ML tiene muchísimo campo de aplicación en el mundo de la meteorología y climatología. A continuación se verán algunos de los ejemplos.
2.1. Postproceso
Por postproceso se entiende el conjunto de operaciones que se efectúan a las salidas de la ejecución de un modelo meteorológico, con vistas a mejorar y refinar aún más estas salidas. La idea es que si uno dispone de un conjunto de datos de observaciones a lo largo del tiempo de variables meteorológicas en puntos concretos puede compararlas con el modelo en esos mismos puntos y corregir sesgos innatos de este modelo, acercándolo más a la «realidad» (Bremnes, 2020). Este postproceso puede aplicarse tanto a un modelo probabilístico como a uno determinista, y suele ofrecer muy buenos resultados para el viento y la temperatura, siendo algo más complicado para la precipitación.
El autor de esta colaboración ha trabajado en el campo del postproceso con ML aplicado al ensemble de corto plazo de AEMET, el γSREPS. Este último, como modelo probabilista, ofrece una salida de 20 miembros (los 20 modelos que lo conforman). Una forma de verificar un modelo probabilista es representar un histograma de rangos (ordenar valores de los modelos en «cajas» y colocar la observación en la caja más próxima). Un modelo probabilista ideal debiera tener una representación recta ideal. Si el histograma tiene forma de «U» quiere decir que abundan valores a los extremos, es decir, el modelo abarca poca casuística, tiene insuficiente extensión de casos posibles; si el histograma crece hacia un lado indica que hay sesgo en la dirección contraria (pocos valores en la dirección contraria que hacen que la mayoría caiga en la otra dirección); si el histograma tiene forma de campana de Gauss se tendría una dispersión excesiva (figura 3).
- a) b)
Un reto especialmente interesante es tratar de calibrar valores extremos, de los cuales un algoritmo puede haber visto pocos o ninguno en su base de datos de inferencia o entrenamiento. Los valores extremos siguen distribuciones Weibull, Fréchét o Gumbel, que forman parte de la distribución GEV (Generalized Extreme Value). En el γSREPS hay personas que están investigando esta línea.
2.2. Downscaling
La técnica de downscaling consiste en partir de información de poca resolución y tener cierto conocimiento de variables muy locales, es decir, de alta resolución. Se puede subdividir en downscaling estadístico y dinámico. En el estadístico entran en juego multitud de técnicas. Es muy utilizada la regresión lineal, por su sencilla implementación, poco coste computacional y razonablemente buenos resultados. Es posible que métodos más complejos (García Valero, 2021), como las redes neuronales, encuentren detalles que los métodos más simples no captan.
El downscaling tiene una especial importancia para el caso de las proyecciones climáticas. Los modelos que tratan de inferir el clima a finales de siglo tienen que correr bajo limitaciones claras en cuanto a resolución luego, para poder hablar de climas regionales o incluso locales, hay que rellenar la información no presente con lo que se deduce de esta técnica. En AEMET hay un grupo que trabaja con downscaling, y en España la Universidad de Cantabria, a través de su Grupo de Meteorología, es una importante referencia internacional.
2.3. Nowcasting
El nowcasting, como se puede deducir de su nombre, es el conjunto de técnicas orientadas a la predicción a muy corto plazo, desde el instante presente a las primeras 6-8 horas. Este tipo de predicción puede realizarse con modelos de integración rápida, que se ejecutan un poco tiempo y tienen un alcance de muy corto plazo, sin embargo, esto requiere crear todo un tipo de nuevos modelos, además de significativa potencia de cálculo, lo cual sigue siendo un reto para muchos servicios meteorológicos. Con técnicas de ML se pueden suplir estas limitaciones e incluso obtener mejoras respecto a estos modelos de integración rápida.
Este sería el caso del trabajo hecho por el grupo de investigación de Google que creó MetNet (Sønderby y otros, 2020), una red neuronal profunda, de arquitectura compleja, utilizada para la predicción probabilista de la lluvia en las primeras 8 horas a partir de imágenes satelitales y de radar. En las primeras ocho horas, MetNet superó al modelo de integración rápida. El gran obstáculo de este tipo de redes neuronales es la dificultad y coste computacional de su entrenamiento. Una vez este es alcanzado, la ejecución del modelo es mucho menos costosa que un modelo de integración rápida, y es más fácilmente escalable.
Trabajos similares se han realizado tan solo con el radar (Ayzel y otros, 2019), de nuevo con buenos resultados. Debido a lo que se decía antes de que los entrenamientos son complicados y exigentes (que no las implementaciones a posteriori de estos entrenamientos), existen recursos, como la combinación de herramientas PyRain más RainBench, que hace uso básicamente de modelos ya entrenados (De Witt y otros, 2020), y pueden facilitar mucho el acceso a este tipo de técnicas a personas e instituciones con más limitaciones económicas. Aunque estos enfoques son muy válidos, dadas las características de lo que es un entrenamiento con ML, probablemente los entrenamientos son más potentes cuando aprovechan características locales más que genéricas.
2.4. Clasificación de meteoros. Refinamiento de algoritmos
Bajo este epígrafe se pueden incluir todas aquellas técnicas orientadas a la identificación y posterior clasificación de un meteoro del tipo que sea: la precipitación en su forma convectiva o estratiforme, el tipo de las nubes y su altitud, o evaluaciones del potencial convectivo de células, de la temperatura de los topes de la nubosidad, etcétera. En AEMET, este conjunto de trabajos los desempeña el SAF (Satellite Applications Facility) de Nowcasting.
El conjunto de algoritmos de la ML puede usarse para refinar, mejorar o incluso sustituir algoritmos con los que se calibran sensores de todo tipo para multitud de variables, como la temperatura, los diferentes tipos de radiación solar, el viento y muchos más.
2.5. Climatología
La climatología hace un uso extensivo de técnicas estadísticas de todo tipo. La ML no estaría para sustituir estas técnicas sino para complementarlas y, si fuera posible, mejorarlas (figura 4). Si la técnica de ML fuera superior al proceso estadístico clásico, tendría sentido cambiarlo, pero hay que tener en cuenta que la ML ofrece en ocasiones un pacto «faustiano»: a cambio de una mejora se pierde cierta interpretabilidad. Por ejemplo, hay ciertas evidencias de que las redes neuronales pueden superar a la clasificación realizada por un análisis de componentes principales (PCA, llamado también por parte de la comunidad meteorológica EOF, Empirical Orthogonal Functions). Esto es bueno, claro, pero tiene la contrapartida de que se sacrifican la inmensa visión y comprensión que para un ser humano ofrecen las PCA.
No se quiere dar con esto alas al típico comentario de que la ML es una «caja negra». El autor de esta colaboración considera exagerada esa expresión. Los algoritmos ML no son cajas negras en el sentido de que se saben los principios generales que rigen su comportamiento y se pueden introducir cambios y analizarlos. Sin embargo, sí que es cierto que parte de la inmediata e intuitiva interpretación que un estudio estadístico con PCA ofrece se pierde con la red neuronal. Sobre el profundo y muchas veces olvidado campo de la interpretabilidad de los modelos ML, consúltese (Molnar, 2021).
2.6. Asimilación de datos
La asimilación de datos de observaciones para su posterior ingestión en el modelo se ha convertido hoy en pieza clave de la modelización. Un correcto proceso de asimilación ajusta el modelo a las observaciones, corrigiendo sus sesgos, pero también es capaz de desechar observaciones si estas no alcanzan unos mínimos de calidad. Un potente algoritmo de asimilación es probablemente la causa de que el modelo del Centro Europeo sea el mejor modelo global del mundo hoy por hoy.
Los procesos de asimilación de datos se basan en algoritmos complejos con nombres un tanto exóticos (Ensemble Kalman Filter, 4D Var, LETKF…). La idea detrás de todos ellos es la minimización de una función de coste que penaliza cuánto se aleja uno del estado «real» de la atmósfera, entendiendo por «real» el estado que mejor combina las observaciones y el modelo. Como todo proceso que involucra la minimización de una función, los algoritmos de ML pueden entrar en juego y tal vez hacer contribuciones críticas al respecto.
2.7. Parametrización
Uno de los gurús de la predicción probabilística, el británico Tim Palmer (antiguo miembro del Centro Europeo y ahora en la Universidad de Oxford), lleva un tiempo comentando cómo las redes neuronales podrían utilizarse en la parametrización de procesos físicos de los modelos. La parametrización, como se ha indicado, consiste en aplicar fórmulas semiempíricas, más o menos basadas en la física y la química, para describir procesos, sobre todo de muy pequeña escala, que los modelos no llegan a resolver en sus ecuaciones. Si se pueden estudiar estos efectos de forma aislada es posible sustituir las formulaciones semiempíricas por otras basadas en una inferencia estadística. Por supuesto, esto tiene el inconveniente antes mencionado de que se pierde cierto razonamiento físico y comprensión.
2.8. Reformulación de modelos
Los modelos meteorológicos se pueden dividir en dos grandes categorías según cómo aproximan las derivadas. Están los que utilizan diferencias finitas, esto es, formulan la derivada como un cociente de dos números muy próximos. Esta aproximación, conocida como discretización, conlleva multitud de problemas relacionados con la estabilidad computacional producida por los errores que introduce el hecho de que las derivadas no son las verdaderas derivadas. La otra categoría son los modelos espectrales, que describen la atmósfera en función de los armónicos esféricos, un conjunto de funciones ideales para la geometría esférica de la Tierra. No obstante, estos modelos también tienen que ser truncados (la serie de armónicos esféricos es infinita y por tanto incalculable toda ella); también adolecen de un gran esfuerzo computacional, lo que para la muy alta resolución puede ser un problema.
Las redes neuronales se basan en un procedimiento conocido como diferenciación automática. Este proceso permite computar derivadas con arbitraria precisión (como límite, la precisión de la máquina), consumiendo muy pocos recursos computacionales y poca memoria. Son, pues la tercera y gran alternativa a los conocidos métodos de evaluación de derivadas del pasado, las diferencias finitas y la evaluación simbólica exacta. (Aunque en el párrafo anterior se ha considerado a los armónicos esféricos como una clase en sí misma, pueden verse en realidad como una forma de diferencias finitas, dado que presentan truncación). La diferenciación automática no es complicada, (en cierto modo, se puede decir que no es otra cosa que una astuta aplicación de la regla de la cadena) pero se refiere al lector a la bibliografía por razones de espacio, por ejemplo (Radul, 2013).
El potencial que tiene aplicar la diferenciación automática a los modelos que usan diferencias finitas es inmenso, ya que permite resolver los problemas de aproximación de las derivadas y todos los tratamientos extra que hay que hacer por culpa de estas aproximaciones. El coste computacional es bajísimo; el coste a nivel de recursos humanos sí es más importante, pues casi equivale a reescribir el código de un modelo desde cero. No obstante, los beneficios son tantos que no cabe duda de que alguien abordará esto en algún momento.
2.9. Otras aplicaciones
La lista anterior no pretende ser exhaustiva, y a buen seguro hay aplicaciones a la meteorología y la climatología que han quedado fuera. En general, cualquier proceso en el que se utilice un algoritmo, del tipo que sea, puede ser probado con un algoritmo de ML. Todo postproceso, del tipo que sea, puede ser realizado con ML. Incluso la ML puede utilizarse para predicciones como tales, al menos en el corto plazo; si en el futuro un modelo ML puro puede sustituir a los modelos clásicos es un tema polémico y quizá prematuro. Nada es realmente descartable, pero quien esto escribe lo duda y considera que es en combinación con otras técnicas donde la ML mejor funciona.
3. PROYECTOS Y COLABORACIONES
Dentro de AEMET existen ya varios proyectos realizados y en marcha que utilizan ML, como por ejemplo (García Valero, 2021). Como en el caso del apartado anterior, la lista no pretende ser exhaustiva, y la idea es centrarse en proyectos internacionales que utilizan la ML para la meteorología o que proporcionan facilidades a los usuarios para el uso de la ML
3.1. EUMETNET
En el proyecto de colaboración europeo de EUMETNET existe una línea importante dedicada al postproceso de modelos, incluyendo los modelos probabilísticos o ensembles. El objetivo es proporcionar un software fácil de entrenar o incluso entrenado que permita a los países tener un postproceso estadístico operativo. Pero no solo el objetivo es la operatividad, sino que existe también una línea de investigación que busca objetivos más ambiciosos, como la calibración de valores extremos, esto es, valores que no estén en la base de entrenamiento de un algoritmo y que, por tanto, se desconozca cómo este algoritmo pueda reaccionar una vez se encuentre con ellos.
En este proyecto de postproceso hay personal de reconocido prestigio y experiencia, y el uso de ML es bastante extensivo, como por ejemplo el trabajo reciente de John B. Bremnes (Bremnes, 2020), que utiliza redes neuronales para computar los coeficientes de los polinomios de Bernstein, que se utilizan para calibrar por cuantiles; estos coeficientes y polinomios están en sucesión creciente, lo que evita el problema del cruce de cuantiles.
3.2. EWC (European Weather Cloud)
La EWC es quizá uno de los proyectos más atractivos para la aplicación de la ML en el ámbito meteorológico europeo. Más que proporcionar modelos listos para ejecutar o para entrenar, se centra en facilitar el acceso a grandes recursos de computación a todos los países, para que estos puedan realizar los entrenamientos que consideren. Entrenar modelos ML conlleva unos recursos bastante considerables, sobre todo el uso de las deseadas GPU (Graphic Processing Unit), las tarjetas gráficas aceleradoras de cálculos, especialmente diseñadas para operaciones en coma flotante, de elevado precio. Con la EWC los países con menos recursos podrán acceder a este tipo de herramientas y trabajar con modelos ML de arquitectura compleja.
La EWC es un esfuerzo conjunto de dos organismos europeos de gran importancia en la meteorología y la climatología. Por un lado, el ECMWF (Centro Europeo de Predicción Meteorológica a Plazo Medio), líder mundial en predicciones globales para el medio plazo; por otro lado, EUMETSAT, la máxima autoridad europea en teledetección vía satélite. El proyecto se encuentra ahora mismo en una fase piloto, donde los usuarios que tienen acceso empiezan a familiarizarse con el entorno y a hacer pruebas; el objetivo es que esté disponible a plena operatividad en algún momento de 2022, a ser posible.
4. CONCLUSIONES
En este artículo se han expuesto las diversas opciones que el conjunto de técnicas conocido como machine learning pueden ofrecer a la comunidad climatológica y meteorológica. No se ha pretendido ser exhaustivo (hubiese sido imposible, ya que nuevas aplicaciones se alumbran constantemente), y aun así la lista es considerable. Como se comentaba en la introducción, la ML no viene para resolver todos los problemas de un plumazo, pero se ha convertido en una herramienta esencial que la comunidad meteorológica no puede dar de lado.
También se ha querido mostrar la importancia que tienen los proyectos de colaboración conjunta entre diversos organismos, de manera especial la EWC, ya que ofrecen recursos computacionales necesarios para muchos de estos algoritmos ML, recursos que pueden ser un reto todavía para numerosos servicios meteorológicos.
Si este artículo consigue acercar la ML a parte de la comunidad meteorológica o incluso sugerir posibles nuevas líneas de ataque a problemas existentes, habrá cumplido de sobras con su cometido.
REFERENCIAS
Ayzel, G., Heistermann, M., Sorokin, A., Nikitin, O. y Lukyanova, O. (2019). All convolutional neural networks for radar-based precipitation nowcasting. Procedia Computer Science, Volumen 150, 2019, págs. 186-192. https://doi.org/10.1016/j.procs.2019.02.036.
Bremnes, J. B. (2020). Ensemble Postprocessing Using Quantile Function Regression. Basado en: Neural Networks and Bernstein Polynomials. Monthly Weather Review, 148(1), 403-414. Recuperado en abril de 2021, de https://journals.ametsoc.org/view/journals/mwre/148/1/
mwr-d-19-0227.1.xml.
Chollet, F. (2017). Deep Learning with Python. Editorial Manning, 1.ª edición, 384 pp.
Cybenko, G. (1989).Approximation by Superpositions of a Sigmoidal Function. Math. Control Signals Systems (1989) 2:303-314.
De Witt, C. S., Tong, C., Zantedeschi, V., De Martini, D., Kalaitzis F., Chantry, M., Watson-Parris, D. y Bilinski, P. (2020). RainBench: Towards Global Precipitation Forecasting from Satellite Imagery. https://arxiv.org/pdf/2012.0967.
García Valero, J. A. (2021). Redes neuronales artificiales: aplicación a la regionalización de la precipitación y temperaturas diarias. Nota técnica de AEMET 34. Agencia Estatal de Meteorología. https://dx.doi.org/10.31978/666-20-028-5.
Guerrero, T. (2020). La inteligencia artificial resuelve casi por completo uno de los grandes enigmas de la biología. https://www.elmundo.es/ciencia-y-salud/ciencia/2020/12/01/
5fc60b42fdddffe6428b45c7.html.
Molnar, C. (2021). Interpretable Machine Learning. https://christophm.github.io/interpretable-ml-book/.
Quintero Plaza, D. y Bremnes, J. B. (2020). A First Try of Neural Networks with the Method of Bernstein Polynomials for the Calibration of Temperature in 5 Airports of Spain. Joint EUMETNET SRNWP-EPS and Post-processing 2020 Workshop. (Poster).
Radul, A. (2013). An Introduction to Automatic Differentiation. https://alexey.radul.name/ideas/2013/introduction-to-automatic-differentiation/.
Salas, J. (2016). La inteligencia artificial conquista el último tablero de los humanos. https://elpais.com/elpais/2016/01/26/ciencia/1453766578_683799.html.
Sønderby, C. K., Espeholt, L., Heek, J., Dehghani, M., Oliver A., Salimans, T., Agrawal, S., Hickey, J. y Kalchbrenner, N. (2020). MetNet: A Neural Weather Model for Precipitation Forecasting. https://arxiv.org/abs/2003.12140.
