¿Qué información necesitaría un modelo de IA para comprender realmente nuestro planeta? Esa es la pregunta a la que se han propuesto responder este año investigadores de IBM, ESA, KP Labs, Julich Supercomputing Center (JSC) y la Agencia Espacial Alemana (DLR) en el marco de una iniciativa liderada por la ESA para mejorar el acceso a los modelos fundacionales dentro de la comunidad de observación de la Tierra. 

Por eso, IBM y la ESA han presentado hoy TerraMind, un nuevo modelo de observación de la Tierra que el grupo ha publicado en código abierto en HuggingFace. El modelo ha sido entrenado previamente en TerraMesh, el conjunto de datos geoespaciales más grande disponible construido por investigadores como parte del proyecto TerraMind. 

Líder en rendimiento de modelos geoespaciales

TerraMind tiene una arquitectura única de codificador-decodificador basada en transformadores simétricos, que está diseñada para trabajar con entradas basadas en píxeles, tokens y secuencias, así como aprender correlaciones entre modalidades distintas de datos. A pesar de haber sido entrenado con 500.000 millones de tokens, TerraMind es un modelo pequeño y ligero, que utiliza 10 veces menos recursos informáticos que el uso de modelos estándar para cada modalidad. Esto significa que los usuarios pueden implementarlo a escala con un coste menor, al tiempo que reducen el consumo total de energía en la etapa de inferencia.

«Para mí, lo que realmente distingue a TerraMind es su capacidad para ir más allá del procesamiento de imágenes satelitales con algoritmos de visión artificial. Tiene una comprensión intuitiva de los datos geoespaciales y de nuestro planeta», ha declarado Juan Bernabé-Moreno, director de IBM Research en Reino Unido e Irlanda, y líder de Accelerated Discovery de IBM para el clima y la sostenibilidad. «En la actualidad, TerraMind es el modelo fundacional de IA con mejor rendimiento para la observación de la Tierra según los puntos de referencia que establece la comunidad».En una evaluación de la ESA, TerraMind se comparó con 12 modelos populares de observación de la Tierra en PANGAEA, la referencia estándar de la comunidad, para medir el rendimiento del modelo en tareas reales, como la clasificación de la cobertura del suelo, detección de cambios, monitoreo ambiental y análisis multisensor y multitemporal. La evaluación mostró que TerraMind superaba a otros modelos en estas tareas en un 8% o más.

“TerraMind combina información de varias modalidades de datos de entrenamiento para aumentar la precisión de sus resultados», asegura Simonetta Cheli, directora de Programas de Observación de la Tierra de la ESA y responsable de ESRIN. «Su capacidad para integrar de forma intiutiva información contextual y generar escenarios nunca antes vistos es un paso fundamental para desbloquear el valor de los datos de la ESA. En comparación con los modelos similares, permite una comprensión más profunda de la Tierra tanto para los investigadores como para las empresas».

En la práctica, para predecir el riesgo de escasez de agua, los investigadores deben tener en cuenta muchos factores diferentes, como el uso del suelo, el clima, la vegetación, las actividades agrícolas y la ubicación. Antes de TerraMind, todos estos datos estaban dispersos y almacenados por separado. Reunir esta información permite a los usuarios hacer predicciones más precisas sobre el riesgo potencial de escasez de agua basándose en una visión más amplia de las condiciones en la Tierra.

Nueve millones de puntos de datos, nueve modalidades diferentes

Durante la creación del conjunto de datos, los investigadores incluyeron información de todos los biomas, tipos de usos y coberturas del suelo y regiones, lo que permite que el modelo sea igualmente válido para cualquier aplicación en todo el mundo, con un sesgo limitado.

El conjunto de datos incluye 9 millones de muestras de datos distribuidas globalmente, alineadas espacio-temporalmente en nueve modalidades principales: observaciones realizadas por sensores en satélites, la geomorfología de la superficie de la Tierra, las características de la superficie que son importantes para la vida en la Tierra (vegetación y uso del suelo) y descripciones básicas de ubicaciones y sus características (latitud, longitud y descripciones de texto sencillas).

Autoajuste para crear datos artificiales

Desde un punto de vista técnico, TerraMind es innovador incluso más allá del ámbito de la observación de la Tierra. Es el primer modelo de IA generativa multimodal “any to any” para la observación de la Tierra. Esto significa que puede autogenerar datos de entrenamiento adicionales a partir de otras modalidades, una técnica que los investigadores de IBM han denominado «Thinking-in-Modalities» (TiM). TiM es un enfoque novedoso para los modelos de visión artificial, similar a la cadena de pensamiento de los modelos de lenguaje. Las pruebas empíricas demuestran que el ajuste TiM puede mejorar el rendimiento del modelo más allá del ajuste fino. 

«El ajuste de TiM aumenta la eficiencia al autogenerar datos de entrenamiento adicionales relevantes para el problema que se está tratando, por ejemplo, indicando al modelo que «piense» en la cubierta terrestre cuando analiza cuerpos de agua. Este avance puede ofrecer una precisión sin precedentes a la hora de especializar TerraMind para casos de uso específicos», asegura Johannes Jakubik, científico de IBM Research en Zúrich.

Construir sobre una base sólida

El uso de IA y aprendizaje automático en datos relacionados con la Tierra, como satélites y patrones de uso del suelo, no es nueva. Los modelos geoespaciales existentes, como los desarrollado por IBM y la NASA, permiten a los científicos dar sentido a estos datos, ayudándoles a abordar mejor casos de uso en agricultura de alta precisión, gestión de desastres naturales, monitoreo medioambiental (a través del agua, el calor y la sequía), planificación urbana y regional, monitoreo de infraestructura crítica, monitoreo forestal y de biodiversidad, y entre otros.

Sin embargo, estos modelos aún procesan datos procedentes de fuentes que en ocasiones no pueden captar la abundante realidad de las condiciones de nuestro planeta. Mientras que los satélites dan la vuelta al mundo, proporcionando datos temporales sobre eventos naturales, vuelven a visitar el mismo lugar cada cinco días. Para analizar los eventos climáticos a largo plazo, esto proporciona datos suficientes para predecir y revisar las tendencias. Pero esto puede dificultar el seguimiento de fenómenos climáticos a corto plazo como incendios forestales o inundaciones. Cuando cada día cuenta, los investigadores necesitan contar con los datos más recientes para hacer predicciones o evaluar el riesgo utilizando modelos de IA.   

Para abordar este reto, los investigadores de IBM combinaron sus conocimientos técnicos en preparación de datos y construcción de modelos fundacionales con los datos de observación de la Tierra de la ESA y su experiencia en la evaluación de modelos para desarrollar un nuevo modelo fundacional de IA multimodal para la observación de la Tierra. Se entrenó utilizando la infraestructura y los conocimientos del Centro de Supercomputación de Jülich. Otros socios contribuyeron al proceso general de desarrollo del modelo mediante la realización de experimentos de escalado y la preparación de aplicaciones de reducción de escala. 

Un esfuerzo continuo

TerraMind es parte del proyecto de IBM que busca utilizar la tecnología de IA para explorar nuestro planeta. En la actualidad, gobiernos, empresas e instituciones públicas están utilizando los modelos Prithvi de IBM-NASA y los modelos geoespaciales especializados de IBM Granite para examinar los cambios en los patrones de catástrofes, biodiversidad y uso del suelo, así como para detectar y predecir patrones meteorológicos severos. Expertos de la NASA también participaron en la validación de TerraMind, como parte de la iniciativa Open Science de la NASA. Todos los modelos geoespaciales se pueden consultar en Hugging Face y en IBM Geospatial Studio.

En el próximo mes se añadirán al repositorio de IBM Granite versiones de ajuste fino de TerraMind para la respuesta ante catástrofes y otros casos de uso de gran impacto, con el fin de que las comunidades y las empresas puedan aprovechar el poder de esta nueva generación de análisis de observación de la Tierra.

«Con la ciencia y la tecnología de observación de la Tierra y la colaboración internacional, estamos liberando todo el potencial de los datos espaciales para proteger nuestro planeta», ha declarado Nicolas Longepe, científico de datos de Observación de la Tierra de la ESA. «Este proyecto es un ejemplo perfecto en el que la comunidad científica, las grandes empresas tecnológicas y los expertos han colaborado para aprovechar esta tecnología en beneficio de las ciencias de la Tierra. La magia ocurre cuando se unen expertos en datos de observación de la Tierra, expertos en aprendizaje automático, científicos de datos e ingenieros de HPC».