WP-1500.1 e WP-1500.2

L’obiettivo principale dei due compiti era quello di consentire all’infrastruttura EMM di condurre studi di impatto ed eseguire simulazioni end-to-end di missioni spaziali esistenti e future dedicate al telerilevamento dell’atmosfera terrestre. L’obiettivo è stato perseguito attraverso due attività: da un lato, sono state acquisite adeguate risorse di calcolo ad alte prestazioni. D’altro canto, sono stati installati, caratterizzati e potenziati alcuni moduli software open source rilevanti per costruire un set di strumenti adatti a svolgere gli studi e le simulazioni citati.

Hardware

L’hardware ora disponibile presso l’Area di Ricerca del CNR a Sesto Fiorentino (FI), centro di calcolo INO, include:

  • Cluster per calcolo parallelo (448 core a 2,85 GHz, 2048 Gb di RAM)
  • Server ottimizzato per l’elaborazione sequenziale (96 core a 3,6 GHz, 768 GB di RAM)
  • Sistema di archiviazione da 450 TB, ridondante
  • Rete interna del rack a 200 Gb/s, UPS

Inoltre, ai fini dello sviluppo e della sperimentazione, il CNR-IAC ha acquistato un server Dell R940 – NVME dotato di quattro processori Xeon Gold 6252N, ciascuno con 24 core, e 1 TB di RAM.

Software:

Il software open source disponibile, installato e caratterizzato, comprende diversi modelli di trasferimento radiativo, tra cui:

Inoltre, nell’ambito del progetto infrastrutturale, abbiamo anche sviluppato strumenti per il calcolo dei flussi spettrali

(integrazione angolare della radianza spettrale) e strumenti per le convoluzioni della funzione di risposta spettrale degli strumenti.

Confronto tra modelli di trasferimento radiativo veloce

Gli strumenti di trasferimento radiativo installati presso il centro di calcolo del CNR-INO sono stati valutati sia dal punto di vista della precisione che della velocità. La precisione dei modelli è stata valutata confrontando le radianze spettrali o i flussi specifici per banda con calcoli analoghi effettuati utilizzando il modello KLIMA, lento ma accurato.

Le figure sopra riportate mostrano alcuni esempi dei risultati delle comparazioni incrociate tra RTTOV e KLIMA e tra σ-IASI/F2N e KLIMA, rispettivamente. I due codici sono stati analizzati anche dal punto di vista algoritmico. Le caratteristiche dei due codici sono riassunte nella tabella seguente.
Caratteristica RTTOV σ-IASI/F2N
Sviluppo Grande team di sviluppo e comunità. Già utilizzato in modelli meteorologici. Piccola comunità e team di sviluppo, quasi interamente italiano.
Algoritmo (cielo sereno) Completamente parametrico Sviluppo in serie
Algoritmo (cielo nuvoloso) Completamente parametrico Modelli fisici Chu+Tang
Prodotto Radianza strumentale Radianza ad alta risoluzione e radianza strumentale dopo convoluzione con l’ISRF
Numero di gas variabili A seconda dei predittori. Max 7 per la maggior parte degli strumenti. Max 12 gas.
Accuratezza Per FORUM: circa 100% dell’ARA Per FORUM: circa 40% dell’ARA.
Inserimento in un modello climatologico o meteorologico Semplice. Solo come eseguibile esterno.
RT di singoli canali spettrali NO
Ottimizzazione numerica Già eseguita Ampio margine
Ulteriore ottimizzazione Utilizzando la versione PC-RTTOV Ampio margine
La caratteristica più importante è la possibilità di eseguire il trasferimento radiativo su singoli canali, aspetto essenziale nell’assimilazione. Il codice RTTOV è in grado di farlo, poiché la convoluzione con l’ISRF è già integrata nella tabella dei coefficienti pre-registrati, mentre il σ-IASI/F2N richiede l’esecuzione di una convoluzione, per cui è necessario un intero intervallo di frequenze. L’RTTOV può essere ulteriormente ottimizzato utilizzando la versione PC-RTTOV di Matricardi (https://rmets.onlinelibrary.wiley.com/doi/10.1002/qj.680). Il PC-RTTOV è in grado di ricostruire uno spettro IASI completo (8461 canali spettrali) utilizzando solo un sottoinsieme di canali (chiamati punteggi) e un’operazione lineare. Nella figura sottostante riportiamo l’errore relativo alla ricostruzione spettrale completa utilizzando 50, 200 e 300 punteggi, rispetto al rumore casuale IASI.

Il tempo di calcolo di PC-RTTOV utilizzando 200 punteggi è circa 1/10 di quello del trasferimento radiativo completo RTTOV.

Flussi in uscita a onde lunghe

Anche le radianze spettrali prodotte da KLIMA e σ-IASI/F2N sono state integrate angolarmente (con uno strumento di nuova concezione) per ottenere i flussi di energia in direzione discendente e ascendente in specifiche bande spettrali. I flussi ottenuti sono stati poi confrontati con quelli generati dai codici RRTM ed eCrad.

Ecco un esempio del confronto incrociato tra i flussi derivati da KLIMA e RRTM. Pur essendo più veloce di KLIMA di diversi ordini di grandezza, RRTM fornisce flussi totali a onde lunghe con una precisione dell’ordine di 1-2 W/m2.

Confronto delle velocità di calcolo La tabella seguente riassume i tempi di calcolo richiesti dai codici di trasferimento radiativo che calcolano le radianze risolte spettralmente (KLIMA, σ-IASI/F2N e RTTOV).

Codice RTM

Tempo trascorso

Tempo CPU

KLIMA

~ 1200 ore

43,2 * 105 s

SIGMA-IASI

104 s

45 s

RTTOV

8,6 s

7,6 s

I codici RRTM ed eCrad calcolano solo i flussi integrati per banda e quelli totali e sono solitamente integrati in modelli globali che li richiamano miliardi di volte nel corso di una singola esecuzione del modello. Pertanto, sebbene siano meno precisi, questi codici sono di gran lunga più veloci sia di RTTOV che di σ-IASI/F2N. Applicazioni e know-how Utilizzando i modelli di trasferimento radiativo caratterizzati descritti in precedenza, siamo in grado di costruire la catena end-to-end (E2E) (dall’acquisizione dei dati ai prodotti geofisici di Livello 2) per la simulazione di missioni di telerilevamento passivo atmosferico. La simulazione E2E permette di caratterizzare la qualità del prodotto in funzione delle caratteristiche di misura, risultando quindi estremamente utile per definire i requisiti nelle fasi iniziali di una nuova missione. Al contrario, date l’accuratezza, la precisione e le specifiche geometriche di una missione futura o già in corso, possiamo valutare le informazioni contenute nelle misurazioni e la possibilità di ricavare nuovi prodotti geofisici. Metodi di Intelligenza Artificiale A causa del grande volume di dati attesi dai sensori di prossima generazione, sono stati proposti nuovi approcci di machine learning (ML). Sebbene questi approcci debbano basarsi su modelli fisici durante la fase di addestramento, gli algoritmi stessi, tipicamente basati su architetture come le reti neurali, apprendono una relazione funzionale direttamente dai risultati generati in precedenza per problemi identici o simili. In linea di principio, i metodi di ML possono sostituire qualsiasi procedura basata sulla fisica completa. Tuttavia, nel campo del telerilevamento, la ricerca si è concentrata principalmente su tre aree di applicazione:
  • Classificazione delle scene, come la distinzione tra condizioni di cielo sereno e nuvoloso, o la stima di indici relativi all’omogeneità della scena e alla nuvolosità.
  • Il modello diretto, ovvero la previsione di uno spettro a partire da un dato stato atmosferico (trasferimento radiativo, RT).
  • Il problema inverso, ovvero il recupero dello stato atmosferico dalle misurazioni (retrieval).
La classificazione delle scene è importante perché la presenza di nuvole richiede l’uso di modelli di trasferimento radiativo che tengano conto della diffusione multipla. Gli strumenti moderni sono spesso integrati da sensori ausiliari per l’analisi del campo visivo, e alcuni strumenti sono progettati specificamente per il rilevamento e la caratterizzazione delle nuvole. Una sfida importante per gli approcci di ML applicati al problema del RT è la maledizione della dimensionalità. Uno stato atmosferico può essere descritto da centinaia di parametri, mentre la radianza spettrale corrispondente può consistere di migliaia di canali. Nei modelli a fisica completa, le correlazioni tra i canali spettrali sono intrinsecamente rappresentate. Al contrario, i modelli di ML devono apprendere queste correlazioni dal set di dati di addestramento, il che è un compito impegnativo. Per il problema del recupero, la difficoltà principale risiede nella natura mal posta dell’inversione. I metodi di recupero a fisica completa affrontano questo problema attraverso tecniche di regolarizzazione, come la riduzione della dimensionalità utilizzando l’Analisi delle Componenti Principali (PCA), o vincolando le soluzioni verso un prior climatologico. Gli approcci ML devono incorporare strategie simili, sia apprendendo una regolarizzazione appropriata dal set di dati di addestramento, sia proiettando sia gli stati atmosferici che le radianze in spazi a dimensionalità inferiore (spazi latenti) e apprendendo le relazioni tra queste rappresentazioni (ad esempio, approcci di gemelli latenti). Sebbene i metodi di ML offrano un’inferenza molto veloce una volta addestrati, la loro accuratezza di recupero è ancora generalmente inferiore a quella raggiunta dagli approcci full-physics. La ricerca in corso mira a migliorarne la precisione, rendendoli potenzialmente una valida alternativa a metodi più onerosi dal punto di vista computazionale.