Machine learning energivoro: una sfida trascurata che la ricerca sta per risolvere

pittogramma Zerouno

Prospettive

Machine learning energivoro: una sfida trascurata che la ricerca sta per risolvere

È enorme la quantità di energia necessaria per addestrare algoritmi di machine learning. L’elaborazione dei dati è però ormai un’attività irrinunciabile per qualsiasi applicazione e il suo impatto energetico è destinato a esplodere, a meno che non vengano introdotte soluzioni hardware innovative e ad alta efficienza. Un team del Politecnico di Milano ha ottenuto il finanziamento come ERC Advanced Grant 2021 proprio per sviluppare una tecnologia basata su un nuovo concetto di calcolo, completamente eseguito in memoria nel dominio analogico. Si chiama ANIMATE e ha già riscosso un grosso interesse dall’industria dei semiconduttori in vista di potenziali applicazioni nell’ambito Telco e automotive. 

21 Ott 2022

di Marta Abba'

È ormai così frequente e indispensabile l’elaborazione di dati e immagini che pochi si domandano quanto effettivamente costi dal punto di vista energetico e, soprattutto, se il “prezzo” da pagare è fisso. Dal Politecnico di Milano arriva una buona notizia. C’è spazio per una trattativa, mettendo in gioco nuove tecnologie, leggi di fisica ed elettronica e materiali innovativi. Nell’attuale contesto globale è una vera e propria sfida contro il tempo ma che vale la pena di intraprendere.

A confermarlo proprio il riconoscimento ottenuto dal progetto dedicato: ANIMATE (ANalogue In-Memory computing with Advanced device Technology). Il suo coordinatore, Daniele Ielmini, professore ordinario presso il Dipartimento di Elettronica, Informazione e Bioingegneria, è infatti uno dei 253 ricercatori europei a cui saranno distribuiti 624,6 milioni di euro. È il finanziamento previsto per “chi porta avanti progetti innovativi e ad alto rischio” all’interno dell’iniziativa degli ERC Advanced Grant.

L’obiettivo del progetto è ottimizzare l’efficienza energetica del training per il machine learning sviluppando un nuovo concetto di calcolo che “metta in crisi” l’attuale architettura computazionale. Un’innovazione che potrebbe impattare sui settori Telco e automotive e via via su tutte le altre applicazioni. Oggi ogni minima ottimizzazione tecnologica è vitale, infatti, non solo per il bilancio delle singole aziende ma anche per la sostenibilità dell’economia mondiale.

La sfida energetica del machine learning

Il training di una rete neurale convenzionale per l’intelligenza artificiale produce la stessa quantità di anidride carbonica di 5 automobili nel loro ciclo di vita. Una stima di impatto ambientale da affiancare a quello dei data center. Queste strutture, che attualmente soddisfano la maggior parte del fabbisogno mondiale di AI, entro il 2030 passeranno a consumare il 7% dell’intero budget globale di energia.

WHITEPAPER
Banking, come creare valore con l’AI conversazionale
CIO
Finanza/Assicurazioni

I principali fattori che rendono il machine learning energivoro sono due: l’enorme quantità di dati necessaria e il loro trasferimento. “Le reti neurali hanno continuo bisogno di dati che vengono poi ogni volta elaborati ad alta frequenza. Tutto ciò richiede molto tempo e molta energia: solo modificando radicalmente l’architettura dei calcolatori si possono ottenere miglioramenti evidenti. L’alto costo energetico del ML è infatti legato alla necessità di trasferire i dati dalla memoria al processore, un passaggio obbligatorio con le attuali architetture in cui i due elementi sono separati” spiega Ielmini.

La migrazione al cloud è stata la risposta immediata per ovviare al forte spreco di energia e alle complessità della rete, ma poco ha risolto. Anzi, in questo caso ha creato altri problemi, come illustra Ielmini. “Oltre a permanere la voce ‘trasmissione dati’ nel bilancio energetico, facendosi sempre più impattante, si aggiunge anche un rischio in termini di cybersecurity. Nel trasferimento verso il cloud le informazioni sono soggette a rischi potenziali non sempre accettabili”. L’impressione è di essere incastrati in una strada chiusa e sempre più stretta. Ma il team di Ielmini apre nuove speranze e mostra una via di uscita, da perseguire con costanza, fondi e spirito di collaborazione allargato.

Close loop & in memory computing per minimizzare l’impatto ambientale

La ricerca preliminare di ANIMATE ha dimostrato che il fabbisogno di energia di calcolo può essere ridotto grazie al closed-loop in-memory computing (CL-IMC) che risolve problemi di algebra lineare in un unico passaggio. Rispetto ai computer digitali, questo approccio elimina il legame tra dimensione dei problemi e tempo di risoluzione e abbatte il consumo energetico di un fattore 5.000. Il tutto mantenendo la medesima precisione in termini di numero di bit.

Come può accadere tutto ciò, lo illustra Ielmini indicando le due innovazioni introdotte dal CL-IMC. Con il concetto di “in-memory computing” (calcolo in memoria) si elaborano informazioni direttamente nella memoria, eliminando il problema del trasporto dati. “Usiamo una precisa struttura di memoria, una matrice cross point. In ogni sua casella c’è una resistenza analogica in grado di compiere una moltiplicazione in modo fisico, non più digitale. Ciò è possibile sfruttando la Legge di Ohm, quindi la proporzionalità tra tensione applicata e corrente ottenuta. Grazie alla legge di Kirchhoff è possibile effettuare le somme nella matrice in totale parallelismo e ottenere un prodotto vettore- matrice nel giro di 100 nanosecondi” spiega Ielmini. Pressoché tutte le memorie in commercio sono compatibili con questo approccio, sia le volatili che le non volatili, come i dispositivi flash o le memorie a cambiamento di fase (phase change memory, PCM).

La seconda innovazione introdotta da ANIMATE è il calcolo analogico ad anello chiuso, o closed-loop. “Il calcolo così effettuato accelera enormemente le numerose iterazioni di un algoritmo ML, minimizza i tempi e abbatte i consumi energetici”.

L’idea è di realizzare un circuito CL-IMC proprietario utilizzando transistor, condensatori e memorie disponibili. La vera sfida per il team di ricerca si gioca nel design dei circuiti: “sarà vitale comprendere quale tipo di memorie, di operazionali e di tecnologie siano maggiormente compatibili e integrabili nella più ampia gamma di tecnologie possibili”.

Il futuro di ANIMATE e i nuovi orizzonti per Telco e automotive

Ora in fase di “Grant Agreement”, il progetto durerà cinque anni con una roadmap temporale già ben delineata. La prima tappa consiste nello sviluppo di un circuito prototipo CL-IMC con tecnologia CMOS, per verificarne subito l’efficacia con operazioni come la risoluzione di equazioni lineare o l’inversione di matrici.

Nonostante la tecnologia non ottimizzata e matrici di dimensioni relativamente ridotte (32×32 o 64×64) questo circuito permetterà la dimostrazione ‘in silicio’ della fattibilità del concetto di calcolo introdotto, anche se con una capacità di computing limitata. Obiettivo del secondo step: il passaggio a una memoria basata su semiconduttori bidimensionali, in cui il solfuro di molibdeno sostituisce il silicio. In tal modo aumentano la scalabilità e la densità della matrice di calcolo, più grande a parità di area (128×128 o 256×256). Terzo e ultimo step del progetto è la combinazione del circuito integrato CMOS con la memoria avanzata, per poterlo applicare a casi pratici.

Ielmini precisa però che “non tutti i problemi di ML possono al momento essere affrontati da questo tipo di circuiti. Sicuramente funzionano con i problemi di regressione lineare, spesso usata nel campo delle telecomunicazioni”. Un esempio di possibile applicazione di ANIMATE è il Massive MIMO, un protocollo di trasmissione di uso comune nel 5G. È già stato anche realizzato uno studio preliminare che promette un miglioramento delle prestazioni in termini sia di efficienza energetica che di velocità di funzionamento. Ciò significherebbe per il settore Telco disporre di antenne in grado di trasmettere e ricevere più informazioni nell’unità di tempo e gestire un parco ancora più grande, rendendo possibili applicazioni internet oggi non accessibili.

Un’altra possibile applicazione riguarda i veicoli autonomi e i droni. L’algoritmo che ne monitora e regola la posizione è infatti basato sulla regressione lineare. Ottimizzarne tempo e consumi aprirebbe nuove strade più sostenibili e performanti sia per la localizzazione di auto su strada e droni, sia nella predizione dell’evoluzione della loro posizione nel tempo.

Il team di ricerca ha prospettive molto ambiziose e l’intenzione di creare una rete di collaborazioni interdisciplinari per amplificarne la portata. Oltre che sulla collaborazione interna al Politecnico, Ielmini punta ad attivare anche alleanze esterne, avendo già suscitato l’attenzione di numerose aziende. In prima fila ci sono quelle di semiconduttori, “possibili partner interessate a contribuire alla realizzazione del design del circuito integrato già nella prima fase, fornendo la loro tecnologia CMOS. Senza questo contributo sarebbe quasi impossibile realizzare il primo prototipo” confessa. Anche le Telco e il mondo automotive si sono avvicinate ad ANIMATE “in prospettiva”, pronte a beneficiare delle numerose potenziali ricadute tecnologiche. “Stiamo già dialogando con diversi soggetti industriali interessati a esplorare applicazioni nei loro ambiti di interesse”.

Marta Abba'

Giornalista

Laureata in Fisica e giornalista, per scrivere di tecnologia, ambiente e innovazione, applica il metodo scientifico. Dopo una gavetta realizzata spaziando tra cronaca politica e nera, si è appassionata alle startup realizzando uno speciale mensile per una agenzia di stampa. Da questa esperienza è passata a occuparsi di tematiche legate a innovazione, sostenibilità, nuove tecnologie e fintech con la stessa appassionata e genuina curiosità con cui, nei laboratori universitari, ha affrontato gli esperimenti scientifici.

Argomenti trattati

Approfondimenti

M
Machine Learning

Articolo 1 di 5