Perché l’AI ha bisogno di Ethernet

L’intelligenza artificiale richiede un’elaborazione massiccia dei dati e una potenza di calcolo che rendono cruciale la scelta dell’infrastruttura di rete. Sebbene InfiniBand sia tradizionalmente favorito in alcuni ambienti, il suo vendor lock-in e le difficoltà di gestione ne limitano la flessibilità. Ethernet, invece, sta rapidamente diventando la scelta universale per la network fabric, poiché offre una architettura open, scalabilità, alte prestazioni ed efficienza. 

Perché Ethernet batte InfiniBand nella sfida dell’AI

Diversi fattori fanno pensare a un futuro in cui le unità di elaborazione grafica (GPU) e gli acceleratori di prossima generazione si affideranno a Ethernet, evitando i costi e la complessità di InfiniBand. I principali vantaggi offerti da Ethernet includono:

• Nessun vendor lock-in. La tecnologia di InfiniBand crea dipendenza da un vendor specifico, limitando la flessibilità. Lo standard aperto di Ethernet, al contrario, favorisce ecosistemi multivendor, offrendo una maggiore flessibilità nella progettazione della rete. Ciò consente alle organizzazioni di utilizzare GPU e acceleratori di diversi fornitori, evitando la dipendenza da uno solo. Così, con l’aumento delle GPU e degli acceleratori specializzati sviluppati da aziende come AMD, Intel e startup innovative, la compatibilità di Ethernet con i sistemi di vari fornitori ne fa la scelta migliore per tutte quelle realtà che cercano flessibilità senza vincoli. Questo consente alle organizzazioni di innovare con elevata scalabilità e senza restrizioni nelle connessioni di rete. 

• Scalabilità e prestazioni elevate. Ethernet offre la scalabilità e le prestazioni necessarie per soddisfare le crescenti esigenze dei carichi di lavoro AI. Il supporto di velocità fino a 800Gbps, con 1,6T all’orizzonte, e funzionalità all’avanguardia come RDMA over Converged Ethernet versione 2 (RoCE v2) e Global Load Balancing assicurano bassa latenza ed elevato throughput, eguagliando o superando le capacità di InfiniBand. Ciò posiziona Ethernet come scelta ideale per gli acceleratori di nuova generazione, consentendo alle aziende di sviluppare progetti di intelligenza artificiale scalabili, integrare fonti di dati complesse e diverse e promuovere l’innovazione senza alcuna limitazione. Inoltre, i continui progressi negli standard Ethernet ne migliorano ulteriormente la capacità di gestire la congestione, garantire una maggiore tolleranza in caso di guasti e anomalie e ottimizzare le performance in tempo reale, assicurando un funzionamento regolare anche negli ambienti AI più esigenti. 

• Efficienza dei costi e semplicità operativa. Con la rapida scalata dell’intelligenza artificiale, le aziende richiedono soluzioni di rete accessibili e facilmente implementabili. La presenza diffusa di Ethernet nei data center riduce i costi di implementazione e semplifica l’integrazione con il cloud ibrido, consentendo una comunicazione senza soluzione di continuità tra l’hardware on-premise e le GPU basate su cloud. La sua ampia adozione garantisce l’accesso a un pool di talenti e strumenti qualificati, riducendo al minimo gli ostacoli operativi per i progetti di AI. Inoltre, l’ecosistema aperto di Ethernet promuove l’innovazione, con design di rete adattabili e la semplificazione al contempo la complessità operativa per i workload dell’AI in continua evoluzione. 
  Infine, la lunga storia di vittorie di Ethernet contro tecnologie come Token Ring, FDDI (Fiber Distributed Data Interface), ATM (Asynchronous Transfer Mode) e SONET (Synchronous Optical Network) ne evidenzia la forza ed è per questo che l’intero settore si aspetta lo stesso risultato per le reti AI. 

L’impatto di Ethernet sui workload AI

La connettività ad alta velocità, la bassa latenza e la gestione della congestione di Ethernet rappresentano la migliore opzione di connettività per gli ambienti AI su larga scala. Questa tecnologia ha dimostrato di essere il fabric ideale per l’AI, fornendo la larghezza di banda, le prestazioni e la flessibilità necessarie per diversi fattori:

• Training dei modelli. I modelli di AI, in particolare quelli di grandi dimensioni, necessitano di un’infrastruttura in grado di gestire vasti set di dati e l’apprendimento iterativo. La scalabilità di Ethernet, con velocità delle porte fino a 800G, garantisce che l’addestramento dell’AI possa procedere senza il rischio di colli di bottiglia. Inoltre, Ethernet supporta la formazione di modelli di AI di grandi dimensioni, l’inferenza su scala e i sistemi distribuiti con gestione avanzata della congestione e tecnologia RDMA (Remote Direct Memory Access). 

• Inferenza e processi decisionali in tempo reale. La bassa latenza è fondamentale in applicazioni come la guida autonoma, il trading finanziario e la diagnostica sanitaria. L’architettura di Ethernet consente una trasmissione dei dati veloce e affidabile per risultati più rapidi e accurati. 

• Elaborazione dei dati su scala. L’AI elabora grandi quantità di dati e le capacità di alta velocità di Ethernet lo rendono perfetto per i cluster HPC (High-Performance Computing) e i sistemi AI distribuiti, garantendo un trasferimento fluido e di elevati volumi di dati. 

I leader di settore scelgono Ethernet

Una recente indagine condotta da ZK Research e theCUBE Research ha rilevato che il 59% degli intervistati preferisce Ethernet a InfiniBand. Tra i motivi di questa preferenza vi sono la base installata di reti Ethernet e le competenze interne, il fatto che i fornitori di cloud già utilizzano Ethernet per l’AI, il ROCE (Remote Direct Memory Access) che offre prestazioni comparabili e le preoccupazioni legate a InfiniBand.

Aziende come Meta, NVIDIA e Oracle hanno già adottato Ethernet per applicazioni AI su larga scala:

• Il modello Llama 3.1 di Meta: Meta ha addestrato questo modello di intelligenza artificiale all’avanguardia utilizzando un cluster Ethernet RoCE v2 di 24.000 GPU, dimostrando la capacità di Ethernet di supportare l’addestramento su larga scala senza perdita di pacchetti. 

• Il passaggio di Oracle da InfiniBand a Ethernet: il sistema Exadata di Oracle è passato dai fabric InfiniBand a quelli Ethernet per gestire carichi di lavoro complessi, riconoscendo la scalabilità e la semplicità di Ethernet. 

• L’adozione di NVIDIA: NVIDIA, membro dell’Ultra Ethernet Consortium, ha adottato le soluzioni Ethernet per supportare in modo efficiente cluster multi-GPU su larga scala. 

Alimentare il futuro dell’IA con Ethernet

L’AI richiede un’elaborazione massiccia dei dati, algoritmi complessi e processi decisionali in tempo reale, che dipendono tutti da un fabric di rete robusto e scalabile. A oggi Ethernet ha consolidato il suo ruolo innovativo. Le sue prestazioni, la scalabilità e la flessibilità operativa rendono Ethernet essenziale per supportare la rapida crescita dei workload dell’AI. A differenza di InfiniBand, Ethernet offre una soluzione a prova di futuro che si adatta alla crescita delle mutevoli esigenze dell’intelligenza artificiale, consentendo un’espansione dell’infrastruttura senza precedenti.

Grazie a tecnologie come enhanced RoCE, Ethernet continua a fornire reti a bassa latenza e ad alte prestazioni per gli acceleratori AI di prossima generazione. Il suo ecosistema aperto, la connettività ad alta velocità e l’innovativa gestione della congestione assicurano che le aziende possano guidare con fiducia i progressi dell’AI, alimentando l’innovazione in tutti i settori.