Il processo di produzione di chip, in tutta la sua lunghezza e la sua complessità, è una delle sfide più attuali e ardue. Lo è per molti, da diversi punti di vista, e pochi resistono alla tentazione di provare a lasciare il segno nell’evoluzione di questa procedura, su cui si basa molta dell’innovazione di cui oggi nessuno può fare a meno.
Anche l’intelligenza artificiale, e i big player che ne fanno business, si stanno facendo strada in alcuni flussi di lavoro per la progettazione di chip. Si possono già vedere reti neurali che agevolano la progettazione di processori per reti neurali e GPU usate per accelerare la litografia computazionale o eseguire codice di deep learning per l’ispezione dei wafer a fascio elettronico e ottico.
Questi sono esempi di passi già compiuti, uno di quelli in corso riguarda invece la creazione di un vero e proprio chatbot che vesta i panni di assistente per gli ingegneri dei semiconduttori.
ChipNeMo: quando l’AI ne sa di chip
L’idea è di Nvidia, che ha ben presente il numero di team di ingegneri coinvolti nella progettazione di chip e del tempo richiesto da tale processo. Passando da chi definisce l’architettura, a chi realizza e posiziona i circuiti e a chi li testa, si incontrano tanti metodi, programmi software e linguaggi informatici specializzati diversi, difficili da gestire, aggiornare, monitorare e far “convergere”.
Avendo ora “tra le mani” l’intelligenza artificiale, l’obiettivo a lungo termine diventa quello di capire come applicare tale potente tecnologia in ogni singola fase nella maniera più efficace, massimizzandone la produttività.
Per non perdere concretezza già in partenza, gli ingegneri Nvidia hanno preferito focalizzarsi su tre specifici casi d’uso che diventassero rappresentativi della loro visione. Il chatbot assistente è proprio uno di questi: risponde a domande sull’architettura e sulla progettazione delle GPU, velocizzando la ricerca di documenti tecnici. In contemporanea, hanno sviluppato anche un generatore di codice AI-based, integrabile con gli strumenti esistenti, e uno strumento di analisi per automatizzare la noiosa (ma necessaria) attività di aggiornamento delle descrizioni dei bug noti.
Il lavoro di “iniezione” dell’AI ha avuto inizio con la personalizzazione di un modello di base tramite NVIDIA NeMo, per ottenerne uno da 43 miliardi di parametri poi perfezionato in altri due cicli di addestramento e ribattezzato ChipNeMo. Nel primo ciclo sono stati impiegati circa 24 miliardi di token di dati di progettazione interni, nel secondo un mix di circa 130.000 conversazioni ed esempi di progettazione.
Si tratta di due step importanti e non banali che dimostrano come un team profondamente tecnico possa perfezionare un modello pre-addestrato con i propri dati, ottenendo risultati decisamente interessanti.
Dai test successivi, è infatti emerso che nelle attività di progettazione di chip, i modelli ChipNeMo personalizzati con alcuni miliardi di parametri hanno eguagliato o superato le prestazioni di LLM generici molto più grandi, come LLaMA2, con 70 miliardi di parametri. In alcuni casi d’uso, i modelli ChipNeMo sono risultati decisamente nettamente migliori.
La personalizzazione di LLM apre nuovi orizzonti
Nel lavoro realizzato dal team Nvidia resta fondamentale il contributo umano, soprattutto per garantire la pulizia e l’organizzazione dei dati di training e comprendere e contestualizzare i risultati forniti. La riuscita integrazione dell’AI generativa nel processo di produzione di chip resta comunque un passo avanti nell’efficientamento di questo processo.
Le performance ottenute mostrano (o confermano) anche che i modelli più piccoli richiedono generalmente meno risorse per l’addestramento e l’esecuzione e non va dato per scontato che siano più “scarsi”.
Oltre a segnare un passo importante nell’applicazione dei LLM alla complessa progettazione dei semiconduttori, quindi, lo sforzo di Nvidia amplia ulteriormente i campi di applicazione dell’AI generativa. Sempre più persone si stanno accorgendo che ci si può spingere molto oltre alla scrittura di normale codice per app o di brutte poesie, per esempio producendo Verilog e altri elementi legati all’ingegneria dei semiconduttori.
Questo e altri settori altamente specializzati possono quindi iniziare a darsi da fare con fiducia, addestrando LLM sui propri dati interni per creare assistenti e strumenti che aumentino la loro produttività. Avanti coi chip e avanti il prossimo.
