NVIDIA usa l’IA per migliorare l’allocazione complessa dei componenti per i chip

NVIDIA sta utilizzando Palantir Foundry, l’ottimizzazione accelerata dalle GPU e un modello linguistico a pesi aperti per contribuire ad allocare i componenti scarsi nella propria rete produttiva. Il lavoro mira a ridurre il tempo necessario per trasformare il silicio finito in un’infrastruttura funzionante per i data center, secondo un post pubblicato sul NVIDIA Technical Blog all’indirizzo developer.nvidia.com.

NVIDIA misura questo intervallo in due fasi. La prima, time-to-rack, copre il percorso dall’uscita di un chip da uno stabilimento di produzione fino all’arrivo di un sistema completo nella sala di un data center. La seconda, time-to-token, inizia quando l’hardware arriva e comprende l’alimentazione, il raffreddamento, la rete e il software necessari prima che possa svolgere un lavoro utile. Il progetto descritto nel post si concentra soprattutto sulla riduzione del time-to-rack.

Una catena di approvvigionamento con colli di bottiglia variabili

La portata della sfida è considerevole. NVIDIA afferma che le piattaforme Grace Blackwell NVL72 dipendono da milioni di componenti e migliaia di fornitori in tutto il mondo. All’assemblaggio dei sistemi finali partecipano decine di produttori di apparecchiature originali e di produttori di design originali.

Anche un singolo vassoio di calcolo è estremamente complesso. Ogni rack contiene 18 vassoi, mentre ciascun vassoio include due CPU Grace, quattro GPU Blackwell e 32 stack di memoria HBM3e. NVIDIA afferma che la catena di approvvigionamento in fase di sviluppo per Vera Rubin è grande il doppio di quella di Grace Blackwell.

La disponibilità non rimane costante. CPU, GPU e memoria possono diventare di volta in volta il componente limitante: una parte che ritarda la produzione per una settimana può essere facilmente reperibile quella successiva. Ogni componente principale ha inoltre una propria distinta base, i propri fornitori e i propri programmi di consegna. Un sito produttivo non può iniziare un assemblaggio finché non sono arrivati tutti gli articoli necessari, indipendentemente dal fatto che i materiali provengano direttamente da NVIDIA, da scorte in conto deposito detenute da NVIDIA o da fornitori esterni. Gli arrivi anticipati possono quindi rimanere inutilizzati mentre un articolo mancante blocca l’intera produzione.

NVIDIA monitora il tempo durante il quale i materiali rimangono sotto il suo controllo tra il momento in cui arrivano in uno stabilimento produttivo e quello in cui ne escono come parte di un sottoassieme o di un prodotto finito. L’azienda chiama questa misura Time of Ownership, o TOO.

L’allocazione dei materiali viene riesaminata ogni settimana e si estende per il resto del trimestre in corso e fino a quello successivo. Le decisioni a breve termine sono in genere già vincolanti, il che significa che le nuove informazioni hanno il maggiore effetto sulle settimane successive. Il compito consiste nel determinare quali siti produttivi debbano ricevere materiali limitati e in quali quantità, tenendo conto delle capacità e della capacità produttiva di ciascun sito.

Trasformare i dati operativi in decisioni

Il team di operations della catena di approvvigionamento di NVIDIA ha lavorato con Palantir per creare una visione condivisa delle informazioni alla base di queste scelte. L’azienda definisce il risultato il proprio centro di comando Digital Supply Chain Intelligence. Esso riunisce avvisi, ostacoli alla produzione e altri segnali che in precedenza potevano essere dispersi tra sistemi separati.

Palantir Foundry fornisce l’ambiente operativo sottostante. La sua Ontology collega materiali, siti, impegni dei fornitori, capacità produttiva, allocazioni e risultati. Accoglie inoltre informazioni qualitative, creando una rappresentazione governata delle relazioni coinvolte nella catena di approvvigionamento, invece di trattare ogni elemento come una voce isolata di una tabella.

Questa struttura consente ai responsabili della pianificazione di testare scenari alternativi. Possono esaminare le conseguenze della ricezione di una quantità inferiore di memoria o valutare come potrebbe cambiare la rete quando diventa disponibile un altro sito produttivo. L’obiettivo è andare oltre la ricezione di una singola risposta calcolata e comprendere invece i compromessi che la accompagnano.

NVIDIA cuOpt, descritto nel post come una libreria open source per l’ottimizzazione decisionale accelerata dalle GPU, esegue il calcolo dell’allocazione. Prende i dati dall’Ontology e restituisce una raccomandazione sull’allocazione. Il problema è formulato come un programma lineare misto-intero il cui obiettivo è ridurre il TOO.

Il software individua inoltre i vincoli che limitano il risultato. Questo può mostrare ai responsabili della pianificazione se una decisione è frenata dalla capacità produttiva di una particolare regione, dalla disponibilità di memoria o da un altro fattore. Poiché il calcolo è rapido, gli utenti possono modificare ripetutamente le ipotesi e analizzare l’effetto dei possibili cambiamenti.

Acquisire ciò che sanno gli esperti

I test storici hanno mostrato che la sola ottimizzazione numerica non era in grado di riprodurre tutti gli elementi alla base delle decisioni umane. I responsabili della pianificazione consideravano anche le comunicazioni con i partner, i rischi meteorologici, gli sviluppi geopolitici, le trascrizioni delle chiamate con i fornitori e l’esperienza accumulata in anni di attività. Questi dettagli potevano influenzare la quantità di materiale da assegnare a un sito anche quando non erano rappresentati negli input strutturati del risolutore.

NVIDIA e Palantir hanno quindi progettato il flusso di lavoro in modo da registrare non solo un’allocazione, ma anche il ragionamento alla base, il risultato previsto e ciò che alla fine è accaduto. L’azienda afferma che questo trasforma competenze prima informali in informazioni che possono essere esaminate e utilizzate per addestrare un modello.

Dopo aver valutato i modelli Nemotron aperti, i team hanno selezionato Nemotron 3.5 Lightning per la parte esecutiva del sistema. Il modello utilizza un’architettura mixture-of-experts, ha 30 miliardi di parametri e ne attiva circa 3 miliardi durante ogni passaggio forward. NVIDIA presenta questo ingombro relativamente contenuto come utile per un modello focalizzato, che può essere addestrato e implementato con una capacità di calcolo inferiore rispetto a un sistema general-purpose più grande.

Il modello è pensato per stimare il rischio di produzione, suggerire un intervallo di allocazione, individuare le prove alla base della propria raccomandazione e spiegare il risultato al personale della catena di approvvigionamento. Poiché Nemotron è aperto, NVIDIA afferma che le organizzazioni possono sottoporlo a post-training nel proprio ambiente di calcolo utilizzando dati operativi interni.

Le decisioni passate forniscono inoltre un metodo di valutazione. Il sistema può riprodurre una scelta storica utilizzando solo le informazioni disponibili all’epoca, nascondere il risultato effettivo e confrontare la raccomandazione del modello con la decisione del responsabile della pianificazione e con l’esito. Palantir Autopilot gestisce il relativo flusso di lavoro, inclusi i processi avviati dai dati dell’Ontology, il monitoraggio del modello personalizzato e la provenienza che collega i dati di origine alle versioni del modello e ai risultati.