NVIDIA utilise l’IA pour améliorer l’allocation complexe des composants électroniques

NVIDIA utilise Palantir Foundry, une optimisation accélérée par GPU et un modèle de langage à poids ouverts pour contribuer à répartir les composants rares au sein de son réseau de production. Ce travail vise à réduire le temps nécessaire pour transformer du silicium fini en infrastructure de centre de données opérationnelle, selon une publication du NVIDIA Technical Blog sur developer.nvidia.com.

NVIDIA mesure cet intervalle en deux étapes. La première, le délai jusqu’au rack (time-to-rack), couvre le trajet entre la sortie d’une puce d’une usine de fabrication et l’arrivée d’un système complet sur le sol d’un centre de données. La seconde, le délai jusqu’au token (time-to-token), commence une fois le matériel arrivé et inclut l’alimentation électrique, le refroidissement, la mise en réseau et les logiciels nécessaires avant qu’il puisse effectuer un travail utile. Le projet décrit dans la publication porte principalement sur la réduction du délai jusqu’au rack.

Une chaîne d’approvisionnement aux goulets d’étranglement changeants

L’ampleur du défi est considérable. NVIDIA indique que ses plateformes Grace Blackwell NVL72 dépendent de millions de composants et de milliers de fournisseurs dans le monde. Des dizaines de fabricants d’équipements d’origine et de fabricants de conception d’origine participent à l’assemblage des systèmes finaux.

Même un seul plateau de calcul est extrêmement complexe. Chaque rack contient 18 plateaux, tandis qu’un plateau comprend deux processeurs Grace, quatre GPU Blackwell et 32 empilements de mémoire HBM3e. NVIDIA indique que la chaîne d’approvisionnement en cours de développement pour Vera Rubin est deux fois plus vaste que le réseau Grace Blackwell.

La disponibilité ne reste pas constante. Les processeurs, les GPU et la mémoire peuvent chacun devenir le composant limitant à des moments différents, une pièce qui retarde la production une semaine pouvant être facile à obtenir la suivante. Chaque composant majeur possède également sa propre nomenclature, ses fournisseurs et ses calendriers de livraison. Un site de production ne peut commencer un assemblage tant que tous les éléments requis ne sont pas arrivés, qu’ils proviennent directement de NVIDIA, de stocks en consignation détenus par NVIDIA ou de fournisseurs externes. Les arrivées précoces peuvent donc rester inutilisées tandis qu’un élément manquant retarde l’ensemble de la fabrication.

NVIDIA suit le temps pendant lequel les matériaux restent sous son contrôle entre leur arrivée sur un site de production et leur départ sous la forme d’un sous-ensemble ou d’un produit fini. L’entreprise appelle cette mesure le Time of Ownership, ou TOO.

L’allocation des matériaux est réexaminée chaque semaine et s’étend au reste du trimestre en cours ainsi qu’au trimestre suivant. Les décisions à court terme sont généralement déjà engagées, ce qui signifie que les nouvelles informations ont le plus d’effet sur les semaines ultérieures. La tâche consiste à déterminer quels sites de production doivent recevoir les matériaux limités, et en quelles quantités, tout en tenant compte des capacités et des capacités de production de chaque site.

Transformer les données opérationnelles en décisions

L’équipe des opérations de la chaîne d’approvisionnement de NVIDIA a travaillé avec Palantir pour rassembler une vue partagée des informations qui sous-tendent ces choix. L’entreprise appelle le résultat son centre de commandement Digital Supply Chain Intelligence. Celui-ci regroupe les alertes, les obstacles à la production et d’autres signaux qui étaient auparavant susceptibles d’être dispersés entre différents systèmes.

Palantir Foundry fournit l’environnement opérationnel sous-jacent. Son Ontology relie les matériaux, les sites, les engagements des fournisseurs, la capacité de production, les allocations et les résultats. Il prend également en compte les informations qualitatives, créant une représentation gouvernée des relations en jeu dans la chaîne d’approvisionnement plutôt que de traiter chaque élément comme une entrée de tableau isolée.

Cette structure permet aux planificateurs de tester différents scénarios. Ils peuvent examiner les conséquences d’une réception moindre de mémoire ou évaluer la manière dont le réseau pourrait évoluer lorsqu’un autre site de production devient disponible. L’objectif est d’aller au-delà de la réception d’une unique réponse calculée et de comprendre plutôt les compromis qui l’entourent.

NVIDIA cuOpt, décrit dans la publication comme une bibliothèque open source d’optimisation décisionnelle accélérée par GPU, effectue le calcul de l’allocation. Il exploite les données de l’Ontology et renvoie une recommandation d’allocation. Le problème est formulé comme un programme linéaire en nombres entiers mixtes dont l’objectif est de réduire le TOO.

Le logiciel identifie également les contraintes qui limitent le résultat. Cela peut montrer aux planificateurs si une décision est freinée par la capacité de production d’une région donnée, la disponibilité de la mémoire ou un autre facteur. Comme le calcul est rapide, les utilisateurs peuvent modifier à plusieurs reprises les hypothèses et étudier l’effet de changements potentiels.

Capturer les connaissances des experts

Les tests historiques ont montré que l’optimisation numérique seule ne pouvait pas reproduire l’ensemble des fondements des décisions humaines. Les planificateurs prenaient également en compte les échanges avec les partenaires, les risques météorologiques, les évolutions géopolitiques, les transcriptions des appels avec les fournisseurs et l’expérience accumulée au fil des ans. Ces détails pouvaient influencer la quantité de matériaux à attribuer à un site, même lorsqu’ils n’étaient pas représentés dans les données structurées fournies au solveur.

NVIDIA et Palantir ont donc conçu le flux de travail de manière à enregistrer non seulement une allocation, mais aussi le raisonnement qui la sous-tend, le résultat attendu et ce qui s’est finalement produit. L’entreprise affirme que cela transforme une expertise auparavant informelle en informations pouvant être examinées et utilisées pour entraîner un modèle.

Après avoir évalué les modèles Nemotron ouverts, les équipes ont sélectionné Nemotron 3.5 Lightning pour la partie exécution du système. Le modèle utilise une architecture à mélange d’experts, compte 30 milliards de paramètres et en active environ 3 milliards lors de chaque passe avant. NVIDIA présente cette empreinte relativement compacte comme utile pour un modèle spécialisé pouvant être entraîné et déployé avec une capacité de calcul moindre qu’un système généraliste plus vaste.

Le modèle est conçu pour estimer le risque de production, suggérer une fourchette d’allocation, identifier les éléments étayant sa recommandation et expliquer le résultat au personnel de la chaîne d’approvisionnement. Nemotron étant ouvert, NVIDIA indique que les organisations peuvent effectuer son post-entraînement dans leur propre environnement informatique à l’aide de données opérationnelles internes.

Les décisions passées fournissent également une méthode d’évaluation. Le système peut rejouer un choix historique en utilisant uniquement les informations disponibles à l’époque, masquer le résultat ultérieur et comparer la recommandation du modèle à la décision du planificateur ainsi qu’au résultat obtenu. Palantir Autopilot gère le flux de travail associé, notamment les tâches lancées à partir des données de l’Ontology, la surveillance du modèle personnalisé et la traçabilité reliant les données sources aux versions du modèle et aux résultats.