A NVIDIA usa IA para melhorar a alocação de chips complexos na cadeia de fornecimento

A NVIDIA está usando o Palantir Foundry, otimização acelerada por GPU e um modelo de linguagem de pesos abertos para ajudar a alocar componentes escassos em toda a sua rede de fabricação. O trabalho tem como objetivo reduzir o tempo necessário para transformar silício pronto em infraestrutura funcional de data centers, segundo uma publicação no NVIDIA Technical Blog, em developer.nvidia.com.

A NVIDIA mede esse intervalo em duas etapas. A primeira, time-to-rack, abrange o percurso desde a saída de um chip de uma fábrica de semicondutores até a chegada de um sistema concluído ao piso de um data center. A segunda, time-to-token, começa quando o hardware chega e inclui a energia, o resfriamento, a rede e o software necessários antes que ele possa realizar trabalho útil. O projeto descrito na publicação concentra-se principalmente em encurtar o time-to-rack.

Uma cadeia de fornecimento com gargalos variáveis

A dimensão do desafio é considerável. A NVIDIA afirma que suas plataformas Grace Blackwell NVL72 dependem de milhões de componentes e milhares de fornecedores em todo o mundo. Dezenas de fabricantes de equipamentos originais e fabricantes de projeto original participam da montagem dos sistemas finais.

Até mesmo uma única bandeja de computação é altamente complexa. Cada rack contém 18 bandejas, enquanto uma bandeja inclui duas CPUs Grace, quatro GPUs Blackwell e 32 stacks de memória HBM3e. A NVIDIA afirma que a cadeia de fornecimento em desenvolvimento para a Vera Rubin é duas vezes maior que a rede Grace Blackwell.

A disponibilidade não permanece constante. CPUs, GPUs e memória podem se tornar o componente limitante em momentos diferentes; a peça que atrasa a produção em uma semana pode ser fácil de obter na seguinte. Cada componente importante também tem sua própria lista de materiais, fornecedores e cronogramas de entrega. Um local de fabricação não pode iniciar uma montagem até que todos os itens necessários tenham chegado, independentemente de esses materiais virem diretamente da NVIDIA, de estoque consignado mantido pela NVIDIA ou de fornecedores externos. Assim, as chegadas antecipadas podem permanecer paradas enquanto um item em falta atrasa toda a montagem.

A NVIDIA acompanha o tempo durante o qual os materiais permanecem sob seu controle entre a chegada a um local de fabricação e a saída como parte de um subconjunto ou produto acabado. A empresa chama essa medida de Time of Ownership, ou TOO.

A alocação de materiais é revisada semanalmente e se estende pelo restante do trimestre atual e até o trimestre seguinte. As decisões de curto prazo geralmente já estão comprometidas, o que significa que novas informações têm seu maior efeito sobre as semanas posteriores. A tarefa é determinar quais locais de fabricação devem receber materiais limitados, e em que quantidades, levando em conta as capacidades e a capacidade produtiva de cada local.

Transformando dados operacionais em decisões

A equipe de operações da cadeia de fornecimento da NVIDIA trabalhou com a Palantir para reunir uma visão compartilhada das informações por trás dessas escolhas. A empresa chama o resultado de seu centro de comando Digital Supply Chain Intelligence. Ele reúne alertas, obstáculos à produção e outros sinais que antes poderiam estar espalhados por sistemas separados.

O Palantir Foundry fornece o ambiente operacional subjacente. Sua Ontology conecta materiais, locais, compromissos de fornecedores, capacidade de produção, alocações e resultados. Ela também incorpora informações qualitativas, criando uma representação governada das relações envolvidas na cadeia de fornecimento, em vez de tratar cada item como uma entrada isolada em uma tabela.

Essa estrutura permite que os planejadores testem futuros alternativos. Eles podem examinar as consequências de receber menos memória ou avaliar como a rede poderia mudar quando outro local de fabricação se tornar disponível. O objetivo é ir além de receber uma única resposta calculada e, em vez disso, compreender as compensações envolvidas.

A NVIDIA cuOpt, descrita na publicação como uma biblioteca de código aberto para otimização de decisões acelerada por GPU, realiza o cálculo da alocação. Ela recebe dados da Ontology e devolve uma recomendação de alocação. O problema é formulado como um programa linear inteiro misto cujo objetivo é reduzir o TOO.

O software também identifica as restrições que estão limitando o resultado. Isso pode mostrar aos planejadores se uma decisão está sendo limitada pela capacidade de fabricação de uma determinada região, pela disponibilidade de memória ou por outro fator. Como o cálculo é rápido, os usuários podem ajustar repetidamente as premissas e investigar o efeito de possíveis mudanças.

Capturando o conhecimento dos especialistas

Testes históricos mostraram que a otimização numérica, sozinha, não conseguia reproduzir toda a base das decisões humanas. Os planejadores também levavam em consideração correspondências com parceiros, riscos climáticos, acontecimentos geopolíticos, transcrições de chamadas com fornecedores e a experiência acumulada ao longo dos anos. Esses detalhes podiam influenciar quanto material um local deveria receber, mesmo quando não estavam representados nas entradas estruturadas do solucionador.

Por isso, a NVIDIA e a Palantir projetaram o fluxo de trabalho para registrar não apenas uma alocação, mas também o raciocínio por trás dela, o resultado esperado e o que acabou acontecendo. A empresa afirma que isso transforma conhecimentos antes informais em informações que podem ser analisadas e usadas para treinar um modelo.

Depois de avaliar modelos Nemotron abertos, as equipes selecionaram o Nemotron 3.5 Lightning para a parte de execução do sistema. O modelo usa uma arquitetura de mistura de especialistas, tem 30 bilhões de parâmetros e ativa cerca de 3 bilhões durante cada passagem para a frente. A NVIDIA apresenta essa dimensão relativamente compacta como útil para um modelo especializado que pode ser treinado e implantado com menos capacidade computacional que um sistema maior de uso geral.

O modelo pretende estimar o risco de produção, sugerir uma faixa de alocação, identificar as evidências por trás de sua recomendação e explicar o resultado à equipe da cadeia de fornecimento. Como o Nemotron é aberto, a NVIDIA afirma que as organizações podem fazer seu pós-treinamento em seu próprio ambiente computacional usando dados operacionais internos.

As decisões anteriores também fornecem um método de avaliação. O sistema pode reproduzir uma decisão histórica usando apenas as informações disponíveis naquele momento, ocultar o resultado final e comparar a recomendação do modelo com a decisão do planejador e o resultado obtido. O Palantir Autopilot gerencia o fluxo de trabalho associado, incluindo tarefas iniciadas a partir de dados da Ontology, o monitoramento do modelo personalizado e a linhagem que conecta os dados de origem às versões do modelo e aos resultados.