OpenAI utilizza ASIC Jalapeño con CPU host AMD Turin

Secondo quanto riferito da Tom’s Hardware e citato da AI Weekly, OpenAI sta utilizzando il suo ASIC per l’inferenza Jalapeño insieme a processori AMD. I sistemi usano CPU AMD EPYC “Turin” come silicio host, collocando l’acceleratore personalizzato di OpenAI in una configurazione server che non si affida ai processori Nvidia.

Ogni sistema host conterrebbe, secondo quanto riferito, due CPU della classe Turin e 1,5 terabyte di DRAM. Questa configurazione fornisce la piattaforma di calcolo circostante per Jalapeño, il chip personalizzato di OpenAI per i carichi di lavoro di inferenza. Le informazioni offrono uno scorcio di come l’azienda stia assemblando l’infrastruttura necessaria per utilizzare il proprio silicio, oltre che delle alternative che sta prendendo in considerazione per i componenti che lo circondano.

Un design server in due parti

Un ASIC per l’inferenza è progettato per i calcoli necessari quando un sistema di IA produce una risposta o una previsione. Il processore host è una parte separata del sistema, responsabile del supporto all’acceleratore e della fornitura della piattaforma server più ampia. Nella distribuzione di Jalapeño da parte di OpenAI, le CPU AMD EPYC Turin svolgono questo ruolo di host.

La configurazione riferita prevede due processori Turin e 1,5 TB di memoria in ciascun host. Queste specifiche sono i dettagli più chiari resi noti sulle macchine che ospitano l’ASIC. Mostrano inoltre che la scelta dell’acceleratore non determina ogni altro componente del server: il silicio per l’inferenza sviluppato da OpenAI viene abbinato a una piattaforma host fornita da AMD.

La distinzione è importante perché le discussioni sull’hardware per l’IA si concentrano spesso solo sull’acceleratore. In pratica, un sistema dipende anche dai processori, dalla memoria e dal design del server che consentono all’acceleratore di funzionare. La configurazione riferita di OpenAI identifica entrambi gli elementi: Jalapeño è il componente personalizzato per l’inferenza, mentre Turin fornisce le CPU host.

Perché viene utilizzata AMD

Secondo quanto riportato, Richard Ho, vicepresidente e responsabile dell’hardware di OpenAI, ha descritto la decisione di utilizzare Turin come un approccio pragmatico per ridurre i rischi. Questa spiegazione presenta la scelta del processore come una decisione ingegneristica pratica, non come l’annuncio che un fornitore abbia sostituito un altro nell’intera infrastruttura di OpenAI.

Le informazioni disponibili non affermano che AMD fornisca direttamente l’ASIC Jalapeño. I processori EPYC di AMD fungono invece da silicio host nei sistemi in cui viene utilizzato il chip di OpenAI. Mantenere separati questi ruoli è importante: il rapporto riguarda la piattaforma CPU che circonda Jalapeño, non la produzione dell’acceleratore personalizzato di OpenAI.

L’uso riferito di hardware AMD indica inoltre che il chip personalizzato di OpenAI viene testato in un ambiente con fornitori diversi. Jalapeño proviene dall’attività hardware interna di OpenAI, mentre i processori host provengono da AMD. Il risultato è un design server composto da componenti con origini e funzioni differenti.

Nvidia resta parte del confronto

La piattaforma standalone Vera di Nvidia era l’alternativa discussa nei commenti di Ho. Secondo quanto riportato da Tom’s Hardware e AI Weekly, Ho l’ha giudicata “un po’ indietro” in termini di maturità. Questa valutazione aiuta a spiegare perché OpenAI abbia scelto Turin per gli host dei sistemi Jalapeño descritti dal rapporto.

Il commento è più circoscritto di un giudizio generale sull’hardware Nvidia. Riguarda nello specifico la maturità di Vera come alternativa presa in considerazione per questa distribuzione. Il rapporto non afferma che l’hardware Nvidia sia assente da tutti i sistemi OpenAI, né stabilisce che AMD sarà il fornitore permanente delle CPU host dell’azienda.

Ciò che mostra è una fase specifica della strategia hardware di OpenAI. L’azienda dispone di un ASIC personalizzato per l’inferenza in funzione su sistemi con due processori AMD EPYC Turin e 1,5 TB di DRAM per host. I responsabili dell’hardware hanno inoltre confrontato la maturità dell’opzione standalone Vera di Nvidia con le esigenze pratiche del design attuale.

Per ora, i dettagli resi noti sono limitati, ma stabiliscono l’architettura di base: il chip Jalapeño di OpenAI viene utilizzato con CPU AMD Turin come componenti host, mentre Nvidia Vera è considerata un’alternativa meno matura per questo ruolo. La scelta riflette le esigenze immediate legate alla messa in funzione di un sistema personalizzato per l’inferenza, piuttosto che un annuncio più ampio su ogni piattaforma che OpenAI potrebbe utilizzare.