Společnost OpenAI zveřejnila další podrobnosti o svém vlastním AI akcelerátoru s názvem „Jalapeño“, který vyvíjí ve spolupráci s firmou Broadcom. Na akci Hot Chips firma prozradila, že procesor je dimenzován na 700 wattů, jeho naměřený trvalý příkon však u testovaných úloh zůstával na hodnotě 550 W nebo pod ní.
Nasazení v racích i výkonové parametry
OpenAI plánuje nasazovat Jalapeño v racích se 128 čipy, přičemž „plný pod tvoří 2 048 ASICů,“ uvedl viceprezident pro hardware Richard Ho v prezentaci, které se zúčastnil web DCD. Sestava se 128 čipy zvládne 1,7 exaflopu ve 4bitových výpočtech a disponuje 27,5 TB paměti HBM4. Každý balíček nabízí 15,4 TB/s paměťové propustnosti.
Ho uvedl, že firma čip otestovala na třech modelech — vlastním GPT-OSS-120B a dále na R1 od DeepSeeku a Kimi K2.5 od Moonshot AI. „Napříč třemi modely, na kterých jsme to zkoušeli, jsme ukázali, že architektura funguje nejen u interních modelů, ale i u ostatních,“ řekl Ho. „Jde o univerzální, velmi flexibilní akcelerátor.“
V benchmarcích InferenceX od SemiAnalysis firma tvrdila, že systémy postavené na Jalapeño poskytly při špičkové propustnosti 1,5× až 1,9× více „AI práce“ a 1,7× až 3,6× nižší celkovou latenci než konkurenční platformy u zmíněných tří modelů. Při ultra nízké latenci byl výkon 2,1× až 4,1× rychlejší.
Ačkoli firma tvrdí, že v inferenci překonává rackové systémy Nvidia GB200 NVL72 a GB300 NVL72, OpenAI nehodlá zpomalovat nasazování konkurenčního hardwaru. „Toto je součást naší celkové výpočetní strategie, která zahrnuje i naše velmi, velmi dobré partnery ve Nvidii, Cerebrasu a dalších,“ uvedl Ho. „Máme obrovské výpočetní potřeby a nepokryjeme je jedním tahem.“ Na dotaz, zda by OpenAI své čipy prodávala jiným firmám, odpověděl: „Máme uvnitř OpenAI velké výpočetní potřeby, jejich pokrytí spolkne spoustu výpočetního výkonu a my se snažíme mít ho dost.“
OpenAI tvrdí, že Jalapeño byl zčásti vyvinut s pomocí AI, což celý proces urychlilo více než kdy dřív. S tím, jak se čipy i umělá inteligence budou zlepšovat, se má tento efekt dále zvětšovat. „Díky AI jsme dokázali do čipu vměstnat více výpočetního výkonu,“ řekl Ho a dodal, že druhá generace čipu je „hluboko ve vývoji“ a rozběhla se i práce na třetí. Jalapeño se má začít nasazovat v omezeném množství ještě letos a v širším měřítku pak příští rok.
Zdroj: datacenterdynamics.com
