Nový čip OpenAI Jalapeño (ASIC) se v rámci interního nasazení kombinuje s hostitelskými systémy s procesory AMD EPYC Turin, z nichž každý má 1,5 TB paměti. Nasazení na úrovni celých racků popsala společnost SemiAnalysis krátce po představení čipu. Tom’s Hardware se na něj v rozhovoru zeptal Richarda Ho, viceprezidenta a šéfa hardwaru OpenAI. Ten označil rozhodnutí pro Turin za „pragmatické“ a o novém procesoru Vera od Nvidie řekl, že je „trochu pozadu… co se týče vyspělosti“.
„K tomuto návrhu jsme přistupovali hlavně s ohledem na snížení rizika a na to, abychom ho dokázali zrealizovat rychle. Vera jako samostatné řešení je co do vyspělosti trochu pozadu. Turin je silný čip. Udělal, co jsme potřebovali, a naši partneři s ním částečně už měli zkušenosti,“ řekl Ho. „V programu Jalapeño jsme se snažili dělat velmi pragmatická rozhodnutí. Chtěli jsme mít ambiciózní cíle v oblasti výkonu a nákladů, ale nechtěli jsme podstupovat zbytečná rizika. Tohle nám připadalo jako dobré konstrukční rozhodnutí, které zapadá do rámce, v němž taková rozhodnutí děláme.“
Jak vypadá rack s čipy Jalapeño
Podle SemiAnalysis se systém Jalapeño skládá z hostitelského racku s procesory a z racku s akcelerátory. Hostitelský rack obsahuje 16 procesorových zásuvek s označením „Katsu“ a každá z nich odpovídá jedné z 16 zásuvek s čipy ASIC, které nesou název „Vindaloo“. V každé zásuvce Katsu jsou dva procesory AMD EPYC třídy Turin s 1,5 TB paměti DRAM a SSD disky ve formátech E1.S a M.2. Každá zásuvka má také síťové připojení 400G. Zásuvky jsou propojeny osmi externími kabely PCIe a systém byl navržen ve spolupráci s firmou Celestica.
Volba Turinu je zajímavá, protože OpenAI patří mezi partnery, kteří nasazují procesor AGI od společnosti Arm. Podle Nvidie je také mezi zákazníky, kteří „zkoumají procesor Vera“. OpenAI, ostatní přední AI laboratoře i hyperscaleři provozují velmi rozmanitý hardware a spojení čipů Jalapeño právě s Turinem bylo podle Ho především otázkou snížení rizika a vyspělosti platformy.
Ho se podle všeho nevyjadřoval k rozdílu mezi architekturami AArch64 a x86. Jeho slova se týkala vztahu mezi Turinem a procesorem Vera, kterým Nvidia poprvé vstupuje na trh serverových procesorů s vlastním CPU jádrem. První benchmarky Very sice působí působivě, pro rackové nasazení Jalapeña by ale představovala zbytečné riziko. Nvidia o Veře tvrdí, že je až 1,8krát výkonnější než konkurenční čip AMD Turin, v celkové sadě testů ale vychází jen o 3 % výš než AMD EPYC 9755. Protože OpenAI disponuje rozsáhlou flotilou hardwaru, je možné, že Jalapeño bude v budoucnu nasazeno s jiným hostitelským systémem, například s procesorem AGI od Armu nebo s Verou od Nvidie. Pro tuto chvíli byl ale Turin správnou volbou.
Zdroj: tomshardware.com
