Program NVLink Fusion od Nvidie dává partnerům firmy stavební prvky potřebné k propojení vlastních čipů se scale-up doménou NVLink, která spojuje mnoho samostatných procesorů do jednoho koherentního systému, jakým je například rackový akcelerátor Vera Rubin NVL72. Nyní Nvidia do této sady přidává nový stavební prvek: NVHBM, vlastní implementaci vysokopropustné paměti, jež stojí v základu prakticky každého dnešního AI akcelerátoru.
Ne náhrada, ale stavební prvek
Podle popisu Nvidie je NVHBM vlastní základní čip (base die) pro HBM, který slibuje vyšší propustnost, nižší spotřebu a menší plochu na čipu než tradiční HBM4e. Nvidia uvádí, že je navržen a ověřen s „předními výrobci pamětí“, takže vývojářům vlastního křemíku slibuje rychlejší uvedení na trh než implementace běžné HBM od základu. Je ale třeba zdůraznit, že nejde o náhradu HBM — jde o nový stavební prvek, který Nvidia nabízí pouze svým partnerům z oblasti vlastního křemíku.
Propustnost paměti je pro AI akcelerátory vším a NVHBM slibuje až o 30 % vyšší propustnost na stack než standardní HBM4e. U úloh limitovaných propustností paměti se to promítá do vyšší výkonnosti, například do vyššího počtu tokenů za sekundu při inferenci. Vlastní základní čip NVHBM navíc zmenšuje plochu obvodů souvisejících s pamětí na hlavním čipu akcelerátoru. Tradičně bývá řadič HBM zabudován přímo v hlavním křemíku pouzdra; NVHBM jej místo toho přesouvá do základního čipu paměťového stacku a poskytuje menší vlastní PHY, který si zákazníci NVLink Fusion integrují do svých návrhů. Podle Nvidie to uvolní cennou plochu pouzdra pro až o 30 % více výpočetní logiky na hlavním čipu.
Úspora energie
NVHBM přináší také úsporu energie oproti běžným stackům HBM4e. Jak Nvidia opakovaně zdůrazňuje při uvádění platformy Vera Rubin, každý watt, který nejde do produkce tokenů, je wattem promarněným. Nvidia uvádí, že NVHBM spotřebuje o 15 % méně energie než běžná HBM4e a tuto úsporu lze proměnit ve zlepšení výkonu na watt, přesunout ji do většího počtu funkčních jednotek, nebo ji převést na vyšší trvalý výkon ve stejném energetickém rozpočtu. Vyšší propustnost při nižší spotřebě je zásadní výhodou pro akcelerátory, které přesouvají obrovské datové struktury jako váhy modelů a KV cache — obzvláště když se úspory násobí přes mnoho tisíc čipů.
Jde ovšem prozatím o důvody, proč by potenciální partneři měli o zapojení NVLink Fusion a NVHBM do svých návrhů uvažovat, nikoli o výhody, které se projeví v rackových systémech Rubin, jež už jsou ve výrobě. Spolu s NVHBM Nvidia oznámila, že jejím prvním partnerem bude Annapurna Labs od Amazonu. Viceprezident Annapurny Nafea Bshara uvedl: „Těšíme se, že tato technologická spolupráce prospěje budoucím návrhům infrastruktury AWS.“
Zdroj: tomshardware.com
