Celková hodnota komponentů kapalinového chlazení v rackovém AI systému Nvidia GB300 NVL72 činí 49 860 dolarů, jak uvádí nedávno zveřejněná zpráva od Morgan Stanley. Náklady na chladicí systém pro příští generaci řešení Vera Rubin NVL144 se mají dále zvýšit o 17 % na 55 710 dolarů, protože GPU a NVLink přepínače nové generace budou energeticky náročnější, tvrdí zpráva.
Náklady na kusovník (BOM) chladicího systému pro rack Nvidia NVL72 ‚Oberon‘ – který zahrnuje 18 výpočetních jednotek (každá spotřebovává nejméně 6,6 kW energie, ale vyžaduje chlazení pro 6,2 kW) a 9 přepínacích jednotek – činí celkem 49 860 dolarů.
Chladicí komponenty výpočetní jednotky jsou oceněny přibližně na 2 260 dolarů; chladicí komponenty pro všech 18 výpočetních jednotek tedy stojí 40 680 dolarů. Naproti tomu chladicí systém pro jednotku NVSwitch stojí 1 020 dolarů, takže všechny chladicí komponenty pro přepínací jednotky jsou oceněny na přibližně 9 180 dolarů. Jak se očekávalo, nejdražšími chladicími komponenty pro AI servery jsou vysoce výkonné chladicí desky na míru pro CPU a GPU, které stojí 300 dolarů za kus, a také pro ASIC čipy NVSwitch, které stojí 200 dolarů za kus.
Rostoucí tepelné nároky
Tepelné nároky budou dále růst u platformy Vera Rubin NVL144, která se bude spoléhat na teplejší procesory Vera, GPU Rubin (až 1 800 W na jednotku) a ASIC čipy NVSwitch 6.0 nové generace, což přinese náklady na rackový chladicí systém na 55 710 dolarů, což je nárůst o 17 % ve srovnání s chladicím systémem pro GB300, podle Morgan Stanley.
Morgan Stanley očekává, že náklady na chladicí systém výpočetní jednotky se zvýší o 18 % na 2 660 dolarů za jednotku, čímž se celkové náklady na chlazení výpočetních jednotek na rack dostanou na 47 880 dolarů. Počet jednotek zůstává stejný, ale každá nyní obsahuje chladicí desky s vyšší kapacitou, které stojí 400 dolarů za kus. Naproti tomu se očekává, že chladicí systém přepínacích jednotek bude levnější: 870 dolarů za jednotku a 7 830 dolarů na rack.
Budoucnost chlazení AI systémů
Jak CPU a GPU získávají výkon, zvyšuje se také jejich spotřeba energie, takže vyžadují stále pokročilejší chladicí řešení. Přechod z GB200 NVL72 na GB300 NVL72 (+20 % pro chladicí systém) a z GB300 NVL72 na Vera Rubin NVL144 (+17 %) tento vzestupný trend velmi výrazně ukazuje.
Počínaje GPU Rubin Ultra se Nvidia chystá přejít na čtyři výpočetní a 16 HBM4E čipletů na balíček, čímž se zvýší TDP na 3 600 W, což bude vyžadovat nové chladicí desky nebo dokonce použití ponorného nebo vestavěného chlazení, alespoň pro některé případy použití. Sama Nvidia připravuje zcela nové kapalinově chlazené rackové řešení NVL576 ‚Kyber‘ se 144 GPU balíčky, které zdvojnásobí výkon ve srovnání s Vera Rubin NVL144, ale za cenu mnohem vyššího tepelného zatížení.
Exotické chladicí desky pro GPU Nvidia Rubin Ultra a další vylepšení jejich chladicího systému pravděpodobně zvýší náklady na chladicí systém NVL576. Kolik to bude stát, je něco, co teprve uvidíme, ale vysoce výkonné chladicí desky schopné odvádět 3,6 kW tepelné energie z GPU balíčku budou jistě stát výrazně více než 400 dolarů za kus.
*Každé GPU Blackwell Ultra pro datová centra spotřebovává 1 400 W, jeden procesor Grace spotřebovává 300 W, paměť SOCAMM spotřebovuje 200 W na socket. Kapalinové chlazení se používá pro dva CPU a osm GPU na jednotku, zatímco paměť je vybavena tepelnými rozptylovači.
Zdroj: tomshardware.com
Zdroj: DATACENTER NETWORK NEWS
