CoreWeave nově nabízí na své cloudové platformě systém Nvidia Vera Rubin NVL72. Jen několik měsíců poté, co firma oznámila, že nainstalovala a provozuje podle svých slov první plně funkční rack Vera Rubin NVL72, je nejnovější generace hardwaru Nvidia dostupná zákazníkům. Novinku firma představila na své konferenci Fully Connected v San Franciscu.
Prvním zákazníkem platformy je společnost Cognition. Podle CoreWeave začala systémy Vera Rubin využívat na začátku září.
„Tak rychlé zprovoznění Nvidia Vera Rubin NVL72 a zákazník, který už během několika dnů vidí nárůst výkonu, je odměnou za léta vývoje naší platformy napříč generacemi GPU,“ řekla Chen Goldberg, výkonná viceprezidentka pro produkt a vývoj v CoreWeave. „U zákazníků, jako je Cognition, se tato investice projevuje ve schopnosti zprovoznit produkční úlohy během několika dnů. U agentních úloh vyvíjejí dlouhé kontexty, opakovaná volání modelů a tisíce souběžných úloh tlak na celou platformu. Naším úkolem je zajistit, aby výpočetní výkon, síť a software fungovaly jako jeden systém, takže zákazníci mohou budovat stále složitější agenty, aniž by sami museli řešit složitost infrastruktury.“
Podle Silase Albertiho, viceprezidenta pro výzkum a člena zakládajícího týmu Cognition, zaznamenala firma u inferenčních úloh SWE-2 na nové generaci až 4,8násobný nárůst celkové propustnosti tokenů.
Šest čipů a stoprocentní kapalinové chlazení
Platforma Rubin se skládá ze šesti čipů: přepínače NVLink 6, karty ConnectX-9 SuperNIC, DPU BlueField-4 a ethernetového přepínače Spectrum-6, k nimž se přidává CPU Vera a GPU Rubin. Vera nahrazuje procesor Grace a Rubin nástupce GPU Blackwell. Nvidia tvrdí, že Rubin dosáhne oproti Blackwellu pětinásobného výkonu při inferenci a 3,5násobného při tréninku.
Systém NVL72, rackové řešení Nvidia s 36 CPU a 72 GPU, je v generaci Vera Rubin stoprocentně chlazen kapalinou. Má modulární zásuvky bez kabelů, které podle Nvidie zkracují instalaci ze dvou hodin na pět minut.
CoreWeave bude navíc nabízet procesor Vera i samostatně, přestože se tradičně zaměřuje na přístup ke GPU. Podle Coreyho Sanderse, viceprezidenta pro produkt, je nabídka zatím v rané fázi. Několik zákazníků už má předběžný přístup a další ji mají začít testovat v příštích týdnech. Vera je navržena pro AI agenty a nové typy úloh a v CoreWeave poběží jako bare-metal služba. V rackovém provedení nabídne CoreWeave 128 procesorů Vera s 11 264 jádry v jednom racku. Bezpečné a výkonné propojení uzlů zajistí DPU BlueField-4 a přepínání Spectrum-X Ethernet.
„Infrastruktura pro obecné účely je pro agentní AI úzkým hrdlem; Vera je první CPU navržené výslovně k jejímu zrychlení,“ uvedla Goldberg. „Naše platforma Veru nativně podporuje s produkty, jako jsou CoreWeave Sandboxes, hned po vybalení. Týmy mohou okamžitě spustit tisíce izolovaných prostředí, odstranit provozní tření a zrychlit celý cyklus AI od prvního dne.“
Nový zákazník ze zdravotnictví a CoreWeave Forge
Na konferenci Fully Connected firma oznámila také smlouvu se společností Ennoble Care a spuštění služby CoreWeave Forge. Ennoble Care poskytuje domácí primární, paliativní a hospicovou péči. Nasazuje uzly Nvidia RTX Pro 6000 Blackwell Server Edition v rámci CoreWeave Kubernetes Service, aby mohla AI využívat v každodenní klinické práci, například při sumarizaci, dokumentaci a podpoře klinického rozhodování.
„Vybudovali jsme kompletní, ONC certifikovaný systém elektronických zdravotních záznamů určený přímo pro domácí primární péči a nyní nad ním vyvíjíme několik AI agentů, a to jak pro podporu klinické péče, tak pro automatizaci administrativních činností,“ řekl Jonathan Taylor, technický ředitel Ennoble Care. „CoreWeave je správné řešení, které nám pomáhá udržet naše klinické standardy. Dává nám rezervovanou kapacitu, se kterou můžeme počítat, prostředí Kubernetes, do kterého se náš tým rychle přesune, a inženýry, kteří zvednou telefon. Tato kombinace nám umožňuje škálovat AI funkce, které už jsou zabudované do našich postupů péče a do našeho proprietárního systému elektronických zdravotních záznamů, a rozšířit je na desítky tisíc dalších pacientů, jak budeme dále růst.“
„Klinická inference je jedním z nejnáročnějších míst, kde může AI běžet. Zátěž je nepřetržitá, rozpočet latence je krátký a požadavky na compliance jsou absolutní,“ dodal Jon Jones, obchodní ředitel CoreWeave. „To je to, co v praxi znamená The Essential Cloud for AI. Je to cloud připravený na úlohy, na kterých záleží nejvíce, v odvětvích, kde je přesnost vším.“
CoreWeave Forge je nová vývojová vrstva cloudové platformy. Podle firmy umožňuje týmům vytvářet, vylepšovat a vyhodnocovat AI modely a agenty v jednom prostředí. Služba je již obecně dostupná.
Zdroj: datacenterdynamics.com
