Čínská společnost DeepSeek zveřejnila open-source programovací nástroje, které vyvinula společně s firmou Huawei pro její akcelerátory umělé inteligence Ascend. Chce tím snížit závislost čínského AI průmyslu na softwarovém i hardwarovém ekosystému Nvidie. Podle zprávy agentury Reuters z 30. září zahrnuje balíček otevřené knihovny pro výpočty AI a pro komunikaci mezi čipy. Jeho součástí je také podpora čipů Ascend ve vysokoúrovňovém programovacím jazyce TileLang. Všechny komponenty přitom přímo odpovídají nástrojům, které DeepSeek dříve uvolnil pro platformu Nvidia.
DeepSeek oznámil novinku na svém oficiálním účtu na WeChatu, kde také vysvětlil, proč se do projektu pustil: „Chceme-li vybudovat novou generaci nezávislého a soběstačného softwarového ekosystému pro GPU, je naší první prioritou vytvořit vysokoúrovňový jazyk, který je univerzální, snadno se v něm programuje a přesto dokáže z hardwaru vytěžit plný výkon.“ Huawei podle DeepSeeku práci plně podporoval. Obě firmy navíc společně optimalizovaly takzvaný supernode, tedy cluster se 128 čipy Ascend 950.
Knihovny pro výpočty i komunikaci
Jádrem výpočetní části je knihovna DeepGEMM. Zajišťuje násobení matic a další operace, na kterých stojí modely DeepSeeku, a podporuje několik datových formátů včetně BF16. Komunikační knihovna DeepEP rozesílá data jednotlivým expertům v modelech typu mixture-of-experts (MoE) a následně spojuje jejich výstupy. Na čipech Ascend byla otestována a podle čínských médií dosáhla přenosové rychlosti 375 GB/s při rozesílání dat (dispatch) a 347 GB/s při jejich slučování (combine), což se blíží hardwarovému maximu. K balíčku patří i TileKernels pro běžné vektorové operace, FlashMLA pro řídkou pozornost (sparse attention) při práci s dlouhým kontextem a DeepSelect pro efektivní výběr dat.
Vyšší programovací vrstvu tvoří TileLang, jazyk určený k psaní optimalizovaných kernelů. Původně ho vyvinuli výzkumníci z Pekingské univerzity. DeepSeek podle svých slov nabízí „jednodušší programovací model“ než CUDA od Nvidie a jeho cílem je zefektivnit vývoj a zjednodušit kód. TileLang už dříve podporoval čipy Nvidia i další hardware a pro procesory Ascend existovaly starší adaptéry. Zářijová aktualizace však přináší nativní podporu čipu Ascend 950 včetně generování kódu, automatického plánování a synchronizace. DeepSeek uvádí, že na TileLangu dnes stojí většina operátorů použitých při trénování modelové řady V4.
Nové nástroje navazují na softwarovou platformu CANN, kterou Huawei už dříve nabízel jako základní infrastrukturu pro běh AI úloh na čipech Ascend. Platforma CUDA od Nvidie dlouhodobě poskytuje vývojářům vyspělé programovací prostředí a knihovny optimalizované pro její GPU, a softwarový ekosystém je proto jednou z hlavních konkurenčních výhod Nvidie. Vydání DeepSeeku sice dává vývojářům další nástroje k optimalizaci úloh na hardwaru Huawei, TileLang ale zároveň podporuje více platforem, takže zůstává využitelný i na grafických kartách Nvidia.
Zdroj: tomshardware.com
