Oracle Cloud Infrastructure (OCI) zpřístupnil svým zákazníkům Nvidia L40S GPU bare-metal instance. Jak bylo oznámeno v blogovém příspěvku Nvidia, instance jsou k dispozici k objednání a byly spuštěny spolu s plány na nový virtuální stroj zrychlený jedním Nvidia H100 Tensor Core GPU.
L40S je GPU pro datová centra navržené pro generativní AI, grafiku a video aplikace. Má čtvrtou generaci tensorových jader a může podporovat formát dat FP8. Podle Nvidia může jediný L40S GPU (FP8) generovat až 1,4x více tokenů za sekundu než jediný Nvidia A100 Tensor Core GPU (FP16) pro Llama 3 8B s Nvidia TensorRT-LLM při délce vstupní a výstupní sekvence 128.
OCI nabídne L40S GPU ve své nabídce BM.GPU.L40S.4 bare-metal výpočetní techniky, která má čtyři L40S GPU, každý s 48GB GDDR6 pamětí. Obsahuje také lokální NVMe disky s kapacitou 7,38TB, čtvrtou generaci Intel Xeon CPU s 112 jádry a 1TB systémové paměti. Je také k dispozici v OCI Superclusteru – který bude mít 800Gbps interní šířku pásma a nízkou latenci pro až 3 840 GPU.
Mezi jeho prvními uživateli je Beamr Cloud, cloudová služba pro kódování videa. „Vybrali jsme OCI AI infrastrukturu s bare-metal instancemi a Nvidia L40S GPU pro 30 procent efektivnější kódování videa,“ řekl Sharon Carmel, CEO Beamr Cloud. „Videa zpracovaná s Beamr Cloud na OCI budou mít až o 50 procent sníženou spotřebu úložiště a šířky pásma sítě, zrychlí přenosy souborů 2x a zvýší produktivitu pro koncové uživatele. Beamr poskytne zákazníkům OCI video AI pracovní postupy, připravující je na budoucnost videa.“
Nový VM s jedním H100 GPU akcelerátorem má být „brzy k dispozici“ a poskytne nákladově efektivní a na vyžádání přístup pro podniky s generativními AI a HPC pracovními zátěžemi.
Plány Oracle na nabídku L40S byly poprvé odhaleny v září 2023, tehdy s předpokládaným datem dostupnosti začátkem roku 2024.
Zdroj: datacenterdynamics.com
Obrázek: Nvidia L40S – Nvidia
Zdroj: CLOUD & BACKUP NETWORK NEWS
