Google oznámil pro svou cloudovou platformu řadu nástrojů a služeb zaměřených na umělou inteligenci.
Společnost uvedla, že Cloud TPU v5e je nyní k dispozici ve verzi Preview a je nejnovější v její interní jednotce Tensor Processing Unit. Ve srovnání s TPU v4, který byl vydán již v roce 2021, Google uvádí, že čip má až dvakrát rychlejší tréninkový výkon za dolar a až 2,5krát vyšší výkon za dolar pro velké jazykové modely a generativní modely umělé inteligence.
Nový TPU bude k dispozici v osmi různých konfiguracích virtuálních strojů, od jednoho čipu TPU až po více než 250 v rámci jednoho řezu. Pro ty, kteří potřebují více výpočetní techniky, společnost zavádí „Multislice“, způsob, jak prodávat modely desítkám tisíc čipů TPU.
„Až dosud byly školicí úlohy využívající TPU omezeny na jednu část čipů TPU, což omezovalo velikost největších úloh na maximální velikost řezu 3 072 čipů pro TPU v4,“ uvedli Amin Vahdat, viceprezident společnosti Google pro ML, systémy a cloudovou AI a viceprezident pro výpočetní a ML infrastrukturu Mark Lohmeyer ve společném blogovém příspěvku.
“S Multislice mohou vývojáři škálovat pracovní zátěž až na desítky tisíc čipů přes inter-chip interconnect (ICI) v rámci jednoho modulu nebo přes více modulů přes síť datového centra (DCN).”
Spolu s novými TPU Google uvedl, že virtuální stroje A3 (VM) budou obecně dostupné v září a budou obsahovat osm GPU Nvidia H100, dva procesory Intel Xeon Scalable čtvrté generace a 2 TB paměti. Instance byly původně oznámeny v květnu a mohou se rozrůst na 26 000 GPU Nvidia H100 Hopper – i když není jasné, kolik H100 bude mít Google, vzhledem k přetrvávajícímu nedostatku GPU.
Cloudová společnost uvedla, že generativní AI startup Anthropic byl prvním uživatelem nových virtuálních počítačů TPU v5e a A3. I když Google investoval do startupu 300 milionů dolarů, je také velkým uživatelem webových služeb Amazon.
„Jsme nadšeni ze spolupráce se službou Google Cloud, se kterou spolupracujeme na efektivním školení, nasazení a sdílení našich modelů,“ řekl Tom Brown, spoluzakladatel Anthropic.
„Jsme nadšeni, že můžeme spolupracovat se službou Google Cloud, se kterou spolupracujeme na efektivním školení, nasazení a sdílení našich modelů… Infrastruktura umělé inteligence společnosti Google nové generace využívající A3 a TPU v5e s Multislice přinese výhody v poměru cena/výkon pro naši pracovní zátěž, když pokračujeme v budování další vlny umělé inteligence.“
Zdroj: datacenterdynamics.com
