Meta oznámila další čtyři generace svého čipu Meta Training and Inference Accelerator (MTIA).
Nové čipy nesou označení MTIA 300, 400, 450 a 500. Společnost Meta uvedla, že některé z nich již byly nasazeny do provozu, zatímco ostatní jsou naplánovány k nasazení v průběhu následujících 18 měsíců. Primárně budou sloužit k podpoře inferenčních úloh generativní umělé inteligence.
Každá nová generace čipu přinese vylepšení v oblasti výpočetního výkonu, šířky paměťového pásma a energetické účinnosti. Společnost navíc v blogovém příspěvku s podrobnostmi o čipech uvedla, že „vzhledem k rychlému tempu inovací v oblasti AI“ vybudovala schopnost dodávat nový čip přibližně každých šest měsíců.
Čip MTIA 300, který je již v produkčním nasazení pro trénink R&R (ranking a doporučování), Meta popisuje jako „nákladově efektivní základ“, na němž společnost navrhla své následující čipy optimalizované pro generativní AI úlohy.
MTIA 300 se skládá z jednoho výpočetního čipletu, dvou síťových čipletů a několika HBM stacků. Každý výpočetní čiplet je tvořen mřížkou procesních elementů (PE), z nichž každý obsahuje dvě jádra RISC-V a Dot Product Engine pro maticové násobení.
Čip má TDP 800 W a nabízí výpočetní výkon 1,2 petaflopů ve formátu FP8, šířku pásma HBM 6,1 Tb/s a kapacitu HBM 216 GB, spolu s 1 Tb/s pro scale-up síťování a 200 Gb/s pro scale-out.
MTIA 400 oproti tomu nabízí šest petaflopů výpočetního výkonu FP8 při TDP 1 200 W. Pokud jde o šířku pásma HBM, čip přináší 51procentní nárůst na 9,2 Tb/s oproti svému předchůdci, přičemž kapacita HBM činí 288 GB.
V oblasti scale-up a scale-out síťování poskytuje MTIA 400 hodnoty 1,2 Tb/s, respektive 100 Gb/s. Rack se 72 zařízeními MTIA 400, propojenými přes přepínanou propojovací desku, tvoří jednu scale-up doménu a podporuje jak vzduchem asistované kapalinové chlazení, tak technologie kapalinového chlazení, které jsou již v datových centrech nasazeny, uvedla Meta.
MTIA 400 již prošel testováním v laboratořích společnosti Meta a firma je „na dobré cestě“ k nasazení čipu ve svých datových centrech. Čipy MTIA 450 a MTIA 500 jsou naplánovány k hromadnému nasazení na začátku roku 2027, přičemž oba rovněž poskytují 1,2 Tb/s scale-up a 100 Gb/s scale-out síťování.
Na systémové úrovni Meta uvedla, že MTIA 400, 450 a 500 využívají stejné šasi, rack a síťovou infrastrukturu, což znamená, že každou novou generaci čipu lze snadno integrovat do stávajících datových center.
Čip MTIA 450 byl dále optimalizován s ohledem na „rychlý růst poptávky po inferenci generativní AI“, přičemž Meta poznamenala, že čip představuje pokrok oproti svému předchůdci ve čtyřech oblastech. Mezi ně patří zdvojnásobení šířky pásma HBM na 18,4 Tb/s, zavedení hardwarové akcelerace pro výpočty attention i Feed-Forward Network (FFN) a inovace v oblasti vlastních datových typů s nízkou přesností.
MTIA 450 navíc nabízí sedm petaflopů výpočetního výkonu FP8, 288 GB kapacity HBM a TDP 1 400 W. Čip rovněž podporuje smíšené výpočty s nízkou přesností bez softwarové režie spojené s konverzí datových typů.
Konečně MTIA 500 nabízí 10 petaflopů výpočetního výkonu FP8, TDP 1 700 W a kapacitu HBM 384–512 GB. Čip využívá konfiguraci 2×2 menších výpočetních čipletů obklopených několika HBM stacky a dvěma síťovými čiplety spolu s SoC čipletem, který zajišťuje PCIe konektivitu k hostitelskému CPU a scale-out síťovým kartám.
Obsahuje také stejnou hardwarovou akceleraci a inovace datových typů jako MTIA 450, které řeší úzká hrdla spojená s inferenčními úlohami.
Zdroj: datacenterdynamics.com
