SK Telecom představil velký jazykový model A.X K2, který obsahuje 688 miliard parametrů. Společnost jej označuje za hlavní jihokorejský model pro suverénní umělou inteligenci a za domácí alternativu k zahraničním AI platformám.
Model byl zveřejněn na platformě Hugging Face včetně vah a konfiguračních údajů. Tím se zařadil mezi veřejně dostupné modely, podobně jako například DeepSeek nebo Qwen. SK Telecom se tak nerozhodl držet A.X K2 výhradně za API rozhraním, ale umožnil širší přístup k jeho technickým základům.
A.X K2 není izolovaným komerčním projektem. Jeho uvedení je spojeno s vládou podporovaným programem nezávislých AI foundation modelů. Model má být součástí širší iniciativy AI for All, jejímž cílem je zpřístupnit AI služby běžným občanům.
Velikost 688 miliard parametrů řadí A.X K2 mezi největší veřejně dostupné modely. Samotný počet parametrů však není jediným měřítkem kvality. Rozhodující je také efektivita práce s dlouhým kontextem, schopnost uvažování, rychlost inference a nároky na výpočetní infrastrukturu.
Úpravy pro práci s dlouhým kontextem
SK Telecom upravil model třemi vlastními technikami zaměřenými na efektivitu dlouhého kontextu. První z nich je Sparse Gated Attention. V každé vrstvě využívá lehký indexer, který vyhodnocuje pozice v textu, vybírá nejdůležitější kandidáty a odstraňuje tokeny, které nejsou pro daný výpočet podstatné.
Model se tak nemusí chovat jako systém, který při každém kroku znovu čte celý dokument. Může se zaměřit na relevantní části dlouhého vstupu, což snižuje výpočetní náročnost a může zlepšit rychlost zpracování.
Další úpravy se týkají normalizace a výstupu attention vrstvy. Gated Norm a attention output gate mají zlepšovat stabilitu trénování a efektivitu modelu.
Společnost uvádí výrazné zlepšení v řadě benchmarků. V některých dlouhokontextových a agentních hodnoceních první fáze programu zaznamenala zlepšení o 83,9 procentního bodu. SK Telecom zároveň hlásí lepší výsledky v matematickém a vědeckém uvažování.
A.X K2 tak představuje nejen technologický projekt SK Telecomu, ale také snahu Jižní Koreje posílit kontrolu nad vlastní AI infrastrukturou, jazykovými modely a datovým ekosystémem. Otevřená dostupnost vah může podpořit domácí výzkum, podnikové aplikace i vznik nových služeb.
Zdroj: rcrwireless.com
Zdroj: NETGURU NETWORK NEWS
