Čínský startup staví paměť přímo na čip a obchází nedostatek HBM

Šanghajská firma DFSX představila v polovině července akcelerátor DF1000, který staví na neobvyklém uspořádání. Místo aby paměť ležela vedle výpočetní části, skládá ji přímo na ni a obě vrstvy spojuje na úrovni celého waferu. Čip vzniká na 14nm procesu, tedy na technologii, kterou západní výrobci u špičkových akcelerátorů opustili před lety.

Klíčem je hybridní bonding, při kterém se měděné cesty obou vrstev spojí napřímo bez mikroskopických kuliček pájky. Běžné pouzdření naopak používá jako prostředníka mezi čipy drobné pájecí kuličky, kterým se říká mikrobumpy.

Vynechání meziprvku podle firmy zvedne hustotu propustnosti zhruba pětinásobně proti obvyklému uspořádání s pamětí HBM.

Cílem je obejít takzvanou paměťovou zeď, kdy výpočetní jednotky čekají na data místo počítání. U dnešních modelů umělé inteligence rozhoduje o rychlosti odpovědi především to, jak rychle jde vytáhnout obsah paměti. Právě tam chce DFSX získat náskok, který jí zaostalá výroba jinak nedovolí.

Samotný DF1000 nabídne 520 TFLOPS ve formátu BF16, paměťovou propustnost 6,4 TB/s a propojení mezi kartami rychlostí 900 GB/s. Karta odpovídá specifikaci OAM 2.0, takže zapadne do serverů čínských výrobců a snese vzduchové i kapalinové chlazení. Firma zároveň uvedla, že cluster se 128 kartami už běží ve stabilním provozu.

Na kartě se firma nezastavuje a staví kolem ní celou skříň s označením TY64, do které se vejde 64 karet propojených dohromady. V provedení s dnešním čipem nabídne 33,28 PFLOPS ve formátu BF16, souhrnnou paměťovou propustnost 409,6 TB/s a příkon 120 kW. Chlazení obstarává kapalina, jinak by se tepelný výkon skříně nedal rozumně uhlídat.