SanDisk staví paměť budoucnosti, skládá vše do jednoho čipu

Umělou inteligenci dnes stále častěji neomezuje jen výpočetní výkon, ale také paměťová kapacita a propustnost. Rychlé paměti HBM umístěné těsně u grafických čipů v datacentrech jsou drahé, kapacitně omezené a u velkých modelů často nestačí. SanDisk proto přichází s návrhem, který počítá s nasazením velké flash paměti v těsné blízkosti grafiky.

Princip stojí na rozdělení rolí mezi různé typy paměti. Klasická flash, známá z disků a telefonů, pojme výrazně víc dat než operační paměť, i když pracuje pomaleji. SanDisk počítá s vrstvením paměťových buněk do vysoké struktury propojené hustou sítí vodivých spojů a s umístěním co nejblíž ke grafickému čipu, aby se zkrátila cesta dat.

Technologie nese označení HBF, tedy vysokopropustná flash. Zatímco dnešní HBM nabízí na jeden čip zhruba desítky gigabajtů, HBF by se při podobném vrstvení mohla dostat až na kapacitu v řádu terabajtů. Pro velmi rozsáhlé AI modely by šlo o výrazný posun, hlavně v situacích, kde je kapacita důležitější než nejnižší možná latence.

HBM by ale HBF nenahradila. Oba typy paměti mají podle představeného konceptu fungovat vedle sebe a rozdělit si zátěž. HBM by zůstala pro nejnáročnější operace citlivé na rychlost, zatímco HBF by sloužila jako velký prostor pro modely, tréninková data a méně často používané části výpočtů.

Poptávka po pamětech pro umělou inteligenci roste rychleji než výrobní kapacity, ceny stoupají a dostupnost zůstává omezená. Levnější a kapacitnější doplněk k HBM by proto mohl pomoci celému odvětví, které dnes naráží právě na limity paměťové infrastruktury.