Herní notebook s RTX 5090 porazí Apple M5 Max v běhu AI modelů, ale ne vždy

Nový srovnávací test postavil proti sobě dva výkonné notebooky s naprosto odlišnou architekturou. Na jedné straně stál herní model Razer Blade 18 s mobilní verzí grafické karty RTX 5090, na druhé MacBook Pro s nejsilnějším dostupným čipem M5 Max.

Testeři je nechali spouštět jazykové modely přímo v zařízení pomocí nástroje llama.cpp, tedy programu, který dokáže pustit AI model na běžném počítači bez připojení k cloudové službě, a měřili rychlost zpracování textu i generování odpovědi.

Na menších a středně velkých modelech vyhrává jednoznačně grafická karta od Nvidie. Rozdíl v rychlosti zpracování vstupního textu i generování odpovědi dosahoval podle testu až 133 % ve prospěch notebooku s RTX 5090. Karta má k dispozici 24 GB paměti GDDR7 s přenosovou rychlostí 896 GB/s, což jí u běžných úloh dává citelný náskok.

Rychlost běhu jazykového modelu se obvykle měří ve dvou číslech, prvním je zpracování vstupního textu, kdy stroj čte a analyzuje zadaný dotaz, druhým generování odpovědi, kdy postupně skládá jednotlivá slova neboli tokeny. Právě druhé číslo, počet tokenů za sekundu, rozhoduje o tom, jak plynule model při psaní odpovědi působí.

S rostoucí velikostí modelu i s delším kontextovým oknem, které určuje, kolik textu si model najednou pamatuje, se ale karta od Nvidie dostává do menších potíží. Její výhoda mizí ve chvíli, kdy model potřebuje víc paměti, než kolik grafická karta nabízí, a data se musí přesouvat mimo její vlastní paměť.

Nejvýrazněji se rozdíl projevil při kontextu o délce 64 000 tokenů. Sestava s RTX 5090 model vůbec nezvládla načíst. MacBook Pro s čipem M5 Max si s ním poradil bez potíží, díky 128 GB sdílené paměti, kterou má k dispozici celý systém.

Grafická karta pracuje s vyhrazenou pamětí VRAM, která je sice rychlá, ale pevně omezená kapacitou čipu. Čip M5 Max naproti tomu sdílí jednu velkou paměť mezi procesorem i grafickým jádrem, takže model může zabrat prakticky celou dostupnou kapacitu počítače.