NVIDIA zrychluje Meta Llama 3 s optimalizací napříč platformami

NVIDIA oznámila významný pokrok ve spolupráci se společností Meta na jejich nejnovějším jazykovém modelu Llama 3, který je nyní plně optimalizován pro využití na různých platformách včetně cloudových a edge výpočetních zařízení. Společnost uvádí, že tato spolupráce přináší významné urychlení a efektivitu v nasazování modelů velkých jazyků (LLM).

Llama 3 byl vyvinutý s využitím rozsáhlého zařízení Meta, který zahrnuje 24 576 H100 Tensor Core GPU od NVIDIA, propojených přes síť Quantum-2 InfiniBand. Kombinace hardwaru a softwaru umožnila společnosti Meta důkladně vyladit své algoritmy a modely pro maximální výkon.

Meta rovněž plánuje další rozšíření své infrastruktury až na 350 000 H100 GPU, což naznačuje její závazek k dalšímu rozvoji a vylepšení schopností Llama 3. GPU nyní umožňují nasazení Llama 3 v různých prostředích, včetně cloudových služeb, datových center, edge zařízení a osobních počítačů.

Organizace mohou navíc využít NVIDIA NeMo, otevřený framework pro LLM, který je součástí bezpečné a podporované platformy NVIDIA AI Enterprise, aby si přizpůsobily Llama 3 pro své specifické potřeby. Modely lze dále optimalizovat pro inferenci pomocí NVIDIA TensorRT-LLM a nasadit s využitím Triton Inference Server.