@huangyihe的帖子

本地部署开源模型，还有一个选择：DGX Spark。它是一个很特殊的产品：128GB大内存、CUDA生态、体积小，但内存带宽只有273GB/s。

所以，DGX Spark更适合MoE，而不是大型Dense模型。原因是MoE虽然总参数很大，但每个token只需要激活一部分参数…