@huangyihe的帖子

对于本地LLM推理，最核心的两个硬件指标是容量和带宽： 容量决定模型、KV Cache和并发能不能装下； 带宽决定Decode阶段每秒能生成多少token。

所以，三种方案的对比： RTX PRO 6000：一个大而快的96GB池 双RTX 5090：两个非常快的32GB池 Mac Studio（M3 Ultra）：一个…