Timeline · 本地部署与硬件
在自己的电脑上跑模型，什么时候值得？
从能不能跑，到容量、带宽、成本和实际用途。
本地跑大模型，需要什么配置
围绕当时的模型，比较内存、显存和部署成本，回答在自己的电脑上跑模型需要怎样的配置。
Mac跑大模型，首选LM Studio
Mac上跑大模型首选LM Studio，因为它对M系列芯片做了优化。
M4 Mac mini作为轻量级AI服务器，太香了！
M4 Mac mini功耗低、性能好，适合当家里的轻量AI服务器。
手机也能本地部署DeepSeek R1
DeepSeek R1这类模型连手机都能跑，免费App就能用。
设想让本地和云端模型分工
有了gpt-oss这种能在本地飞快运行的小模型，需要一个按任务分配大小模型的智能路由。
iPhone 17 Pro居然能跑8B大模型！
iPhone 17 Pro跑8B模型能到每秒12个Token，已经接近桌面水平。
先看容量，再看带宽
本地推理最关键的两个指标是容量和带宽，容量决定装不装得下，带宽决定生成多快。
把硬件价格与供给也算进去
整理当时的DRAM供给与价格信息，把硬件成本纳入本地部署方案的比较。
模型已经能用，开始比较成本
试用Qwen 3.8 27B后认为小尺寸模型已经有实际用途，开始搜索、对比不同的部署成本。
Qwen 3.8 27B很值得本地部署
本地跑Qwen 3.8 27B，专门给Claude Code、OpenCode这些Agent做日常任务。
本地部署Qwen 3.8 27B，要用什么配置
从基本原理出发讲清楚该配什么硬件。
在Codex上使用开源模型，不要太简单
新版Ollama能嵌进Codex，在Codex里用开源模型很简单。