预计需要20.3 GBGPU 可用内存
- 模型权重
- 16.8 GB
- 上下文缓存
- 2 GB
- 运行开销
- 约 1.5 GB
推荐最低配置：Mac mini M6 32 GB / 1 TB（GPU 默认可用约 21 GB），US$189/月。
| 配置 | 统一内存 | GPU 默认可用（约） | 能否运行 | 月租 |
|---|---|---|---|---|
| Mac mini M6 16 GB / 256 GB | 16 GB | 11 GB | 内存不足 | US$139 |
| Mac mini M6 16 GB / 512 GB | 16 GB | 11 GB | 内存不足 | US$149 |
| Mac mini M6 24 GB / 512 GB | 24 GB | 16 GB | 需调高 GPU 上限 | US$169 |
| Mac mini M5 Pro 24 GB / 512 GB | 24 GB | 16 GB | 需调高 GPU 上限 | US$199 |
| Mac mini M6 32 GB / 1 TB | 32 GB | 21 GB | 可以 | US$189 |
| Mac Studio M5 Max 36 GB / 512 GB | 36 GB | 24 GB | 可以 | US$279 |
| Mac mini M5 Pro 64 GB / 1 TB | 64 GB | 48 GB | 可以 | US$259 |
| Mac Studio M5 Max 64 GB / 1 TB | 64 GB | 48 GB | 可以 | US$329 |
| Mac Studio M5 Ultra 96 GB / 1 TB | 96 GB | 72 GB | 可以 | US$469 |
怎么算的
- 模型权重 ≈ 参数量 × 量化位数 ÷ 8。4-bit 档位按约 4.5 bit 计，包含量化格式自身的开销。
- 上下文缓存 ≈ 2 × 层数 × KV 头数 × 每头维度 × 2 字节 × token 数，按同规模常见开源模型的结构估算。
- 另加约 1.5 GB 运行开销；GPU 默认可用内存按统一内存的约 67%（≤36 GB）或 75%（更大）估算。
常见问题
为什么按“GPU 可用内存”而不是总内存判断？
macOS 默认只允许 GPU 占用一部分统一内存（小内存机器约三分之二，大内存约四分之三），模型要放进这部分才能由 GPU 加速运行。可以用 sysctl iogpu.wired_limit_mb 临时调高，但要给系统留余量。
估算准吗？
这是基于模型权重、上下文缓存和运行开销的粗略估算。不同量化格式、模型结构（尤其是 MoE 和注意力头配置）以及推理框架会有差异，实际以运行时的内存占用为准。
上下文越长占用越多吗？
是的。上下文缓存（KV cache）随 token 数线性增长，长上下文时可能比权重还占内存。部分框架支持把 KV cache 量化到 8-bit 以节省内存。
扫码加微信客服手机上长按二维码识别