我的电脑能跑本地大模型吗?显存与内存计算器
选择显卡预设或输入显存、系统内存与目标上下文长度(8K–128K),立即算出可运行的量化档位、KV 缓存占用、预计生成速率与对比云端 API 的回本天数。
可以运行 — 你的配置能在本地运行 Qwen3.8-Flash-Next。
Q2_0
130.1 tok/s
~4 GB (32K)
$0.102/M
1104 天
| 量化档位 | 适配结论 | 需显存 | 需内存 | 下载体积 | 预计生成 |
|---|---|---|---|---|---|
| Q2_0 | 最推荐 | 15 GB | 51 GB | ~70 GB | ~130.1 tok/s |
| IQ2_XS | 内存不足 | 15 GB | 67 GB | ~72 GB | — |
| IQ3_XXS | 内存不足 | 15 GB | 67 GB | ~74 GB | — |
| IQ3_S | 内存不足 | 15 GB | 67 GB | ~76 GB | — |
| Coder | 流畅运行 | 15 GB | 35 GB | ~68 GB | ~76.1 tok/s |
| Unsloth UD-IQ4_XS | 内存不足 | 15 GB | 83 GB | ~94 GB | — |
各档位显存与内存适配速查表(按 32K 上下文)
下表与上方交互计算器共用同一套量化门槛与 KV 缓存公式,便于直接对照与引用。
| 常见硬件档位 | 显存 / 统一内存 | 系统内存 | 推荐量化档位 | 预计生成 |
|---|---|---|---|---|
| RTX 4060 8GB / RTX 3070 | 8 GB | 32 GB | — | |
| RTX 4070 / RTX 5070 12GB (32 GB RAM) | 12 GB | 32 GB | — | |
| RTX 4070 / RTX 5070 12GB (64 GB RAM) | 12 GB | 64 GB | Q2_0 | ~76 tok/s |
| RTX 5080 / RTX 5070 Ti / RX 9070 XT 16GB | 16 GB | 64 GB | Q2_0 | ~108.5 tok/s |
| RTX 4090 / RTX 3090 / RX 7900 XTX | 24 GB | 64 GB | Q2_0 | ~113.9 tok/s |
| RTX 5090 / 2× RTX 5060 Ti 16GB | 32 GB | 96 GB | Unsloth UD-IQ4_XS | ~97 tok/s |
| Mac Studio M5 Max / Mac mini M5 Pro 64 GB | 64 GB* | 64 GB | Coder | ~36.1 tok/s |
| Ryzen AI Max+ 395 / DGX Spark / Mac Studio 128 GB+ | 128 GB* | 128 GB | Unsloth UD-IQ4_XS | ~43.3 tok/s |
FAQ
- 本地运行 Strata 最低需要多大显存和内存?
- 最低需要 12 GB 独立显存 + 32 GB 系统内存(可跑 Coder 档位);推荐 12 GB 显存 + 64 GB 内存以流畅运行默认的 IQ2_XS 档位。
- 8 GB 显存显卡(如 RTX 4060)能跑 Qwen3.8-Flash-Next 吗?
- 不能。8 GB 独立显存低于 Qwen3.8-Flash-Next 全部发布版本的 12 GB 显存底线,需 12 GB 或 16 GB 及以上显卡(如 RTX 4070 / 5070 / RX 9070 XT)。
- 开 128K 长上下文会多占多少内存?
- 128K 上下文大约需要 14 GB 的 KV 缓存空间(8K 仅约 1.5 GB),重度长文档场景建议配备 64–96 GB 系统内存或 128 GB 统一内存。
- Apple Silicon 统一内存和 RTX 4090 怎么选?
- Apple Silicon(64–512 GB)胜在单机即可装下超大参数与超长上下文且噪音低;RTX 4090(109.3 tok/s)和 RTX 5090(168.4 tok/s)的生成速度则快 2–5 倍。