我的电脑能跑本地大模型吗?显存与内存计算器

选择显卡预设或输入显存、系统内存与目标上下文长度(8K–128K),立即算出可运行的量化档位、KV 缓存占用、预计生成速率与对比云端 API 的回本天数。

可以运行 — 你的配置能在本地运行 Qwen3.8-Flash-Next。

推荐量化档位
Q2_0
预计生成速度
130.1 tok/s (实测基准)
KV 缓存预留
~4 GB (32K)
本地单位成本
$0.102/M
预计回本周期
1104 天
量化档位适配结论需显存需内存下载体积预计生成
Q2_0
Fastest quant; great for 48 GB RAM systems.
最推荐15 GB51 GB~70 GB~130.1 tok/s
IQ2_XS
Recommended default for 64 GB RAM; balance of speed and quality.
内存不足15 GB67 GB~72 GB—
IQ3_XXS
Smarter than IQ2; still fits most 64 GB builds.
内存不足15 GB67 GB~74 GB—
IQ3_S
Best quality that still runs on 64 GB; slowest of the IQ line.
内存不足15 GB67 GB~76 GB—
Coder
Coding-focused variant; fits 32 GB RAM (weaker on CJK general text).
流畅运行15 GB35 GB~68 GB~76.1 tok/s
Unsloth UD-IQ4_XS
~4-bit Unsloth pack; needs ~80 GB RAM or partial SSD offload.
内存不足15 GB83 GB~94 GB—

各档位显存与内存适配速查表(按 32K 上下文)

下表与上方交互计算器共用同一套量化门槛与 KV 缓存公式,便于直接对照与引用。

常见硬件档位显存 / 统一内存系统内存推荐量化档位预计生成
RTX 4060 8GB / RTX 30708 GB32 GB需 12 GB+ 显存—
RTX 4070 / RTX 5070 12GB (32 GB RAM)12 GB32 GB需 12 GB+ 显存—
RTX 4070 / RTX 5070 12GB (64 GB RAM)12 GB64 GBQ2_0~76 tok/s
RTX 5080 / RTX 5070 Ti / RX 9070 XT 16GB16 GB64 GBQ2_0~108.5 tok/s
RTX 4090 / RTX 3090 / RX 7900 XTX24 GB64 GBQ2_0~113.9 tok/s
RTX 5090 / 2× RTX 5060 Ti 16GB32 GB96 GBUnsloth UD-IQ4_XS~97 tok/s
Mac Studio M5 Max / Mac mini M5 Pro 64 GB64 GB*64 GBCoder~36.1 tok/s
Ryzen AI Max+ 395 / DGX Spark / Mac Studio 128 GB+128 GB*128 GBUnsloth UD-IQ4_XS~43.3 tok/s

* 统一内存与操作系统共用内存池,按约 82% 可用于模型权重与 KV 缓存计算。 场景 → · 跑分 → · 显卡 → · 方法 →

FAQ

本地运行 Strata 最低需要多大显存和内存?
最低需要 12 GB 独立显存 + 32 GB 系统内存(可跑 Coder 档位);推荐 12 GB 显存 + 64 GB 内存以流畅运行默认的 IQ2_XS 档位。
8 GB 显存显卡(如 RTX 4060)能跑 Qwen3.8-Flash-Next 吗?
不能。8 GB 独立显存低于 Qwen3.8-Flash-Next 全部发布版本的 12 GB 显存底线,需 12 GB 或 16 GB 及以上显卡(如 RTX 4070 / 5070 / RX 9070 XT)。
开 128K 长上下文会多占多少内存?
128K 上下文大约需要 14 GB 的 KV 缓存空间(8K 仅约 1.5 GB),重度长文档场景建议配备 64–96 GB 系统内存或 128 GB 统一内存。
Apple Silicon 统一内存和 RTX 4090 怎么选?
Apple Silicon(64–512 GB)胜在单机即可装下超大参数与超长上下文且噪音低;RTX 4090(109.3 tok/s)和 RTX 5090(168.4 tok/s)的生成速度则快 2–5 倍。