在 AMD Radeon RX 7900 XTX 上运行 iq3-xxs 量化模型是一个兼顾显存利用率与推理速度的务实选择。该配置在 24GB 显存中表现良好(fit: Good),能够实现约 1459.3 tok/s 的读取速度,但在生成内容时速度降至 75.5 tok/s,功耗稳定在 475W 左右。

显存与量化适配性

iq3-xxs 是一种极致的量化方案,旨在最大限度地减少显存占用。对于拥有 24GB 显存的 RX 7900 XTX 来说,这种量化级别能够容纳较大的上下文窗口或模型参数,同时保持“Good”的内存适配状态。这意味着你不需要担心显存溢出,但需要接受由此带来的精度损失和生成速度的权衡。

性能表现与功耗评估

在实际测试中,读取速度(Reading TPS)高达 1459.3,这表明模型加载和上下文处理非常迅速。然而,写作速度(Writing TPS)仅为 75.5,这是极端量化下的典型特征,因为解码器需要更复杂的计算来重建每个 token。整卡功耗达到 475W,这在长时间运行本地大模型时需要考虑电费成本。按国内平均电价 0.55 元/度计算,每小时电费约为 0.26 元。

指标数值说明
显存 (vramGb)24RX 7900 XTX 标准显存,适配 iq3-xxs 表现良好
读取速度 (readingTps)1459.3上下文处理极快,适合长文本分析
写作速度 (writingTps)75.5生成速度较慢,受限于量化精度
功耗 (powerWatts)475高负载运行,需确保电源供应充足

如何自行验证

你可以在本地部署 Strata 引擎,通过监控工具观察显存占用曲线,确认是否出现溢出。同时,使用基准测试脚本记录每秒 token 生成数,对比不同量化级别的效果。关注 GPU 温度与功耗墙,确保 475W 的峰值功耗不会导致降频。

iq3-xxs 是一种通过极致的位宽压缩来降低显存需求的量化技术,其核心代价是推理精度的轻微下降。