Issues / #736

#736 5090 Laptop 24G + 96 GB RAM swift-iq3_xxs和qwen-iq3_s 524K 是最优档：decode 完全不掉

closed · @akiry09 · 1 コメント · GitHub で見る

Models & quants

本文

重要的发现：qwen 的 --kv q4_0 是负收益，换成 int8 直接快 12%
引擎 help 写 --kv q4_0 是"half of int8's memory"，看着该用。但实测反了：
<img width="1313" height="265" alt="Image" src="https://github.com/user-attachments/assets/111f383a-3608-47c6-8f7c-6ae5c041f66b" />

<img width="1281" height="201" alt="Image" src="https://github.com/user-attachments/assets/2c81f062-5b55-48d6-b720-12c1f03e6b17" />

関連リンク

インストール・モデル・リリースへの站内リンク。