Issues / #736
#736 5090 Laptop 24G + 96 GB RAM swift-iq3_xxs和qwen-iq3_s 524K 是最优档:decode 完全不掉
closed · @akiry09 · 1 commentaires · Sur GitHub
Description
重要的发现:qwen 的 --kv q4_0 是负收益,换成 int8 直接快 12% 引擎 help 写 --kv q4_0 是"half of int8's memory",看着该用。但实测反了: <img width="1313" height="265" alt="Image" src="https://github.com/user-attachments/assets/111f383a-3608-47c6-8f7c-6ae5c041f66b" /> <img width="1281" height="201" alt="Image" src="https://github.com/user-attachments/assets/2c81f062-5b55-48d6-b720-12c1f03e6b17" />
Sur le site
Liens install, modèles, releases.