显存不够怎么办

先降一档量化：从 Q5_K_M 降到 Q4_K_M 通常省三分之一显存，质量损失有限。缩短上下文也能省，因为 KV cache 随长度增长。最后才考虑换小模型或加卡。