场景

量化档位怎么选

先从 Q4_K_M 开始：这是体积与质量的常见平衡点，多数测评也用它。只有在显存有余量、且在自己的任务上能量出差异时，再往 Q5/Q6 升。低于 Q4，代码和长链推理的损失会明显。