场景

上下文长度吃多少显存

权重只占一半，KV 缓存随上下文和并发增长，128k 时可能和模型本身一样大。长文本粘贴后爆显存，先降上下文长度，再考虑降量化档位。