Pull requests / #705
#705 Feat/k8v4 kv streaming
closed · @merbanan · 0 コメント · GitHub で見る
本文
`--kv k8v4` (8-bit K, rotated 4-bit V) could not stream: the engine refused `--kv k8v4 --kv-resident N` and setup turned streaming off for it. This adds streaming for the hybrid format, so K8V4's smaller KV cache and the freed VRAM of streaming add up.
関連リンク
インストール・モデル・リリースへの站内リンク。