使い方

コンテキスト長と VRAM

重みは半分にすぎません。KV キャッシュはコンテキストと並列数に比例して増え、128k ではモデル本体に匹敵します。長文で OOM になる場合は、量子化を下げる前にコンテキストを短くしてください。