使い方

VRAM が足りないとき

まず量子化を一段下げます。Q5_K_M から Q4_K_M で約 3 分の 1 のメモリが減り、品質低下はわずかです。コンテキストを短くするのも有効（KV キャッシュが伸びるため）。小型モデルや 2 枚目は最後の手段です。