使い方

GPU なしで動かす

CPU だけでも小さい量子化モデルは動きますが、毎秒数トークン程度です。バッチ処理や要約、夜間の処理向けで、対話には向きません。重みは VRAM ではなくメモリに載るため、32 GB 以上を確保してください。