使い方

2 枚の GPU で動かす

2 枚に分けると増えるのは VRAM で、速度ではありません。トークンごとにカード間リンクを往復します。1 枚に収まらない量子化を使いたいときだけ有効です。同型番と高速な接続のほうが総メモリより重要です。