Issues / #1857

#1857 0.1.41: twice (!) slower on multiple GPUs

closed · @random-pva · 1 コメント · GitHub で見る

NVIDIA / CUDA Models & quants

本文

My configuration:
RTX 3090 24GB  + RTX 3090 20GB + 96 GB RAM
Unsloth iq4_xs

When I run 0.1.40 it works at the speed that about 1100-1500 pp and 70-80 tps decode at 32k context (256k max)
But on 0.1.41 I get only 550 pp, 35 tps
Once I added **--batch-groups 1** the speed is back to normal.

関連リンク

インストール・モデル・リリースへの站内リンク。