Issues / #383

#383 Slower prefill on 2 GPUs than on each one individually

closed · @DivineShad0w · 3 コメント · GitHub で見る

NVIDIA / CUDA

本文

RTX 5080 (PCIe) - 700 t/s
RTX 4080 Super (Oculink) - 380 t/s
5080 (PCIe) + 4080 Super (Oculink) - 190 t/s

関連リンク

インストール・モデル・リリースへのサイト内リンク。