Pull requests / #3213

#3213 Add tps to "reading the prompt" line

closed · @arabek · 0 コメント · GitHub で見る

needs-format

本文

now: reading the prompt: 16,384 of 108,024 tokens, 2923.0 tok/s, 6 s so far

関連リンク

インストール・モデル・リリースへの站内リンク。