Pull requests / #3213
#3213 Add tps to "reading the prompt" line
closed · @arabek · 0 comentarios · En GitHub
Descripción
now: reading the prompt: 16,384 of 108,024 tokens, 2923.0 tok/s, 6 s so far
En el sitio
Enlaces a install, modelos, releases.
Pull requests / #3213
closed · @arabek · 0 comentarios · En GitHub
now: reading the prompt: 16,384 of 108,024 tokens, 2923.0 tok/s, 6 s so far
Enlaces a install, modelos, releases.