Issues / #2244
#2244 issue #29
open · @elisejkistanov · 2 commentaires · Sur GitHub
NVIDIA / CUDAModels & quantsWindows
Description
Шаг 2: Откройте issue #29 и добавьте комментарий Перейдите по ссылке: https://github.com/Niko1221/Strata/issues/29 В комментарии укажите: 1. Вашу конфигурацию: GPU: RTX 3060 12 GB RAM: 128 GB CPU: Ryzen 7 5700X OS: Windows (версия) Драйвер: 617.42 Версия Strata: 0.1.43.1 2. Настройки (strata-iq3_s.json): json "--prefill auto:16384", "--vram-reserve-mib 1728", "--conversation-cache-mib 16384", "--max-context 262144", "--kv-resident 32768" 3. Симптомы: Stall'ы раз в 1–1.5 часа CPU падает до ~0%, GPU 100% В логе: no progress for 60 s during a request (verify window: waiting for the GPU to reach layer XX) Значение flags: served 4294967295 (0xFFFFFFFF — неинициализированный счётчик) Watchdog перезапускает движок, stall повторяется снова 4. Приложите: .dmp-файлы (перетащите в комментарий) Фрагмент лога со stall'ами (13:07, 13:37, 13:56, 14:52)
Sur le site
Liens install, modèles, releases.