Issues / #2244

#2244 issue #29

open · @elisejkistanov · 2 Kommentare · Auf GitHub

NVIDIA / CUDAModels & quantsWindows

Beschreibung

Шаг 2: Откройте issue #29 и добавьте комментарий
Перейдите по ссылке: https://github.com/Niko1221/Strata/issues/29

В комментарии укажите:

1. Вашу конфигурацию:

GPU: RTX 3060 12 GB

RAM: 128 GB

CPU: Ryzen 7 5700X

OS: Windows (версия)

Драйвер: 617.42

Версия Strata: 0.1.43.1

2. Настройки (strata-iq3_s.json):

json
"--prefill auto:16384",
"--vram-reserve-mib 1728",
"--conversation-cache-mib 16384",
"--max-context 262144",
"--kv-resident 32768"
3. Симптомы:

Stall'ы раз в 1–1.5 часа

CPU падает до ~0%, GPU 100%

В логе: no progress for 60 s during a request (verify window: waiting for the GPU to reach layer XX)

Значение flags: served 4294967295 (0xFFFFFFFF — неинициализированный счётчик)

Watchdog перезапускает движок, stall повторяется снова

4. Приложите:

.dmp-файлы (перетащите в комментарий)

Фрагмент лога со stall'ами (13:07, 13:37, 13:56, 14:52)

Mehr auf der Site

Links zu Install, Modellen, Releases.