Issues / #2635
#2635 Error install: UD-Q5_K_XL 5-bit (Unsloth Dynamic)
open · @lavren1974 · 4 comments · View on GitHub
Setup & installNVIDIA / CUDAModels & quantsSecurityWindows
Description
PS D:\github\Strata> .\START-HERE.bat --setup
Strata - Qwen3.8-Flash-Next on a normal PC (a GPU + system RAM + CPU)
=== Step 1: checking your PC ===
[ok] GPU: NVIDIA GeForce RTX 4080, 16.0 GB VRAM, compute capability 8.9, driver 610.88
[ok] RAM: 128 GB
[ok] CPU: Intel(R) Core(TM) i7-14700K (AVX2)
[ok] PCIe: 4.0 x16
=== Step 2: your choices ===
1) Qwen3.8-Flash-Next Qwen; GSQ-RCO quants by ISTA-DASLab - the original model
2) Swift 1.5 UkisAI's fine-tune of Qwen3.8-Flash-Next - thinks much shorter (-63% thinking tokens, 1.8x sooner answers by its authors' numbers)
3) Qwen3.8-Flash-Next Coder ISTA-DASLab's coding version - half the experts (code, tools, images kept): needs ~32 GB of RAM, faster; weaker outside coding
4) Qwen3.8-Flash-Next (Unsloth) Unsloth's 4- to 8-bit quantizations - UD-IQ4_XS, UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL or Q8_0 (94 to 188 GB downloads): every expert in RAM from ~80 GB (UD-IQ4_XS) to ~136 GB (Q8_0) of RAM, else part of them read from the SSD
5) Qwen3.8-Flash-Next (NVFP4) NVFP4 packs by sergqwer (strata-nvfp4) - 4-bit NVFP4 experts, NVIDIA cards; a 128 GB download, ~80 GB of RAM to keep every expert in RAM [runs, but UD-IQ4_XS is faster on this card; 128 GB download, ~80 GB of RAM keeps every expert in RAM]
6) Qwen3.6-35B-A3B Qwen; GGUFs with the MTP layer by Unsloth - 35B mixture of experts with 3B active (256 experts, top-8): a smaller cousin of Qwen3.8-Flash-Next with the same tokenizer [new]
Which model? [1]: 4
[ok] model: Qwen3.8-Flash-Next (Unsloth)
1) UD-IQ4_XS (recommended) ~4-bit i-quant (Unsloth Dynamic), between IQ3_S and UD-Q4_K_XL in quality; on a PC with less than ~80 GB of RAM part of its experts are read from the SSD; download 94 GB, keeps all of its 60 GB of experts in RAM
2) UD-Q4_K_XL (recommended, installed) 4-bit (Unsloth Dynamic): K-quant experts, between UD-IQ4_XS and UD-Q5_K_XL in quality; download 111 GB, keeps all of its 77 GB of experts in RAM
3) UD-Q5_K_XL 5-bit (Unsloth Dynamic): Q5_K experts with Q8_0 downs, close to Q8_0 in quality; download 158 GB, keeps all of its 98 GB of experts in RAM
4) UD-Q6_K_XL 6-bit (Unsloth Dynamic): Q6_K experts with Q8_0 downs; download 169 GB, keeps all of its 109 GB of experts in RAM
5) Q8_0 8-bit, the reference quality (every expert Q8_0); for a 192 GB PC; download 188 GB, keeps ~104 GB of its 128 GB of experts in RAM <- needs 136 GB RAM, you have 128
Which size? [2]: 3
[ok] all 98 GB of UD-Q5_K_XL's experts in RAM (they and 16 GiB more fit this PC's 128 GB; --resident-budget-gib N keeps only N GiB of them)
[ok] size: UD-Q5_K_XL
Context length = how much text the model can see at once (your chat, files, tool output).
Longer needs more VRAM for it, so fewer experts fit on the GPU:
1) 8K tokens
2) 32K tokens
3) 64K tokens (recommended for your GPU)
4) 128K tokens
5) 200K tokens
6) 256K tokens
7) 384K tokens (experimental: setup adds rope scaling)
8) 512K tokens (experimental: setup adds rope scaling)
Context? [3]: 4
[ok] context: 131072 tokens
KV cache precision (the model's memory of the conversation):
1) 8-bit (recommended: what every published number was measured with)
2) 4-bit half the memory (about 4% faster at 128K), but measurably less precise on long
documents; long-context lookups (needle tests) still pass
KV cache? [1]:
[ok] KV cache: 8-bit
Images: the model can also read pictures (screenshots, photos, scanned pages). This adds a 0.9 GB
download and keeps ~1.4 GB of VRAM free for the image encoder, so text is a few % slower.
Do you want images? [y]: n
[ok] images: off
=== Step 3: Python packages ===
[ok] numpy, jinja2, regex, pyyaml, tqdm, requests, cmake, ninja, pillow, psutil already installed
=== Step 4: the Strata engine ===
[ok] llama.cpp 3cf0325 (gguf-py, ggml, mtmd)
[ok] ready-made engine already installed
[ok] NVIDIA CUDA libraries (cuBLAS, CUDA runtime; ~0.4 GB) already installed
[ok] engine: D:\github\Strata\engine\strata.exe
=== Step 5: downloading Qwen3.8-Flash-Next (Unsloth) UD-Q5_K_XL ===
[ok] Qwen3.8-Flash-Next-UD-Q5_K_XL-00001-of-00006.gguf already downloaded
[ok] Qwen3.8-Flash-Next-UD-Q5_K_XL-00002-of-00006.gguf already downloaded
[ok] Qwen3.8-Flash-Next-UD-Q5_K_XL-00003-of-00006.gguf already downloaded
[ok] Qwen3.8-Flash-Next-UD-Q5_K_XL-00004-of-00006.gguf already downloaded
[ok] Qwen3.8-Flash-Next-UD-Q5_K_XL-00005-of-00006.gguf already downloaded
[ok] Qwen3.8-Flash-Next-UD-Q5_K_XL-00006-of-00006.gguf already downloaded
[X] Qwen3.8-Flash-Next-UD-Q5_K_XL-00001-of-00006.gguf is short: 10,946,618 of 10,946,624 bytes (6 missing)
delete it and run setup again (or copy the whole file into --gguf-dir)
Setup stopped. Fix the item above and run it again - everything already done is kept and skipped.
Для продолжения нажмите любую клавишу . . .
---
Причина найдена! На твоих скриншотах есть всё необходимое для диагностики.
Сравним локальный файл с оригиналом на Hugging Face:
| Параметр | Локальный файл | Hugging Face |
| --------- | ------------------------- | ----------------------------- |
| Размер | 10 946 618 байт | 10 946 618 байт |
| SHA256 | `610922CD...E1B6AE4BB69F` | `610922cdb1af...e1b6ae4bb69f` |
| Результат | Совпадает | VERIFIED |
Файл скачан полностью и не повреждён. Его SHA256 совпадает с контрольной суммой оригинала.
Ошибка находится в проверке размера Strata: установщик ожидает `10 946 624` байта, тогда как официальный файл содержит `10 946 618` байт — разница ровно шесть байт.
Повторно скачивать файл не нужно.
## Как исправить Strata
Я проверил исходный код `setup.py` в репозитории Strata. Проблема находится в функции `check_shards()`: она сравнивает размер файла с вычисленным концом области тензоров. 
[image](https://www.google.com/s2/favicons?domain=https://raw.githubusercontent.com\&sz=32)
GitHub
У твоей первой части GGUF, согласно метаданным на скриншоте:
- `tensor_count = 0` — файл содержит метаданные, а не веса модели.
- Вычисленное начало области тензоров находится на 6 байт дальше фактического конца файла.
- Сам файл полностью совпадает с официальным SHA256.
То есть проверка ошибочно требует наличие выравнивающих байтов, хотя в этом файле нет тензоров.
Предлагаю точечное исправление с резервной копией.
В `D:\github\Strata` выполни:
```
Copy-Item .\setup.py .\setup.py.bak
$path = ".\setup.py"
$code = [System.IO.File]::ReadAllText((Resolve-Path $path).Path)
$old = "if have < need:"
$new = "if g.tensors and have < need:"
if (($code.Split([string[]]@($old), [StringSplitOptions]::None).Count - 1) -ne 1) {
throw "Проверка встречается не один раз. Файл не изменён."
}
$code = $code.Replace($old, $new)
[System.IO.File]::WriteAllText((Resolve-Path $path).Path, $code)
python -m py_compile .\setup.py
```
Изменение означает: проверять ожидаемый размер области тензоров только в файлах, где эти тензоры действительно присутствуют. Для остальных частей модели защита от обрезанных данных сохраняется.
После успешной проверки синтаксиса повтори:
```
.\START-HERE.bat --setup
```
Выбирай те же настройки: `4 → 3 → 4 → 1 → n`.
Это локальный обход ошибки установщика, а не официальное исправление. Если Strata всё-таки остановится на следующем этапе, пришли новый вывод — проверим уже конкретную причину, не меняя сами GGUF-файлы.
Также имеет смысл сообщить об ошибке автору через GitHub Issues Strata: с приложенным SHA256 и разницей в 6 байт её можно воспроизвести и исправить для остальных пользователей.
---
Причина найдена! На твоих скриншотах есть всё необходимое для диагностики.
Сравним локальный файл с оригиналом на Hugging Face:
| Параметр | Локальный файл | Hugging Face |
| --------- | ------------------------- | ----------------------------- |
| Размер | 10 946 618 байт | 10 946 618 байт |
| SHA256 | `610922CD...E1B6AE4BB69F` | `610922cdb1af...e1b6ae4bb69f` |
| Результат | Совпадает | VERIFIED |
Файл скачан полностью и не повреждён. Его SHA256 совпадает с контрольной суммой оригинала.
Ошибка находится в проверке размера Strata: установщик ожидает `10 946 624` байта, тогда как официальный файл содержит `10 946 618` байт — разница ровно шесть байт.
Повторно скачивать файл не нужно.
## Как исправить Strata
Я проверил исходный код `setup.py` в репозитории Strata. Проблема находится в функции `check_shards()`: она сравнивает размер файла с вычисленным концом области тензоров. 
[image](https://www.google.com/s2/favicons?domain=https://raw.githubusercontent.com\&sz=32)
GitHub
У твоей первой части GGUF, согласно метаданным на скриншоте:
- `tensor_count = 0` — файл содержит метаданные, а не веса модели.
- Вычисленное начало области тензоров находится на 6 байт дальше фактического конца файла.
- Сам файл полностью совпадает с официальным SHA256.
То есть проверка ошибочно требует наличие выравнивающих байтов, хотя в этом файле нет тензоров.
Предлагаю точечное исправление с резервной копией.
В `D:\github\Strata` выполни:
```
Copy-Item .\setup.py .\setup.py.bak
$path = ".\setup.py"
$code = [System.IO.File]::ReadAllText((Resolve-Path $path).Path)
$old = "if have < need:"
$new = "if g.tensors and have < need:"
if (($code.Split([string[]]@($old), [StringSplitOptions]::None).Count - 1) -ne 1) {
throw "Проверка встречается не один раз. Файл не изменён."
}
$code = $code.Replace($old, $new)
[System.IO.File]::WriteAllText((Resolve-Path $path).Path, $code)
python -m py_compile .\setup.py
```
Изменение означает: проверять ожидаемый размер области тензоров только в файлах, где эти тензоры действительно присутствуют. Для остальных частей модели защита от обрезанных данных сохраняется.
После успешной проверки синтаксиса повтори:
```
.\START-HERE.bat --setup
```
Выбирай те же настройки: `4 → 3 → 4 → 1 → n`.
Это локальный обход ошибки установщика, а не официальное исправление. Если Strata всё-таки остановится на следующем этапе, пришли новый вывод — проверим уже конкретную причину, не меняя сами GGUF-файлы.
Также имеет смысл сообщить об ошибке автору через GitHub Issues Strata: с приложенным SHA256 и разницей в 6 байт её можно воспроизвести и исправить для остальных пользователей.Related on this site
Quick links to related pages.