Kann mein PC ein lokales LLM ausführen? VRAM- & RAM-Rechner

Wähle ein Hardware-Preset oder gib VRAM, RAM und Kontextlänge (8K–128K) ein — für eine sofortige Quantisierungs-Empfehlung, KV-Cache-Schätzung und tok/s-Prognose.

Ja — dein System kann Qwen3.8-Flash-Next lokal ausführen.

Empfohlene Quantisierung
Q2_0
Erwartetes Tempo
130.1 tok/s (gemessen)
KV-Cache-Bedarf
~4 GB (32K)
Lokale Kosten
$0.102/M
Break-even
1104 Tage
QuantisierungUrteilVRAMRAMDownloadAusgabe
Q2_0
Fastest quant; great for 48 GB RAM systems.
Empfohlen15 GB51 GB~70 GB~130.1 tok/s
IQ2_XS
Recommended default for 64 GB RAM; balance of speed and quality.
Zu wenig RAM15 GB67 GB~72 GB—
IQ3_XXS
Smarter than IQ2; still fits most 64 GB builds.
Zu wenig RAM15 GB67 GB~74 GB—
IQ3_S
Best quality that still runs on 64 GB; slowest of the IQ line.
Zu wenig RAM15 GB67 GB~76 GB—
Coder
Coding-focused variant; fits 32 GB RAM (weaker on CJK general text).
Passt15 GB35 GB~68 GB~76.1 tok/s
Unsloth UD-IQ4_XS
~4-bit Unsloth pack; needs ~80 GB RAM or partial SSD offload.
Zu wenig RAM15 GB83 GB~94 GB—

Schnellübersicht nach VRAM- & RAM-Klasse (bei 32K Kontext)

Berechnet aus denselben Quantisierungs- und KV-Cache-Regeln wie der Rechner oben.

Hardware-KlasseGPU-VRAM / Unified MemorySystem-RAMEmpfohlene QuantisierungAusgabe
RTX 4060 8GB / RTX 30708 GB32 GB12 GB+ VRAM nötig—
RTX 4070 / RTX 5070 12GB (32 GB RAM)12 GB32 GB12 GB+ VRAM nötig—
RTX 4070 / RTX 5070 12GB (64 GB RAM)12 GB64 GBQ2_0~76 tok/s
RTX 5080 / RTX 5070 Ti / RX 9070 XT 16GB16 GB64 GBQ2_0~108.5 tok/s
RTX 4090 / RTX 3090 / RX 7900 XTX24 GB64 GBQ2_0~113.9 tok/s
RTX 5090 / 2× RTX 5060 Ti 16GB32 GB96 GBUnsloth UD-IQ4_XS~97 tok/s
Mac Studio M5 Max / Mac mini M5 Pro 64 GB64 GB*64 GBCoder~36.1 tok/s
Ryzen AI Max+ 395 / DGX Spark / Mac Studio 128 GB+128 GB*128 GBUnsloth UD-IQ4_XS~43.3 tok/s

* Unified Memory teilt sich den Pool mit dem OS (~82 % nutzbar). Anwendungen → · Benchmarks → · GPUs → · Methodik →

FAQ

Was sind die Mindestanforderungen an VRAM und RAM für Strata?
Mindestens 12 GB GPU-VRAM und 32 GB RAM für die Coder-Variante; für den empfohlenen IQ2_XS-Standard sind 12 GB VRAM + 64 GB RAM ideal.
Reicht eine 8-GB-GPU wie die RTX 4060?
Nein — 8 GB dedizierter VRAM liegen unter der 12-GB-Untergrenze für Qwen3.8-Flash-Next. Ab 12 GB oder 16 GB VRAM ist der lokale Betrieb möglich.
Wie viel Speicher kostet ein 128K-Kontextfenster zusätzlich?
128K Kontext benötigt etwa 14 GB KV-Cache statt ~1,5 GB bei 8K. Dafür empfehlen sich 64–96 GB RAM oder 128 GB Unified Memory.
Apple Silicon oder RTX 4090 für lokale LLMs?
Apple Silicon punktet mit großem, leisem Gesamtspeicher (64–512 GB), während RTX 4090 (109,3 tok/s) und RTX 5090 (168,4 tok/s) 2–5× schneller generieren.