Kann mein PC ein lokales LLM ausführen? VRAM- & RAM-Rechner
Wähle ein Hardware-Preset oder gib VRAM, RAM und Kontextlänge (8K–128K) ein — für eine sofortige Quantisierungs-Empfehlung, KV-Cache-Schätzung und tok/s-Prognose.
Ja — dein System kann Qwen3.8-Flash-Next lokal ausführen.
Q2_0
130.1 tok/s
~4 GB (32K)
$0.102/M
1104 Tage
| Quantisierung | Urteil | VRAM | RAM | Download | Ausgabe |
|---|---|---|---|---|---|
| Q2_0 | Empfohlen | 15 GB | 51 GB | ~70 GB | ~130.1 tok/s |
| IQ2_XS | Zu wenig RAM | 15 GB | 67 GB | ~72 GB | — |
| IQ3_XXS | Zu wenig RAM | 15 GB | 67 GB | ~74 GB | — |
| IQ3_S | Zu wenig RAM | 15 GB | 67 GB | ~76 GB | — |
| Coder | Passt | 15 GB | 35 GB | ~68 GB | ~76.1 tok/s |
| Unsloth UD-IQ4_XS | Zu wenig RAM | 15 GB | 83 GB | ~94 GB | — |
Schnellübersicht nach VRAM- & RAM-Klasse (bei 32K Kontext)
Berechnet aus denselben Quantisierungs- und KV-Cache-Regeln wie der Rechner oben.
| Hardware-Klasse | GPU-VRAM / Unified Memory | System-RAM | Empfohlene Quantisierung | Ausgabe |
|---|---|---|---|---|
| RTX 4060 8GB / RTX 3070 | 8 GB | 32 GB | — | |
| RTX 4070 / RTX 5070 12GB (32 GB RAM) | 12 GB | 32 GB | — | |
| RTX 4070 / RTX 5070 12GB (64 GB RAM) | 12 GB | 64 GB | Q2_0 | ~76 tok/s |
| RTX 5080 / RTX 5070 Ti / RX 9070 XT 16GB | 16 GB | 64 GB | Q2_0 | ~108.5 tok/s |
| RTX 4090 / RTX 3090 / RX 7900 XTX | 24 GB | 64 GB | Q2_0 | ~113.9 tok/s |
| RTX 5090 / 2× RTX 5060 Ti 16GB | 32 GB | 96 GB | Unsloth UD-IQ4_XS | ~97 tok/s |
| Mac Studio M5 Max / Mac mini M5 Pro 64 GB | 64 GB* | 64 GB | Coder | ~36.1 tok/s |
| Ryzen AI Max+ 395 / DGX Spark / Mac Studio 128 GB+ | 128 GB* | 128 GB | Unsloth UD-IQ4_XS | ~43.3 tok/s |
FAQ
- Was sind die Mindestanforderungen an VRAM und RAM für Strata?
- Mindestens 12 GB GPU-VRAM und 32 GB RAM für die Coder-Variante; für den empfohlenen IQ2_XS-Standard sind 12 GB VRAM + 64 GB RAM ideal.
- Reicht eine 8-GB-GPU wie die RTX 4060?
- Nein — 8 GB dedizierter VRAM liegen unter der 12-GB-Untergrenze für Qwen3.8-Flash-Next. Ab 12 GB oder 16 GB VRAM ist der lokale Betrieb möglich.
- Wie viel Speicher kostet ein 128K-Kontextfenster zusätzlich?
- 128K Kontext benötigt etwa 14 GB KV-Cache statt ~1,5 GB bei 8K. Dafür empfehlen sich 64–96 GB RAM oder 128 GB Unified Memory.
- Apple Silicon oder RTX 4090 für lokale LLMs?
- Apple Silicon punktet mit großem, leisem Gesamtspeicher (64–512 GB), während RTX 4090 (109,3 tok/s) und RTX 5090 (168,4 tok/s) 2–5× schneller generieren.