Der Fehler „CUDA Out of Memory“ tritt auf, wenn die GPU nicht über genug VRAM für das geladene Modell oder die angeforderten Berechnungen verfügt. Die Lösung liegt meist nicht im Kauf neuer Hardware, sondern in der präzisen Anpassung der Strata-Konfiguration und der Nutzung von Modellkomprimierung. Durch das Reduzieren der Kontextlänge und das Aktivieren der 4-Bit-Quantisierung lässt sich der Speicherverbrauch drastisch senken, ohne die Kernfunktionalität der lokalen KI zu beeinträchtigen.
Warum der Speicher überläuft
Lokale KI-Modelle wie Llama oder Mistral sind enorm ressourcenintensiv. Jeder Parameter benötigt Speicherplatz in der VRAM der Grafikkarte. Wenn das Modell größer ist als der verfügbare Speicher, oder wenn die Eingabedaten (Prompts) zu lang sind, bricht die CUDA-Initialisierung ab. Strata versucht standardmäßig, alles in den RAM der GPU zu laden, was bei kleineren Karten schnell an Grenzen stößt.
So beheben Sie das Problem
- VRAM-Überwachung prüfen: Nutzen Sie den Task-Manager unter Windows oder `nvidia-smi` unter Linux, um zu sehen, wie viel VRAM andere Programme belegen. Schließen Sie grafisch intensive Anwendungen.
- Kontextlänge reduzieren: In den Strata-Einstellungen finden Sie die Option für die maximale Kontextlänge. Senken Sie diesen Wert von 8192 auf 2048 oder 4096 Token. Dies ist oft der effektivste Hebel.
- Quantisierung wählen: Laden Sie eine 4-bit-Version des Modells herunter (z. B. GGUF mit Q4_K_M). Diese benötigt weniger als die Hälfte des Speichers einer 16-bit-Version.
- Batch-Größe anpassen: Wenn Strata Optionen für die Batch-Größe bietet, setzen Sie diese auf 1 oder 2.
VRAM-Referenzwerte
| Modellgröße | Benötigter VRAM (Float16) | Benötigter VRAM (4-bit) | Empfohlene GPU |
|---|---|---|---|
| 7 Milliarden | ca. 14 GB | ca. 5-6 GB | RTX 3060 (12GB) |
| 13 Milliarden | ca. 26 GB | ca. 8-10 GB | [RTX 4060](/gpus/rtx-4060) Ti (16GB) |
| 70 Milliarden | ca. 140 GB | ca. 40-45 GB | 2x [RTX 3090](/gpus/rtx-3090) |
CUDA Out of Memory ist ein Status, bei dem die Grafikkarte den erforderlichen Arbeitsspeicher für die Berechnung des neuronalen Netzwerks nicht mehr allozieren kann, was zum Abbruch der Inferenz führt.