Warum die Aufteilung nötig ist
Wenn das Stratat-Modell größer als der verfügbare VRAM einer einzelnen GPU ist, passen die Gewichte und Aktivierungen nicht komplett hinein. Das Aufteilen auf zwei GPUs ermöglicht es, den Speicherbedarf zu teilen und trotzdem größere Modelle lokal zu nutzen.
Wie die Aufteilung funktioniert
Das Stratat-Engine-Setup muss die beiden GPUs im Code explizit ansteuern. Dafür wird die CUDA-Architektur Ihrer Hardware benötigt. Sie konfigurieren die Geräte‑Liste in der Modell‑Config, sodass beide Karten von der Inferenz‑Pipeline verwendet werden.
| GPU | Rolle | Erforderliche Bedingung |
|---|---|---|
| GPU 1 | Hauptparameter‑Speicher | Mindestens 8 GB VRAM |
| GPU 2 | Aktivierungs‑Puffer | Kompatibles CUDA‑Modul |
| System | Treiber und API | Aktuellste CUDA‑Version |
Um die Aufteilung zu prüfen, starten Sie die Stratat‑CLI und geben `--gpus 2` an. Danach führt ein kurzer Test‑Inference‑Durchlauf auf Ihrer Maschine aus. Die Log‑Ausgabe zeigt, welche Daten auf welche Karte fließen. Wenn beide Karten lautlaufen, haben Sie die Aufteilung erfolgreich implementiert.
Kernbegriff: *Model-Parallel* bedeutet, dass die Parameter eines neuronalen Netzes auf mehrere Beschleuniger verteilt werden, damit kein einzelner Speicher limits überschreitet.
Die Aufteilung hat keinen Einfluss auf die Qualität des Ergebnisses; sie verteilt nur die Speicherlast. Bei Benchmarks bleibt die Laufzeit je nach CPU‑Offloading variabel, aber das Ergebnis bleibt gleich.
Tipps für Stabilität
- Stellen Sie sicher, dass beide GPUs vom Treiber erkannt werden.
- Nutzen Sie die gleiche Treiber‑ und CUDA‑Version auf beiden Karten.
- Prüfen Sie nach jedem Neustart, ob die Batch‑Größe noch in den verfügbaren VRAM passt.
Faustregel: Wenn der VRAM einer GPU bei ca. 12 GB liegt, reicht das zweite Gerät meist für Modelle bis etwa 14 B Parameter aus.
Note: Diese Anleitung bezieht sich auf das aktuelle Stratat‑Release. Änderungen an der Config‑Syntax können andere Befehle erfordern.