Zwei RTX 3090 bieten doppelt so viel VRAM wie eine einzige Karte, was das Ausführen von Modellen über 24 GB ermöglicht, ohne dass Sie auf langsamen RAM ausweichen müssen. Für das Stratat-System auf Ihrem Desktop-PC ist dies die entscheidende Grenze, wenn Sie größere Sprachmodelle lokal und privat halten möchten.

Der VRAM-Faktor und das Stratat-System

Das Stratat-System ist darauf ausgelegt, große KI-Modelle direkt auf Ihrem Rechner auszuführen, ohne externe Server zu nutzen. Eine einzelne RTX 3090 verfügt über 24 GB VRAM. Wenn ein Modell, das Sie laden möchten, mehr Speicher benötigt, als diese Karte bietet, kann es nicht vollständig geladen werden. Die Alternative ist, Teile des Modells auf den langsameren Arbeitsspeicher (RAM) auszulagern, was die Inferenzgeschwindigkeit drastisch reduziert. Zwei RTX 3090 bieten zusammen 48 GB VRAM. Dies verdoppelt die Kapazität und erlaubt das Laden deutlich größerer Modelle, die auf einer einzelnen Karte nicht passen würden. Dies ist der primäre Grund, warum Sie eine Dual-GPU-Konfiguration in Betracht ziehen sollten.

Rechenleistung und Parallelisierung

Obwohl zwei Karten mehr Rechenkerne haben, ist die Geschwindigkeit nicht einfach doppelt so hoch. Die Kommunikation zwischen den beiden Grafikkarten über den PCIe-Bus des Motherboards kann zum Flaschenhals werden, wenn die Datenübertragung nicht optimiert ist. Das Stratat-System muss die Arbeit aufteilen und die Ergebnisse zusammenführen. In der Praxis bedeutet dies, dass Sie für sehr große Modelle, die auf einer Karte nicht laufen, einen enormen Vorteil haben, aber für Modelle, die auf einer Karte passen, eine einzelne RTX 3090 oft effizienter und einfacher zu konfigurieren ist.

Stromverbrauch und Kosten in Deutschland

Lokale KI-Inferenz verbraucht Strom. In Deutschland liegt der durchschnittliche Strompreis bei etwa 0,32 € pro kWh. Eine RTX 3090 verbraucht unter Last deutlich mehr als eine Standard-GPU. Zwei Karten verdoppeln diesen Verbrauch nicht linear, aber sie erhöhen ihn signifikant. Wenn Sie das Stratat-System stundenlang laufen lassen, summieren sich die Kosten. Prüfen Sie auf Ihrer eigenen Maschine, wie viel Leistung die Karten tatsächlich ziehen, um die langfristigen Betriebskosten im Vergleich zum Nutzen zu abwägen.

KomponenteSpezifikation / TatsacheAuswirkung auf lokale KI
VRAM (Single)24 GB pro RTX 3090Limitiert die Modellgröße auf ca. 13-17B Parameter (je nach Quantisierung)
VRAM (Dual)48 GB zusammen (2x RTX 3090)Ermöglicht Modelle jenseits der 24GB-Grenze ohne RAM-Auslagerung
Stromkosten0,32 €/kWh (DE-Referenz)Dual-GPU erhöht den Stromverbrauch und die laufenden Kosten

VRAM ist der entscheidende Engpass für die lokale KI-Inferenz, da er bestimmt, wie groß ein Modell ist, das vollständig und schnell auf der Grafikkarte ausgeführt werden kann.

Wie Sie es auf Ihrem PC prüfen

Um zu sehen, ob zwei Karten für Sie sinnvoll sind, prüfen Sie die Größe der Modelle, die Sie im Stratat-Client laden wollen. Wenn Sie ein Modell haben, das bei einer Karte einen Fehler wegen Speicherplatz ausgibt, ist die Dual-GPU-Lösung der Weg. Nutzen Sie die integrierten Monitoring-Tools Ihres Betriebssystems, um den VRAM-Verbrauch zu beobachten, wenn Sie das Stratat-System starten. Achten Sie darauf, dass Ihr Netzteil stark genug ist und Ihr Mainboard zwei PCIe-Slots mit ausreichender Bandbreite unterstützt.