Die Frage, ob die RTX 6000 Blackwell oder die RTX 4090 für lokale Inference mit Strata besser geeignet ist, hängt vom verfügbaren Stromstock und dem Modell des verwendeten LLMs ab. Beide GPUs binden viel Energie ein; der Verbrauch pro Stunde hängt von der genutzten Modellgröße ab.

Warum die Wahl wichtig ist

Inference lokal erfordert stabile Spannung im System, und das hat direkte Auswirkungen auf den Strompreis. Die RTX 6000 Blackwell bringt eine neue Architektur mit effizienterer Datenverarbeitung, während die RTX 4090 auf ihrer bewährten Leistung aufbaut.

Wie man selbst prüft, ob die richtige GPU passt

Man kann den lokalen Stromverbrauch messen, indem man einen Strommesser an das Netzteil anschließt und die Werte während eines Inference-Laufs aufzeichnet. Auf dem Desktop mit Strata lässt sich die GPU-Auslastung pro Sekunde ablesen und in kWh umrechnen, um die Kosten für einen Tag oder eine Woche abzuschätzen.

Die Strata-Engine nutzt verschiedene GPUs, aber die verfügbaren Modelle variieren weltweit. In Deutschland zahlen Nutzer Strom zu 0,32 €/kWh, was die Gesamtkosten für langes Laufen stark beeinflusst.

KriteriumRTX 6000 BlackwellRTX 4090
Verfügbarkeit in DACHEingeschränkt oder über Partner
Geschätzte Leistung pro WattÜberlegen bei Blackwell-Design
Stromverbrauch bei InferenceHöher als die 4090 bei vergleichender Modellgröße

Ein Kernbegriff im Kontext dieser Vergleiche ist Inference – die Phase, in der ein trainiertes Sprachmodell in Betrieb genommen wird, um Anfragen lokal zu beantworten, ohne Internetanbindung.

Die Entscheidung sollte auf eigenen Messungen der lokalen Rechenleistung und des tatsächlichen Stromverbrauchs basieren, nicht auf Marketingaussagen.

Man kann die Schritte zur Strommessung leicht reproduzieren: das Netzteil mit einem externen Messgerät, die Laufzeit der Inference über den Strata-Client, und dann die Summe in kWh übertragen. Daraus ergibt sich der Preis in Euro pro Tag.

Fazit

Für Nutzer, die maximale lokale Inference-Leistung mit akzeptablem Stromverbrauch suchen, ist die RTX 6000 Blackwell ein Kandidat, wenn sie in ihrer Region verfügbar ist. Wer bereits eine RTX 4090 besitzt, kann beim selben Modell dieselbe Methode nutzen, um den tatsächlichen Verbrauch zu ermitteln und die Kosten transparent zu halten.

Die Wahl der passenden GPU bleibt letztlich eine Frage der lokalen Verfügbarkeit, der Modellgröße und der eigenen Strompreise in der Region.