Die Frage, ob die RTX 6000 Blackwell oder die RTX 4090 für lokale Inference mit Strata besser geeignet ist, hängt vom verfügbaren Stromstock und dem Modell des verwendeten LLMs ab. Beide GPUs binden viel Energie ein; der Verbrauch pro Stunde hängt von der genutzten Modellgröße ab.
Warum die Wahl wichtig ist
Inference lokal erfordert stabile Spannung im System, und das hat direkte Auswirkungen auf den Strompreis. Die RTX 6000 Blackwell bringt eine neue Architektur mit effizienterer Datenverarbeitung, während die RTX 4090 auf ihrer bewährten Leistung aufbaut.
Wie man selbst prüft, ob die richtige GPU passt
Man kann den lokalen Stromverbrauch messen, indem man einen Strommesser an das Netzteil anschließt und die Werte während eines Inference-Laufs aufzeichnet. Auf dem Desktop mit Strata lässt sich die GPU-Auslastung pro Sekunde ablesen und in kWh umrechnen, um die Kosten für einen Tag oder eine Woche abzuschätzen.
Die Strata-Engine nutzt verschiedene GPUs, aber die verfügbaren Modelle variieren weltweit. In Deutschland zahlen Nutzer Strom zu 0,32 €/kWh, was die Gesamtkosten für langes Laufen stark beeinflusst.
| Kriterium | RTX 6000 Blackwell | RTX 4090 |
|---|---|---|
| Verfügbarkeit in DACH | Eingeschränkt oder über Partner | |
| Geschätzte Leistung pro Watt | Überlegen bei Blackwell-Design | |
| Stromverbrauch bei Inference | Höher als die 4090 bei vergleichender Modellgröße |
Ein Kernbegriff im Kontext dieser Vergleiche ist Inference – die Phase, in der ein trainiertes Sprachmodell in Betrieb genommen wird, um Anfragen lokal zu beantworten, ohne Internetanbindung.
Die Entscheidung sollte auf eigenen Messungen der lokalen Rechenleistung und des tatsächlichen Stromverbrauchs basieren, nicht auf Marketingaussagen.
Man kann die Schritte zur Strommessung leicht reproduzieren: das Netzteil mit einem externen Messgerät, die Laufzeit der Inference über den Strata-Client, und dann die Summe in kWh übertragen. Daraus ergibt sich der Preis in Euro pro Tag.
Fazit
Für Nutzer, die maximale lokale Inference-Leistung mit akzeptablem Stromverbrauch suchen, ist die RTX 6000 Blackwell ein Kandidat, wenn sie in ihrer Region verfügbar ist. Wer bereits eine RTX 4090 besitzt, kann beim selben Modell dieselbe Methode nutzen, um den tatsächlichen Verbrauch zu ermitteln und die Kosten transparent zu halten.
Die Wahl der passenden GPU bleibt letztlich eine Frage der lokalen Verfügbarkeit, der Modellgröße und der eigenen Strompreise in der Region.