Der Mac Studio M5 Ultra mit 96 GB Arbeitsspeicher ist eine hervorragende Basis für das lokale Ausführen des Coder-Modells. Die Leistung wird als gut bewertet, da die 96 GB Unified Memory das Modell vollständig im VRAM halten, was die Latenz minimiert. Die Geschwindigkeit beim Generieren von Text liegt bei 64,8 Tokens pro Sekunde, was für eine produktive Arbeit ausreichend ist.
Die Hardware und der Speicher
Das entscheidende Merkmal dieser Konfiguration ist der Unified Memory. Der Mac Studio M5 Ultra verfügt über 96 GB schnellen Speicher. Das Coder-Modell passt gut in diesen Speicher, was als "Good" eingestuft wird. Wenn ein Modell in den VRAM passt, müssen Daten nicht ständig zwischen der CPU und der GPU hin- und herkopiert werden. Das hält die Antwortzeiten niedrig und stabil. Die Lesegeschwindigkeit von 2284,8 Tokens pro Sekunde zeigt, dass der Speicher sehr schnell mit Daten versorgt werden kann, wenn das Modell initialisiert wird.
Geschwindigkeit und Stromverbrauch
Die tatsächliche Schreibgeschwindigkeit, also wie schnell der AI-Code oder Text generiert wird, beträgt 64,8 Tokens pro Sekunde. Das ist eine solide Rate für komplexe Aufgaben. Der Stromverbrauch liegt bei 360 Watt. Um die Kosten selbst zu berechnen, multiplizieren Sie die Wattzahl mit der Dauer und dem Preis. Bei einem lokalen Preis von 0,32 € pro Kilowattstunde (kWh) ist das ein realer Wert. Die Nutzung eines lokalen Geräts bedeutet, dass Sie die Stromkosten selbst tragen, aber keine monatlichen API-Gebühren zahlen.
| Messwert | Wert | Bedeutung |
|---|---|---|
| VRAM | 96 GB | Gesamter Speicher für das Modell |
| Lesegeschwindigkeit | 2284,8 tps | Geschwindigkeit beim Laden der Kontextdaten |
| Schreibgeschwindigkeit | 64,8 tps | Geschwindigkeit der Textgenerierung |
| Stromverbrauch | 360 Watt | Leistungsaufnahme unter Last |
Selbst prüfen
Um diese Werte auf Ihrer eigenen Maschine zu überprüfen, müssen Sie den lokalen Prozess starten und die Metriken im Client-Interface ablesen. Achten Sie darauf, dass das Modell korrekt geladen ist, bevor Sie die Generierung starten. Die Geschwindigkeit kann variieren, je nachdem wie komplex die Anfrage ist. Vergleichen Sie die gemessenen Werte mit den oben genannten Fakten, um die Effizienz Ihrer eigenen Hardware zu verstehen.
"Die Geschwindigkeit beim Generieren von Text liegt bei 64,8 Tokens pro Sekunde, was für eine produktive Arbeit ausreichend ist."