Der Mac Studio M5 Ultra mit 96 GB Arbeitsspeicher ist eine hervorragende Basis für das lokale Ausführen des Coder-Modells. Die Leistung wird als gut bewertet, da die 96 GB Unified Memory das Modell vollständig im VRAM halten, was die Latenz minimiert. Die Geschwindigkeit beim Generieren von Text liegt bei 64,8 Tokens pro Sekunde, was für eine produktive Arbeit ausreichend ist.

Die Hardware und der Speicher

Das entscheidende Merkmal dieser Konfiguration ist der Unified Memory. Der Mac Studio M5 Ultra verfügt über 96 GB schnellen Speicher. Das Coder-Modell passt gut in diesen Speicher, was als "Good" eingestuft wird. Wenn ein Modell in den VRAM passt, müssen Daten nicht ständig zwischen der CPU und der GPU hin- und herkopiert werden. Das hält die Antwortzeiten niedrig und stabil. Die Lesegeschwindigkeit von 2284,8 Tokens pro Sekunde zeigt, dass der Speicher sehr schnell mit Daten versorgt werden kann, wenn das Modell initialisiert wird.

Geschwindigkeit und Stromverbrauch

Die tatsächliche Schreibgeschwindigkeit, also wie schnell der AI-Code oder Text generiert wird, beträgt 64,8 Tokens pro Sekunde. Das ist eine solide Rate für komplexe Aufgaben. Der Stromverbrauch liegt bei 360 Watt. Um die Kosten selbst zu berechnen, multiplizieren Sie die Wattzahl mit der Dauer und dem Preis. Bei einem lokalen Preis von 0,32 € pro Kilowattstunde (kWh) ist das ein realer Wert. Die Nutzung eines lokalen Geräts bedeutet, dass Sie die Stromkosten selbst tragen, aber keine monatlichen API-Gebühren zahlen.

MesswertWertBedeutung
VRAM96 GBGesamter Speicher für das Modell
Lesegeschwindigkeit2284,8 tpsGeschwindigkeit beim Laden der Kontextdaten
Schreibgeschwindigkeit64,8 tpsGeschwindigkeit der Textgenerierung
Stromverbrauch360 WattLeistungsaufnahme unter Last

Selbst prüfen

Um diese Werte auf Ihrer eigenen Maschine zu überprüfen, müssen Sie den lokalen Prozess starten und die Metriken im Client-Interface ablesen. Achten Sie darauf, dass das Modell korrekt geladen ist, bevor Sie die Generierung starten. Die Geschwindigkeit kann variieren, je nachdem wie komplex die Anfrage ist. Vergleichen Sie die gemessenen Werte mit den oben genannten Fakten, um die Effizienz Ihrer eigenen Hardware zu verstehen.

"Die Geschwindigkeit beim Generieren von Text liegt bei 64,8 Tokens pro Sekunde, was für eine produktive Arbeit ausreichend ist."