Der Mac Studio M5 Ultra mit 96 GB Unified Memory ist ein ideales System für die Ausführung von Large Language Models in der q2-0-Quantisierung. Die Kombination aus hohem Arbeitsspeicher und effizienter Datenverarbeitung ermöglicht eine stabile Leistung, wobei die Geschwindigkeit durch die niedrige Bitbreite begrenzt wird, aber der VRAM-Speicher nahezu vollständig genutzt wird. Diese Konfiguration eignet sich hervorragend für lokale Experimente, bei denen der Speicherplatz wichtiger ist als die maximale Tokens-per-Second-Rate.

Speicher und Geschwindigkeit im Vergleich

Die Daten zeigen, dass das System den verfügbaren Arbeitsspeicher sehr effizient nutzt. Mit 96 GB VRAM ist der Speicher fast vollständig belegt, was darauf hindeutet, dass das Modell die Kapazität des Mac Studio optimal auslastet. Die Lesegeschwindigkeit von über 2284 Tokens pro Sekunde ist für eine so starke Komprimierung beeindruckend und erlaubt eine flüssige Interaktion. Im Gegensatz dazu ist die Schreibgeschwindigkeit mit etwa 65 Tokens pro Sekunde deutlich langsamer, was typisch für stark quantisierte Modelle ist, da die Dequantisierung im Speicher mehr Rechenzeit erfordert.

Stromverbrauch und Effizienz

Bei einer Last von 360 Watt verbraucht das System signifikant Energie. Dies ist ein realistischer Wert für einen Hochleistungs-Chip unter voller Auslastung. Nutzer sollten diesen Wert bei der Berechnung der Betriebskosten im Auge behalten, insbesondere wenn das Gerät über längere Zeiträume für Batch-Verarbeitungen oder kontinuierliche Inferenz läuft. Die Einordnung als "Good" bezieht sich auf die Balance zwischen verfügbarer Speicherkapazität und der tatsächlichen Verarbeitungsrate, nicht auf die absolute Geschwindigkeit.

Technische Kennzahlen

Die folgende Tabelle fasst die gemessenen Leistungswerte zusammen, die für die Einschätzung der Hardware geeignet sind:

MetrikWertEinheit
Verfügbare VRAM-Kapazität96GB
Lesegeschwindigkeit (TPS)2284.8Tokens pro Sekunde
Schreibgeschwindigkeit (TPS)64.8Tokens pro Sekunde
Stromverbrauch unter Last360Watt

Was bedeutet Quantisierung?

Quantisierung ist die Technik, bei der die Präzision der Gewichte eines neuronalen Netzwerks reduziert wird, um Speicherplatz zu sparen und die Inferenzgeschwindigkeit zu erhöhen, oft auf Kosten der Modellgenauigkeit.