Der Mac Studio M5 Ultra mit 96 GB Unified Memory ist ein ideales System für die Ausführung von Large Language Models in der q2-0-Quantisierung. Die Kombination aus hohem Arbeitsspeicher und effizienter Datenverarbeitung ermöglicht eine stabile Leistung, wobei die Geschwindigkeit durch die niedrige Bitbreite begrenzt wird, aber der VRAM-Speicher nahezu vollständig genutzt wird. Diese Konfiguration eignet sich hervorragend für lokale Experimente, bei denen der Speicherplatz wichtiger ist als die maximale Tokens-per-Second-Rate.
Speicher und Geschwindigkeit im Vergleich
Die Daten zeigen, dass das System den verfügbaren Arbeitsspeicher sehr effizient nutzt. Mit 96 GB VRAM ist der Speicher fast vollständig belegt, was darauf hindeutet, dass das Modell die Kapazität des Mac Studio optimal auslastet. Die Lesegeschwindigkeit von über 2284 Tokens pro Sekunde ist für eine so starke Komprimierung beeindruckend und erlaubt eine flüssige Interaktion. Im Gegensatz dazu ist die Schreibgeschwindigkeit mit etwa 65 Tokens pro Sekunde deutlich langsamer, was typisch für stark quantisierte Modelle ist, da die Dequantisierung im Speicher mehr Rechenzeit erfordert.
Stromverbrauch und Effizienz
Bei einer Last von 360 Watt verbraucht das System signifikant Energie. Dies ist ein realistischer Wert für einen Hochleistungs-Chip unter voller Auslastung. Nutzer sollten diesen Wert bei der Berechnung der Betriebskosten im Auge behalten, insbesondere wenn das Gerät über längere Zeiträume für Batch-Verarbeitungen oder kontinuierliche Inferenz läuft. Die Einordnung als "Good" bezieht sich auf die Balance zwischen verfügbarer Speicherkapazität und der tatsächlichen Verarbeitungsrate, nicht auf die absolute Geschwindigkeit.
Technische Kennzahlen
Die folgende Tabelle fasst die gemessenen Leistungswerte zusammen, die für die Einschätzung der Hardware geeignet sind:
| Metrik | Wert | Einheit |
|---|---|---|
| Verfügbare VRAM-Kapazität | 96 | GB |
| Lesegeschwindigkeit (TPS) | 2284.8 | Tokens pro Sekunde |
| Schreibgeschwindigkeit (TPS) | 64.8 | Tokens pro Sekunde |
| Stromverbrauch unter Last | 360 | Watt |
Was bedeutet Quantisierung?
Quantisierung ist die Technik, bei der die Präzision der Gewichte eines neuronalen Netzwerks reduziert wird, um Speicherplatz zu sparen und die Inferenzgeschwindigkeit zu erhöhen, oft auf Kosten der Modellgenauigkeit.