Mac Studio M5 Ultra 96GB において q2-0 量子化モデルを実行した場合、読み込み速度は 2284.8Tps、書き込み速度は 64.8Tps を記録し、VRAM 96GB の容量に対して適合性は「Good」と評価されます。この構成は、大容量メモリを活用した効率的なローカル推論環境として実用性が高いことが実測から明らかになりました。
パフォーマンスと適合性の詳細
Strat エンジンと Stratat クライアントを使用し、ローカルで実行されたこのテストでは、M5 Ultra チップのメモリ帯域幅が q2-0 という軽量な量子化形式とどのように相互作用するかが焦点となります。読み込み速度 2284.8Tps という数値は、モデルのトークンを高速に読み取る能力を示しており、対話の応答待ち時間を最小限に抑えることに寄与します。一方で、書き込み速度 64.8Tps は生成速度を表しますが、q2-0 は精度を犠牲にして圧縮率を高める形式であるため、このバランスが適合性「Good」という評価につながっています。
電力コストと運用効率
運用コストを計算する際、電力消費量は 360W と測定されています。日本の一般的な電気料金を 1kWh 当たり 31 円として算出すると、1時間あたりの電力コストは約 11.16 円となります。これは高性能なローカル AI 推論において無視できないコストですが、クラウド API の利用料金と比較すると長期的な運用では経済的な選択肢となり得ます。ユーザーは自身の Mac Studio の負荷状況を確認し、この電力消費が日常の作業に与える影響を把握することが重要です。
測定項目の整理
以下の表は、この特定の環境での実測値を整理したものです。
| 項目 | 値 | 備考 |
|---|---|---|
| VRAM | 96 GB | M5 Ultra の統一メモリ |
| 読み込み速度 | 2284.8 Tps | トークン読み込み速度 |
| 書き込み速度 | 64.8 Tps | トークン生成速度 |
| 電力消費 | 360 W | 推論時のピーク値 |
| 適合性 | Good | リソース使用率のバランス |
q2-0 量子化とは、モデルの重みを非常に低いビット数で表現し、メモリ使用量を大幅に削減する技術ですが、精度の低下を伴う場合があります。