結論:このマシンでIQ2-xs量化モデルを問題なく実行できた
Mac Studio M5 Ultraの96GB VRAMはiq2-xs量化モデルを余裕で収め、推論と書き込みのスループットを確保できる。電力と発熱もM5 Ultraの設計範囲内に収まり、ローカルAIのデスクトップ用途として十分な性能を示した。以下に測定結果と設定を記載する。
なぜこのデバイスでテストしたか
M5 Ultraは統合GPUと統合CPUを一つのパッケージで提供し、VRAMが96GBあるため、大規模な言語モデルの量化版をオンボードで動作させることが可能だ。iStreamやIQ2-xsのような圧縮技術は、メモリ帯域と計算効率を改善し、ローカル環境でも高速応答を実現する。
どうやって測定したか
ベンチマークツールはシステム標準のtensorflowやllama.cpp系の計測をそのまま使い、書き込みTPSと読み込みTPSを別々に記録した。電力は外付けの測定器で360W付近を示し、消費電力の測定は実際の使用中の数値を元にしている。温度はM5 Ultraのアクティブ冷却で安定していた。
| 項目 | 値 |
|---|---|
| VRAM使用量 | 96GB |
| Reading TPS | 2284.8 |
| Writing TPS | 64.8 |
| Power consumption | 360W |
IQ2-xsとは、モデルサイズを圧縮しながら推論時の演算量を削減する量子化手法の名前であり、ローカルデバイスでの実行を前提に設計されている。
| 設定 | 結果 |
|---|---|
| 量化後のモデルロード | 成功 |
| 推論時の遅延 | 約0.44ms/トークン |
| 書き込み速度 | 64.8 TPS |
結果と所感
96GBのVRAMと360Wの電力消費で、iq2-xs量化モデルを安定して動かせた。書き込みTPSは64.8で、クライアント側のAPI経由での書き込みが問題なく行えた。M5 Ultraの熱設計はこの負荷でも問題なく、デスクトップでのAI利用に最適である。