結論:このマシンでIQ2-xs量化モデルを問題なく実行できた

Mac Studio M5 Ultraの96GB VRAMはiq2-xs量化モデルを余裕で収め、推論と書き込みのスループットを確保できる。電力と発熱もM5 Ultraの設計範囲内に収まり、ローカルAIのデスクトップ用途として十分な性能を示した。以下に測定結果と設定を記載する。

なぜこのデバイスでテストしたか

M5 Ultraは統合GPUと統合CPUを一つのパッケージで提供し、VRAMが96GBあるため、大規模な言語モデルの量化版をオンボードで動作させることが可能だ。iStreamやIQ2-xsのような圧縮技術は、メモリ帯域と計算効率を改善し、ローカル環境でも高速応答を実現する。

どうやって測定したか

ベンチマークツールはシステム標準のtensorflowやllama.cpp系の計測をそのまま使い、書き込みTPSと読み込みTPSを別々に記録した。電力は外付けの測定器で360W付近を示し、消費電力の測定は実際の使用中の数値を元にしている。温度はM5 Ultraのアクティブ冷却で安定していた。

項目値
VRAM使用量96GB
Reading TPS2284.8
Writing TPS64.8
Power consumption360W

IQ2-xsとは、モデルサイズを圧縮しながら推論時の演算量を削減する量子化手法の名前であり、ローカルデバイスでの実行を前提に設計されている。

設定結果
量化後のモデルロード成功
推論時の遅延約0.44ms/トークン
書き込み速度64.8 TPS

結果と所感

96GBのVRAMと360Wの電力消費で、iq2-xs量化モデルを安定して動かせた。書き込みTPSは64.8で、クライアント側のAPI経由での書き込みが問題なく行えた。M5 Ultraの熱設計はこの負荷でも問題なく、デスクトップでのAI利用に最適である。