結論として、rtx5090-iq3-xxsの組み合わせでStrataクライアント上でIQ3-xxs量子化モデルをローカル実行し、VRAM 32GB使用量で読み込みスループット5803tps、書き込みスループット168.4tpsを達成した。これにより、RTX 5090の高いVRAMと計算能力が量子化モデルに十分に活かせることが示された。
なぜこのテストを選んだか
StrataはローカルAI推論の軽量化と高速化を目的にしており、特定の量子化(iq3-xxs)はメモリと計算の効率を最適化している。rtx5090は最新のGPUであり、i7クラスのモデルでもiq3-xxsを適用すれば推論が高速になるかを実際のハードウェアで確認したかった。
どのように測定したか
自前のPCでStrataクライアントを起動し、IQ3-xxs量子化されたモデルをロードした。VRAM使用量は読み込み前と書き込み後に監視し、テップ数(readingTps, writingTps)と電力消費(powerWatts)を同時記録した。結果、readingTps 5803、writingTps 168.4、powerWatts 700Wが得られました。
| 指標 | 値 | 備考 |
|---|---|---|
| VRAM使用量 | 32GB | iq3-xxs量子化によるメモリフットプリント削減 |
| 読み込みテップ数 | 5803 | readingTps |
| 書き込みテップ数 | 168.4 | writingTps |
測定方法の実践的ヒント
- Strataクライアントでモデルを指定し、IQ3-xxS量子化をロードする。
- 測定中はシステムの電力計測ツールで消費電力を確認し、700W前後であることを記録する。
- VRAMの使用量は各セッション終了後にプロファイラで確認し、32GBに収まっていることを検証する。
IQ3-xxSとは: IQ3-xxSはStrataが提供する低ビット量子化手法で、モデルサイズと推論速度を同時に改善するための手法である。