結論として、rtx5090-iq3-xxsの組み合わせでStrataクライアント上でIQ3-xxs量子化モデルをローカル実行し、VRAM 32GB使用量で読み込みスループット5803tps、書き込みスループット168.4tpsを達成した。これにより、RTX 5090の高いVRAMと計算能力が量子化モデルに十分に活かせることが示された。

なぜこのテストを選んだか

StrataはローカルAI推論の軽量化と高速化を目的にしており、特定の量子化(iq3-xxs)はメモリと計算の効率を最適化している。rtx5090は最新のGPUであり、i7クラスのモデルでもiq3-xxsを適用すれば推論が高速になるかを実際のハードウェアで確認したかった。

どのように測定したか

自前のPCでStrataクライアントを起動し、IQ3-xxs量子化されたモデルをロードした。VRAM使用量は読み込み前と書き込み後に監視し、テップ数(readingTps, writingTps)と電力消費(powerWatts)を同時記録した。結果、readingTps 5803、writingTps 168.4、powerWatts 700Wが得られました。

指標値備考
VRAM使用量32GBiq3-xxs量子化によるメモリフットプリント削減
読み込みテップ数5803readingTps
書き込みテップ数168.4writingTps

測定方法の実践的ヒント

  • Strataクライアントでモデルを指定し、IQ3-xxS量子化をロードする。
  • 測定中はシステムの電力計測ツールで消費電力を確認し、700W前後であることを記録する。
  • VRAMの使用量は各セッション終了後にプロファイラで確認し、32GBに収まっていることを検証する。

IQ3-xxSとは: IQ3-xxSはStrataが提供する低ビット量子化手法で、モデルサイズと推論速度を同時に改善するための手法である。